中文
注册
我要评分
文档获取效率
文档正确性
内容完整性
文档易理解
在线提单
论坛求助

部署openLooKeng引擎

  1. 部署openLooKeng引擎。

    具体请参考《openLooKeng部署指南》。

  2. openLooKeng部署完成后,找到openLooKeng引擎的部署目录(以/opt/hetu-server为例),将boostkit-omnidata-openlookeng-1.4.1-1.2.0-aarch64文件夹放入到openLooKeng的部署目录下的“plugin”目录。
  3. 配置OmniData算子下推 openLooKeng连接器。

    omnidata-openlookeng-connector是一个连接Hive数据仓库的连接器,同时具备算子卸载能力。

    在openLooKeng的“/opt/hetu-server/etc/catalog/”目录下配置omnidata connector。

    omnidata.properties的配置可完全参考Hive Connector的配置

    相比hive connector,omnidata.properties可增加如下内容:

    connector.name=omnidata-openlookeng
    hive.omnidata-enabled=true
    hive.aggregator-offload-factor=1
    hive.filter-offload-factor=1
    hive.min-offload-row-number=1

    算子下推的参数解释如表1所示。

    表1 算子下推的参数含义

    参数

    推荐值

    含义

    hive.omnidata-enabled

    true

    是否打开算子下推功能,总开关。

    hive.filter-offload-enabled

    true

    是否开启filter算子下推。

    hive.aggregator-offload-enabled

    true

    是否开启aggregation算子下推。

    hive.filter-offload-factor

    0.25

    filter选择率小于该值才会下推(factor越小,表示需要过滤的数据量越少),默认值为0.25,类型为double。

    如果需要强制下推,可以将参数设置为1.0。

    hive.aggregator-offload-factor

    0.25

    aggregation选择率小于该值才会下推(factor越小,表示需要过滤的数据量越少),默认值为0.25,类型为double。

    如果需要强制下推,可以将参数设置为1.0。

    hive.min-offload-row-number

    500

    可算子下推的表的最小行数。

    如果表比较小,下推效果不佳。

  4. source环境变量。
    source /opt/haf-host/env.sh
  5. 重启openLooKeng服务。
    sh /opt/hetu-server/bin/launcher restart

HAF在主机节点的日志目录:“/var/log/haf-host/haf-user”