部署openLooKeng引擎
- 部署openLooKeng引擎。
- openLooKeng部署完成后,找到openLooKeng引擎的部署目录(以/opt/hetu-server为例),将boostkit-omnidata-openlookeng-1.4.1-1.2.0-aarch64文件夹放入到openLooKeng的部署目录下的“plugin”目录。
- 配置OmniData算子下推 openLooKeng连接器。
omnidata-openlookeng-connector是一个连接Hive数据仓库的连接器,同时具备算子卸载能力。
在openLooKeng的“/opt/hetu-server/etc/catalog/”目录下配置omnidata connector。
omnidata.properties的配置可完全参考Hive Connector的配置。
相比hive connector,omnidata.properties可增加如下内容:
connector.name=omnidata-openlookeng hive.omnidata-enabled=true hive.aggregator-offload-factor=1 hive.filter-offload-factor=1 hive.min-offload-row-number=1
算子下推的参数解释如表1所示。
表1 算子下推的参数含义 参数
推荐值
含义
hive.omnidata-enabled
true
是否打开算子下推功能,总开关。
hive.filter-offload-enabled
true
是否开启filter算子下推。
hive.aggregator-offload-enabled
true
是否开启aggregation算子下推。
hive.filter-offload-factor
0.25
filter选择率小于该值才会下推(factor越小,表示需要过滤的数据量越少),默认值为0.25,类型为double。
如果需要强制下推,可以将参数设置为1.0。
hive.aggregator-offload-factor
0.25
aggregation选择率小于该值才会下推(factor越小,表示需要过滤的数据量越少),默认值为0.25,类型为double。
如果需要强制下推,可以将参数设置为1.0。
hive.min-offload-row-number
500
可算子下推的表的最小行数。
如果表比较小,下推效果不佳。
- source环境变量。
source /opt/haf-host/env.sh
- 重启openLooKeng服务。
sh /opt/hetu-server/bin/launcher restart

HAF在主机节点的日志目录:“/var/log/haf-host/haf-user”。