中文
注册
我要评分
文档获取效率
文档正确性
内容完整性
文档易理解
在线提单
论坛求助

部署openLooKeng Hive UDF插件

当需要将基于Hive UDF框架编写的UDF函数下推到OmniData服务时,需要部署openLooKeng Hive UDF插件。

  1. 在本地解压在软件获取中得到boostkit-omnidata-hive-udf-loader-1.6.1-1.3.0-aarch64.zip,解压后文件夹为boostkit-omnidata-hive-udf-loader-1.6.1-1.3.0-aarch64。
  2. openLooKeng部署完成后,找到openLooKeng引擎的部署目录(以“/opt/hetu-server”为例),将boostkit-omnidata-hive-udf-loader-1.6.1-1.3.0-aarch64文件夹放入到openLooKeng的部署目录下的“plugin”目录。
  3. 配置Hive UDF插件。

    在openLooKeng的“/opt/hetu-server/etc/function-namespace/”目录下添加hive.properties,用于配置Hive UDF插件。文件名可以更改,但是必须与4.2.5节OmniData Hive UDF配置文件保持同名,文件缀不能改变。

    hive.properties的配置有如下。

    function-namespace-manager.name=hive-functions
    external-functions.dir=/home/omm/hive_udf_directory
    AES256Decrypt com.huawei.udf.AES256DecryptUDF
    表1 hive.properties参数解释

    参数

    推荐值

    含义

    function-namespace-manager.name

    hive-functions

    插件名,不能更改,只能为hive-functions。

    external-functions.dir

    /home/omm/hive_udf_directory

    基于Hive UDF框架编写的UDF函数JAR和其依赖所在路径,可以配置为安装用户有读写权限的任意绝对路径。

    AES256Decrypt com.huawei.udf.AES256DecryptUDF

    NA

    第一个值为函数名,第二个值为函数的全路径类名(包名+类名),每一个UDF都需要添加相应的配置。

    • 使用UDF说明,以上述AES256Decrypt函数为例。

      select hive.default.AES256Decrypt(parameters),函数的前缀hive.default表示命名空间,其中hive字段是hive.properties的文件名,必须保持一致,类似于connector命名,default字段是固定的,当前不支持配置。因此,函数的正确使用方式是 [配置文件名称.default.函数名]。

    • 用户在配置文件中改动了参数配置或者添加了新的UDF函数,需要重新启动openLooKeng才可以生效。