中文
注册
我要评分
文档获取效率
文档正确性
内容完整性
文档易理解
在线提单
论坛求助

添加OmniData算子下推 Hive UDF插件

当需要将基于Hive UDF框架编写的UDF函数下推到OmniData算子下推服务时,需要部署OmniData算子下推 Hive UDF插件。

  1. 在本地解压在软件获取中得到boostkit-omnidata-hive-udf-loader-1.6.1-1.3.0-aarch64.zip,解压后文件夹为boostkit-omnidata-hive-udf-loader-1.6.1-1.3.0-aarch64。
  2. OmniData算子下推部署完成后,找到OmniData算子下推引擎的部署目录(以“/home/omm/haf-install/haf-target/run/haf_user/omnidata”为例),将boostkit-omnidata-hive-udf-loader-1.6.1-1.3.0-aarch64文件夹放入到OmniData算子下推的部署目录下的“plugin”目录。
  3. 配置Hive UDF插件。

    在OmniData算子下推的安装目录“/home/omm/haf-install/haf-target/run/haf_user/omnidata”的etc/function-namespace目录下添加hive.properties,用于配置Hive UDF插件。文件名可以更改,文件后缀不能改变。

    hive.properties的配置有如下:

    function-namespace-manager.name=hive-functions
    external-functions.dir=/home/omm/hive_udf_directory
    AES256Decrypt com.huawei.udf.AES256DecryptUDF
    表1 hive.properties参数解释

    参数

    推荐值

    含义

    function-namespace-manager.name

    hive-functions

    插件名,不能更改,只能为hive-functions。

    external-functions.dir

    /home/omm/hive_udf_directory

    基于Hive UDF框架编写的UDF函数JAR和其依赖所在路径,可以配置为安装用户有读写权限的任意绝对路径。

    AES256Decrypt com.huawei.udf.AES256DecryptUDF

    NA

    第一个值为函数名,第二个值为函数的全路径类名(包名+类名),每一个UDF都需要添加相应的配置。

    用户在配置文件中改动了参数配置或者添加了新的UDF函数,需要重新启动OmniData算子下推才可以生效。