OmniOperator算子加速关于UDF的所需文件需用户提供相关JAR包和配置文件,形如udf.zip,conf.zip和udf.properties,其中udf.zip包含所有UDF的class文件,conf.zip包含UDF所依赖的配置文件,udf.properties是OmniOperator算子加速 UDF配置文件,以udfName1和udfName2函数为例,udf.properties内容格式如下:
参数 |
内容 |
---|---|
任务名称 |
拷贝软件包udf.zip |
任务描述 |
拷贝udf.zip软件包到全部节点 |
传输方向 |
从本地传至远端主机 |
本地路径 |
本地安装包所在的目录 |
远端路径 |
/opt/omni-operator/hive-udf |
参数 |
内容 |
---|---|
任务名称 |
拷贝conf.zip软件包 |
任务描述 |
拷贝conf.zip软件包到全部节点 |
传输方向 |
从本地传至远端主机 |
本地路径 |
本地安装包所在的目录 |
远端路径 |
/opt/omni-operator/hive-udf |
参数 |
内容 |
---|---|
任务名称 |
拷贝udf.properties文件 |
任务描述 |
拷贝udf.properties文件到全部节点 |
传输方向 |
从本地传至远端主机 |
本地路径 |
本地安装包所在的目录 |
远端路径 |
/opt/omni-operator/hive-udf |
参数 |
内容 |
---|---|
任务名称 |
解压udf.zip、conf.zip软件包 |
任务描述 |
解压udf.zip、conf.zip软件包 |
运行目录 |
/opt/omni-operator/hive-udf |
执行命令 |
unzip -o udf.zip;rm -f udf.zip;unzip -o conf.zip;rm -f conf.zip; |
参数 |
内容 |
---|---|
任务名称 |
配置OmniOperator算子加速 UDF环境变量 |
任务描述 |
在所有节点配置OmniOperator算子加速 UDF环境变量 |
运行目录 |
/opt/omni-operator |
执行命令 |
sed -i '$a export LD_LIBRARY_PATH=${JAVA_HOME}/jre/lib/aarch64/server/:$LD_LIBRARY_PATH' ~/.bashrc;source ~/.bashrc;sed -i '$a export OMNI_HOME=/opt/omni-operator' ~/.bashrc;source ~/.bashrc; |
弹出“选择模板保存路径”窗口。
单击右下角的“完成”,选择“执行业务流”。执行状态成功即可。
上述udf.zip压缩包名称用户根据自己实际情况可进行自定义,本处仅提供示例。