部署Spark UDF插件
本小节仅使用OmniOperator算子加速 UDF功能才需要进行操作。
已经按照
下载SparkExtension插件包
~
手动编译zstd
完成Spark引擎的部署。
在所有节点的
“~/.bashrc”
文件中添加如下环境变量。
export OMNI_HOME=/opt/omni-operator
将UDF依赖的JAR放置到HDFS的
“/user/hive-udf”
目录下。
“/user/hive-udf”
目录用户可自行定义。
UDF依赖的JAR需要用户自行提供。
在集群的管理节点注册Hive UDF。
注册方式参考
Spark集成HiveUDF官方文档
。
父主题:
OmniOperator算子加速在Spark引擎上的应用