UDF插件行处理部署

OmniOperator算子加速 UDF插件行处理部署方式是在部署完OmniOperator算子加速 UDF插件后,通过添加配置项使得UDF走到行处理流程。因此需要先完成OmniOperator算子加速 UDF插件部署,具体请参见部署OmniOperator算子加速 UDF插件

  1. 在所有节点的omni.conf中配置行处理参数内容。

    1. 选择“命令执行”,单击“添加”

    2. 编辑任务1~2内容,单击“保存”
      表1 任务1编辑参数内容

      参数

      内容

      任务名称

      创建/opt/omni-operator/conf目录

      任务描述

      创建/opt/omni-operator/conf目录,如果已有配置则删除原先配置

      运行目录

      /opt/omni-operator

      执行命令

      mkdir -p /opt/omni-operator/conf;

      sed -i '/enableBatchExprEvaluate/d' /opt/omni-operator/conf/omni.conf;

      sed -i '/hiveUdfPropertyFilePath/d' /opt/omni-operator/conf/omni.conf;

      sed -i '/hiveUdfDir/d' /opt/omni-operator/conf/omni.conf;

      表2 任务2编辑参数内容

      参数

      内容

      任务名称

      omni.conf中配置行处理参数内容

      任务描述

      在所有节点的omni.conf中配置行处理参数内容

      运行目录

      /opt/omni-operator/conf

      执行命令

      echo "enableBatchExprEvaluate=false" >> /opt/omni-operator/conf/omni.conf;

      echo "hiveUdfPropertyFilePath=/opt/omni-operator/hive-udf/udf.properties" >> /opt/omni-operator/conf/omni.conf;

      echo "hiveUdfDir=/opt/omni-operator/hive-udf/udf" >> /opt/omni-operator/conf/omni.conf;

  2. 导出业务流,保存至本地。后续其他安装,即可通过导入业务流,快速安装。

    1. 单击右上角的“导出”

      弹出“选择模板保存路径”窗口。

    2. 将模板命名为“OmniOperator算子加速 UDF插件行处理方式部署及配置WorkFlow”,单击“保存”

  3. 执行业务流。

    单击右下角的“完成”,选择“执行业务流”。执行状态成功即可。