中文
注册
我要评分
文档获取效率
文档正确性
内容完整性
文档易理解
在线提单
论坛求助

安装OmniData

给所有节点分发OmniData算子下推程序包,解压,安装并初始化配置。

  1. 软件获取中准备好的OmniData算子下推二进制包,使用文件传输功能拷贝OmniData算子下推压缩包到所有节点。
    1. 选中卸载节点(ceph1、ceph2、ceph3)节点,单击“配置业务流”

    2. 选择“自定义”,单击“下一步”

    3. 选择“文件传输”,单击“添加”

    4. 编辑任务1的内容,单击“保存”
      表1 任务1编辑参数内容

      参数

      内容

      任务名称

      传输OmniData算子下推安装程序包

      任务描述

      拷贝OmniData算子下推安装包到卸载节点

      传输方向

      从本地传至远端主机

      本地路径

      本地安装包所在的目录

      远端路径

      /opt/haf-software

  2. 软件获取中准备好的OmniData算子下推第三方依赖包,使用文件传输功能拷贝OmniData算子下推第三方依赖压缩包到卸载节点。
    1. 选择“文件传输”,单击“添加”

    2. 编辑任务2~任务5的内容,单击“保存”
      表2 任务2编辑参数内容

      参数

      内容

      任务名称

      拷贝OmniData算子下推 lib

      任务描述

      拷贝OmniData算子下推 lib压缩包到卸载节点

      传输方向

      从本地传至远端主机

      本地路径

      本地安装包所在的目录

      远端路径

      /opt/haf-software

      表3 任务3编辑参数内容

      参数

      内容

      任务名称

      拷贝OmniData算子下推 UDF

      任务描述

      拷贝OmniData算子下推 UDF压缩包到所有卸载节点

      传输方向

      从本地传至远端主机

      本地路径

      本地安装包所在的目录

      远端路径

      /opt/haf-software

      表4 任务4编辑参数内容

      参数

      内容

      任务名称

      拷贝Ceph依赖

      任务描述

      拷贝Ceph依赖到所有卸载节点(如果是HDFS集群,则跳过该步骤)

      传输方向

      从本地传至远端主机

      本地路径

      本地安装包所在的目录

      远端路径

      /opt/haf-software

      表5 任务5编辑参数内容

      参数

      内容

      任务名称

      拷贝librgw文件

      任务描述

      拷贝librgw依赖到所有卸载节点(如果是HDFS集群,则跳过该步骤)

      传输方向

      从本地传至远端主机

      本地路径

      本地安装包所在的目录

      远端路径

      /opt/haf-software

  3. 解压OmniData算子下推压缩包boostkit-omnidata-server-1.2.0-aarch64.tar.gz,并拷贝第三方依赖包至对应目录中。
    1. 选择“命令执行”,单击“添加”

    2. 编辑任务6~任务8的内容,单击“保存”
      表6 任务6编辑参数内容

      参数

      内容

      任务名称

      解压OmniData算子下推

      任务描述

      解压OmniData算子下推安装包及第三方依赖包

      运行目录

      /opt/haf-software

      执行命令

      unzip BoostKit-omnidata_1.2.0.zip; tar -zxvf BoostKit-omnidata_1.2.0.tar.gz;tar -zxvf boostkit-omnidata-server-1.2.0-aarch64.tar.gz; unzip boostkit-omnidata-server-1.2.0-aarch64-lib.zip; unzip boostkit-omnidata-udf-1.2.0-aarch64.zip;

      表7 任务7编辑参数内容

      参数

      内容

      任务名称

      添加OmniData算子下推依赖

      任务描述

      拷贝第三方依赖到OmniData算子下推相应目录

      运行目录

      /opt/haf-software

      执行命令

      mv boostkit-omnidata-udf-1.2.0-aarch64/* omnidata/plugin/boostkit-omnidata-udf-1.2.0-aarch64/; mv boostkit-omnidata-server-1.2.0-aarch64-lib/* omnidata/lib; rm -rf boostkit-omnidata-*;

      表8 任务8编辑参数内容

      参数

      内容

      任务名称

      添加Ceph依赖

      任务描述

      拷贝Ceph依赖到OmniData算子下推相应目录(如果是HDFS集群,则跳过该步骤)

      运行目录

      /opt/haf-software

      执行命令

      cp librgw_jni.so /opt/haf-target/lib/; cp /usr/lib64/ceph/libceph-common.so.0 /opt/haf-target/lib/; cp hdfs-ceph-3.2.0.jar omnidata/lib/;

  4. 卸载节点(ceph1、ceph2、ceph3)安装OmniData算子下推服务。
    1. 选择“命令执行”,单击“添加”

    2. 编辑任务9的内容,单击“保存”
      表9 任务9编辑参数内容

      参数

      内容

      任务名称

      安装服务

      任务描述

      安装OmniData算子下推服务

      运行目录

      /opt/haf-software/omnidata-setup

      执行命令

      sh omnidata-install.sh -s register_ip:2181 -l /var/log/omnidata

      • 如果大数据引擎是Spark,执行命令为sh omnidata-install.sh -s Register_IP:Register_Port'
      • 如果大数据引擎为openLooKeng,执行命令为sh omnidata-install.sh -o Register_IP:Register_Port'
      • 脚本的-o和-s参数用于指定OmniData算子下推使用的第三方注册服务的IP地址/域名和端口。
        • -o表示openLooKeng,用于指定openLooKeng引擎对应的注册地址(discovery servers的地址和端口号),用户需根据实际情况进行填写。
        • -s表示Spark,用于指定Spark引擎对应的注册地址(ZooKeeper节点的IP和端口默认为2181)。
      • 脚本参数-l,可用于指定OmniData算子下推服务日志路径,默认为/var/log/omnidata目录。

  5. 导出业务流,保存至本地。后续其他安装,即可通过导入业务流,快速安装。
    1. 单击右上角的“导出”

      弹出“选择模板保存路径”窗口。

    2. 将模板命名为“OmniData算子下推安装及配置WorkFlow”,单击“保存”

  6. 执行业务流。

    单击右下角的“完成”,选择“执行业务流”。执行状态成功即可。