部署Spark引擎

下述步骤需在管理节点和所有计算节点操作。

  1. 部署Spark引擎。具体请参考软件要求
  2. 安装CentOS、OpenEuler操作系统的SparkExtension依赖,其中差异部分见说明。

    各系统镜像配置本地Yum源,执行以下命令安装依赖。

    yum install lz4-devel.aarch64 -y
    yum install zstd-devel.aarch64 -y
    yum install snappy-devel.aarch64 -y
    yum install protobuf-c-devel.aarch64 protobuf-lite-devel.aarch64 -y
    yum install boost-devel.aarch64 -y
    yum install cyrus-sasl-devel.aarch64 -y
    yum install jsoncpp-devel.aarch64 -y
    yum install openssl-devel.aarch64 -y
    yum install libatomic.aarch64 -y

    CentOS操作系统镜像Yum源中缺少zstd,需要手动编译安装,编译安装后将zstd的编译目标so复制到“/usr/lib64”目录下,请参考5.4手动编译zstd编译安装。

  3. 配置SparkExtension。

    1. 软件要求中获取到ORC和Protobuf软件包,解压后得到liborc.so和libprotobuf.so.26,并上传到“/opt/omni-operator/lib”目录下,并修改软件包权限为550。
      chmod 550 /opt/omni-operator/lib/liborc.so
      chmod 550 /opt/omni-operator/lib/libprotobuf.so.26
    2. 拷贝从boostkit-omniop-spark-3.1.1-1.0.0-aarch64.zip中解压出的boostkit-omniop-spark-3.1.1-1.1.0-aarch64.jar到“/opt/omni-operator/lib”目录下,并修改软件包权限为550。
      chmod 550 /opt/omni-operator/lib/boostkit-omniop-spark-3.1.1-1.1.0-aarch64.jar
    3. 将从boostkit-omniop-spark-3.1.1-1.0.0-aarch64.zip中解压出的dependencies.tar.gz进行解压,并将解压后得到的dependencies文件夹拷贝至“/opt/omni-operator/lib”目录下,并修改软件包权限为550。
      chmod -R 550 /opt/omni-operator/lib/dependencies/
    4. 软件要求中获取到OpenSSL软件包,解压得到libcrypto.so.1.1和libssl.so.1.1,并上传到“/opt/omni-operator/lib”目录,并修改软件包权限为550。
      chmod 550 /opt/omni-operator/lib/libcrypto.so.1.1
      chmod 550 /opt/omni-operator/lib/libssl.so.1.1

      仅CentOS系统需要执行此步骤,OpenEuler系统自带有此版本的libcrypto.so、libssl.so。

    5. 在所有节点的“~/.bashrc”文件中添加如下环境变量(如果存在旧版本的OmniOperator算子加速 lib路径请先删除)。
      export LD_LIBRARY_PATH=/opt/omni-operator/lib:$LD_LIBRARY_PATH
      export OMNI_CONNECTED_ENGINE=Spark