安装Spark引擎
OmniOperator算子加速特性支持Spark引擎,需在管理节点和所有计算节点安装Spark引擎,并配置openEuler操作系统的SparkExtension依赖。
- 安装Spark引擎。具体请参考操作系统和软件要求。
- 下载SparkExtension插件包并解压。
从软件获取下载得到boostkit-omniop-spark-3.1.1-1.3.0-aarch64.zip,并上传至管理节点和所有计算节点的“/opt/omni-operator/”目录下。并将boostkit-omniop-spark-3.1.1-1.3.0-aarch64.zip解压出boostkit-omniop-spark-3.1.1-1.3.0-aarch64.jar和dependencies.tar.gz。
- 安装openEuler操作系统的SparkExtension依赖。
各系统镜像配置本地Yum源,执行以下命令安装依赖。
1
yum install lz4-devel zstd-devel snappy-devel protobuf-c-devel protobuf-lite-devel boost-devel cyrus-sasl-devel jsoncpp-devel openssl-devel libatomic -y
- 配置SparkExtension。
- 从软件获取中获取到ORC、Protobuf、Arrow、Hdfs和Parquet软件安装包,解压后得到liborc.so、libprotobuf.so.24、libarrow.so.1100、libarrow_dataset.so.1100、libarrow_substrait.so.1100、libhdfs.so和libparquet.so.1100,上传到“/opt/omni-operator/lib”目录下,并修改文件权限为550。
1
chmod 550 /opt/omni-operator/lib/lib*
- 解压boostkit-omniop-spark-3.1.1-1.3.0-aarch64.zip得到boostkit-omniop-spark-3.1.1-1.3.0-aarch64.jar,并将boostkit-omniop-spark-3.1.1-1.3.0-aarch64.jar拷贝到“/opt/omni-operator/lib”目录下,并修改软件安装包权限为550。
1
chmod 550 /opt/omni-operator/lib/boostkit-omniop-spark-3.1.1-1.3.0-aarch64.jar
- 将从boostkit-omniop-spark-3.1.1-1.3.0-aarch64.zip中解压出的dependencies.tar.gz进行解压,并将解压后得到的dependencies文件夹拷贝至“/opt/omni-operator/lib”目录下,并修改软件安装包权限为550。
1
chmod -R 550 /opt/omni-operator/lib/dependencies/
- 从软件获取中获取到ORC、Protobuf、Arrow、Hdfs和Parquet软件安装包,解压后得到liborc.so、libprotobuf.so.24、libarrow.so.1100、libarrow_dataset.so.1100、libarrow_substrait.so.1100、libhdfs.so和libparquet.so.1100,上传到“/opt/omni-operator/lib”目录下,并修改文件权限为550。
- 在所有节点的“~/.bashrc”文件中添加如下环境变量。
1
export OMNI_HOME=/opt/omni-operator
父主题: 在Spark引擎上的应用