我要评分

文档获取效率

文档正确性

内容完整性

文档易理解

在线提单

论坛求助

鲲鹏小智

OmniData算子下推环境要求

安装OmniData算子下推特性前，请参考本节提前准备软硬件安装环境，以确保后续安装操作顺利进行。

硬件要求

集群中各节点硬件要求如表1所示。

表1 硬件要求
项目	说明
处理器	鲲鹏920 5250处理器
内存大小	384GB （12 * 32GB）
内存频率	2666MHz
网卡	Ceph环境：业务网络25GE，管理网络GE HDFS环境：业务网络10GE，管理网络GE
硬盘	系统盘：1 * RAID 0（1 * 1.2T SAS HDD）数据盘（管理节点）：12 * RAID 0（12 * 4T SATA HDD）数据盘（计算节点）： Ceph环境：1 * 3.2T NVMe HDFS环境：12 * RAID 0（12 * 4T SATA HDD）数据盘（存储节点）： Ceph环境：12 * RAID 0（12 * 4T SATA HDD） 1 * 3.2T NVMe HDFS环境：12 * RAID 0（12 * 4T SATA HDD）
RAID卡	LSI SAS3508

操作系统和软件要求

集群中各节点操作系统和软件要求如表2所示。

表2 操作系统和软件要求
项目	版本	说明	管理节点（Server）	计算节点（Agent）	存储节点（HDFS/Ceph二选一）
操作系统	CentOS 7.6 openEuler 20.03 LTS SP1 openEuler 22.03 LTS SP1	-	√	√	√
JDK	BiSheng JDK 1.8（优选BiSheng JDK 1.8.0_342）	openEuler 22.03 LTS SP1与BiSheng JDK 1.8.0_262不兼容，需更换为BiSheng JDK 1.8.0_342。	√	√	√
Hadoop	3.2.0	部署指南请参考：《Hadoop 集群部署（CentOS 7.6&openEuler 20.03）》	√	√	√
ZooKeeper	3.6.2	部署指南请参考：《ZooKeeper 部署指南（CentOS 7.6&openEuler 20.03）》	-	√	-
Hive	3.1.0	部署指南请参考：《Hive 部署指南（CentOS 7.6&openEuler 20.03）》	√	-	-
Ceph	14.2.8	Ceph的配置部署安装请参考：《用户指南》	-	-	√
Spark	3.1.1	部署指南请参考：《Spark 部署指南（CentOS 7.6&openEuler 20.03）》	√	-	-
OpenSSL工具	1.1.1及以上	Link	-	√	√
Python	3.10.2及以上	-	-	√	√
√：是指对应节点需要安装该项目。 -：是指对应节点不需要安装该项目。

软件获取

安装OmniData算子下推特性所需软件包及其获取方式如表3所示。

表3 OmniData算子下推软件获取列表
名称	包名	发布类型	说明	获取地址
OmniRuntime压缩包	BoostKit-omniruntime_1.1.0.zip	闭源	OmniRuntime压缩包，解压可获得OmniData算子下推软件安装包（BoostKit-omnidata_1.5.0.zip）。	鲲鹏社区：Link 说明：使用软件包前请先阅读《鲲鹏应用使能套件BoostKit用户许可协议 2.0》，如确认继续使用，则默认同意协议的条款和条件。
Spark引擎OmniData插件	boostkit-omnidata-spark-sql_2.12-3.1.1-1.5.0-aarch64.zip	开源	使用OmniData算子下推功能时，Spark引擎扩展包。	Link
OmniData Server的第三方依赖包	boostkit-omnidata-server-1.5.0-aarch64-lib.zip	开源	OmniData算子下推的第三方依赖包。	参考源码链接中README.md，编译获取此包。
Hive UDF插件	boostkit-omnidata-hive-udf-loader-1.6.1-1.4.0-aarch64.zip	开源	Hive UDF插件包。Hive UDF插件用于执行基于Hive UDF框架编写的UDF函数。	参考源码链接中README.md，编译获取boostkit-omnidata-hive-udf-loader-1.6.1.zip，并重命名为boostkit-omnidata-hive-udf-loader-1.6.1-1.4.0-aarch64.zip。
HAF软件安装包	BoostKit-haf_1.3.0.zip	闭源	HAF软件安装包。	鲲鹏社区：Link 说明：使用软件包前请先阅读《鲲鹏应用使能套件BoostKit用户许可协议 2.0》，如确认继续使用，则默认同意协议的条款和条件。
访问Ceph所需的依赖包	hdfs-ceph-3.2.0.jar	开源	Hadoop和OmniData算子下推访问Ceph所需的依赖包。	Link
访问Ceph所需的依赖包	librgw_jni.so	开源	Hadoop和OmniData算子下推访问Ceph所需的二进制文件。	Link

软件安装包完整性校验

从鲲鹏社区获取的软件安装包，下载软件安装包后需要校验软件安装包，确保与网站上的原始软件安装包一致。

校验方法：

获取软件数字证书和软件安装包。
在如下链接中获取校验工具和校验方法：
https://support.huawei.com/enterprise/zh/tool/pgp-verify-TL1000000054
参见上述链接下载的《OpenPGP签名验证指南》进行软件安装包完整性检查。

父主题： 环境要求