文档HOT
中文
注册
我要评分
文档获取效率
文档正确性
内容完整性
文档易理解
提交
在线提单
论坛求助
鲲鹏小智

测试环境

以下环境配置主要针对鲲鹏920 5220处理器。

测试环境组网

大数据测试集群由一台管理节点、三台数据节点组成，如图1所示。

图1 基本测试组网图

硬件要求

硬件要求如表1所示。

表1 硬件要求

项目

说明

处理器

鲲鹏920 5220处理器

内存大小

384GB (12 * 32GB)

内存频率

2666MHz

网络

业务网络10GE，管理网络1GE

硬盘

系统盘：1*RAID 0（1*1.2TB SAS HDD）

数据盘：12*RAID 0（1*4TB SATA HDD）

RAID卡

LSI SAS3508

操作系统和软件要求

操作系统和软件要求如表2所示。

表2 操作系统和软件要求

项目

说明

OS

openEuler 20.03 LTS SP1

JDK

BiSheng JDK 1.8.0_262

ZooKeeper

3.6.2

Hadoop

3.1.1

Spark

Spark 2.3.2、Spark 2.4.5、Spark 2.4.6或Spark 3.1.1
  • 机器学习算法加速库适配Spark 2.3.2、2.4.5、2.4.6版本，与原生算法库提供相同的接口。
  • 机器学习算法库适配Spark 3.1.1，仅支持ALS、LDA、KNN、PrefixSpan、DBSCAN、Word2Vec、Decision Tree、DTB、Random Forest 、GBDT这10个算法。
  • Spark 2.4.5与Spark 2.4.6使用Spark 2.4.6的JAR包。
  • 其他2.X、3.X版本技术上兼容，根据需求适配。