使用到的相关软件版本如表1所示。
软件环境 |
版本 |
管理节点 Server |
计算节点 Agent |
|---|---|---|---|
OS |
openEuler 20.03 LTS SP1 |
✓ |
✓ |
JDK |
BiSheng JDK 1.8.0_262 |
✓ |
✓ |
Hadoop |
3.2.0 |
✓ |
✓ |
Spark |
3.1.1 |
✓ |
✓ |
Hive |
3.1.0 |
✓ |
- |
Python |
Python3 |
✓ |
✓ |
- 用户可根据需要安装对应的大数据引擎（Spark）。
- 存储部署模式为HDFS，建议在管理节点上安装Kerberos服务，确保集群安全。