大数据调优
- 单击系统性能分析后面的
。选择“AI调优”，打开新建任务页面。
- 设置任务参数，如图1所示，需要配置的选项如表1、表2和表3所示。
AI调优分析仅支持在CentOS 7.6、openEuler 20.03和openEuler 22.03 LTS版本操作系统上使用。
表1 新建AI调优分析任务（大数据-Hive）参数说明 参数
说明
任务名称
输入分析任务的名称。名称需要满足如下要求：
- 只能由中文、字母、数字和下划线组成。
- 长度为1~64个字符。
应用分类
配置需要调优的应用类别，选择“大数据”。
应用名称
配置需要调优的应用，选择“Hive”。
应用版本
配置需要调优应用的版本信息，Hive支持3.0.0和3.1.0~3.1.3。
root用户密码
配置DevKit节点的root用户密码。AI调优涉及root操作，需要确保用户拥有root权限。
Master节点
配置集群Master节点。
JAVA_HOME
配置JDK安装目录路径。
应用执行文件路径
配置应用的执行文件路径，例：/application/hive/bin。
应用配置参数
选择应用配置参数，默认全勾选，单击“添加参数”按钮可新增，单击“一键恢复”按钮可恢复应用配置参数至初始值。
压测工具
选择对应用压测的工具，支持TPC-DS。
压测工具版本
选择压测工具版本，支持TPC-DS 3.0。
测试用例
选择压测工具使用的测试用例。默认勾选query1.sql，可勾选query1.sql~query99.sql。
调优性能指标
选择应用调优的性能指标。默认为latency。
数据库
配置压测时使用的数据库名称。
调优迭代次数
选择应用调优的迭代次数，默认为150次，可选20、50、100、150和200。
表2 新建AI调优分析任务（大数据-Flink）参数说明 参数
说明
任务名称
输入分析任务的名称。名称需要满足如下要求：
- 只能由中文、字母、数字和下划线组成。
- 长度为1~64个字符。
应用分类
配置需要调优的应用类别，选择“大数据”。
应用名称
配置需要调优的应用，选择“Flink”。
应用版本
配置需要调优应用的版本信息。支持Flink 1.12~1.15。
root用户密码
配置DevKit节点的root用户密码。AI调优涉及root操作，需要确保用户拥有root权限。
部署模式
选择应用的部署模式，默认为Yarn，可选Yarn和Standalone。
Master&Benchmark节点
配置压测工具所在节点。可单击“添加节点”增加agent节点。
JAVA_HOME
配置JDK安装目录路径。
应用执行文件路径
配置应用的执行文件路径，例：/application/flink/bin。
启动参数（可选）
配置应用启动时的参数，工具提供三个，可单击“添加参数”按钮新增并配置。部署模式选择“Yarn”时可配置。
应用配置参数
选择应用配置参数，默认全勾选，单击“添加参数”按钮可新增，单击“一键恢复”按钮可恢复应用配置参数至初始值。
Flink Master节点IP
配置Flink的Master节点IP地址。部署模式选择“Standalone”时可配置。
Flink Master节点应用端口
配置Flink的Master节点应用端口。部署模式选择“Standalone”时可配置。
压测工具
选择对应用压测的工具，支持Hibench；其中Flink 1.15仅支持华为云HiBench。
压测工具版本
选择压测工具版本，支持Hibench 7.0。
测试用例
选择压测工具使用的测试用例。默认为identity，可选identity、repartition和wordcount。
调优性能指标
选择应用调优的性能指标。默认为throughput，可选throughput、latency和throughput/latency。
压测工具路径
配置压测工具的文件路径，例：/opt/Hibench-7.0。
说明：应用程序路径建议配置为 “/home”、“/opt”等，请不要配置为“/”、“/dev”、“/sys”、“/boot”等系统目录，否则可能导致系统异常。
吞吐量
配置压测时用例的吞吐量。默认为20K，可选20K、40K、60K、80K、100K、200K、300K、400K、500K、600K、700K、800K、900K、1000K、2000K、4000K、6000K、8000K、10000K。
调优迭代次数
选择应用调优的迭代次数，默认为150次，可选20、50、100、150和200。
表3 新建AI调优分析任务（大数据-Spark）参数说明 参数
说明
任务名称
输入分析任务的名称。名称需要满足如下要求：
- 只能由中文、字母、数字和下划线组成。
- 长度为1~64个字符。
应用分类
配置需要调优的应用类别，选择“大数据”。
应用名称
配置需要调优的应用，选择“Spark”。
应用版本
配置需要调优应用的版本信息。Spark支持2.3.0~2.3.2，2.4.1~2.4.7，3.0.0~3.0.3，3.1.0~3.1.2，3.2.1、3.2.2、3.3.0和3.3.1。
root用户密码
配置DevKit节点的root用户密码。AI调优涉及root操作，需要确保用户拥有root权限。
Master节点
配置集群Master节点。
JAVA_HOME
配置JDK安装目录路径。
应用执行文件路径
配置应用的执行文件路径，例：/application/spark/bin。
OmniOperator目录（可选）
配置OmniOperator目录。
部署模式
选择应用的部署模式，默认为Yarn，可选Yarn和Standalone。
应用配置参数
选择应用配置参数，默认全勾选，单击“添加参数”按钮可新增，单击“一键恢复”按钮可恢复应用配置参数至初始值。
压测工具
选择对应用压测的工具，支持TPC-DS。
压测工具版本
选择压测工具版本，支持TPC-DS 3.0。
测试用例
选择压测工具使用的测试用例。默认勾选query1.sql，可勾选query1.sql~query99.sql，其中14，23，24，39用例有a和b两种。
调优性能指标
选择应用调优的性能指标。默认为latency。
数据库
配置压测时使用的数据库名称。
调优迭代次数
选择应用调优的迭代次数，默认为150次，可选20、50、100、150和200。
- 配置完成后，单击“校验并创建”按钮。
- 单击任务名，查看调优（以Spark 3.3.0为例）。
- 若无法运行测试用例，任务失败，可单击“AI调优运行日志”下载对应日志信息查看失败原因和失败用例信息。
状态为无效，可能是参数冲突或环境因素，少量无效轮次不影响最终调优结果，若连续多次无效，将自动停止调优。
状态为开始调优的基准值，
状态表示该轮调优成功。
每一行代表一次调优，可单击“终止调优”中断调优进程。
图2 大数据AI调优分析
- 单击“下载优化后参数集”按钮下载已调优的数据库配置。
