调优思路

调优分析思路

1. 在使用测试工具测试Spark ml算法时，可以使用系统监测工具对测试过程进行监测（比如nmon），确定测试过程中的负载（CPU运算、IO活动或二者共存等），再根据具体情况找到瓶颈点进行对应优化。
2. 计算的最终结果是为了使任务运行时CPU与内存尽量压满。从测试经验来看，由于鲲鹏处理器的Numa特性与Yarn的Numa感知功能实现，最好能让container的数量刚好均衡分配在CPU的所有Numa Node上，同时考虑到计算节点的个数，进而可以给出Executor的个数。
3. 若不能满足同时压满，则优先压满CPU，然后根据实际GC的log判断是否需要增加内存；在内存需求较高的场景，最终逐步调整可能会趋向内存压满，CPU留有一定余量的情况（一般来说，Executor memory与Executor core的比例和总内存与总核数的比例相等）。

调优的通用步骤

调优通用步骤如图1所示。