调优原则
- HiBench调优用例使用Kafka组件作为数据源,因此需要优先加大Kafka端生产数据的压力,保证Kafka不会成为性能瓶颈。
- 在Storm组件的调优中,由于使用单节点部署方式,减少了节点间通讯以及序列化造成的性能消耗,使拓扑的并发性调优变得尤为重要。
- 在调优过程中使用Storm自带的UI统计界面作为重要的性能瓶颈定位手段,可以有效定位到当前拓扑的并发瓶颈,结合pending和acker线程数配置,得到最优性能表现。
- 本文档适配HDP平台,Apache平台可参考本文档调优。
父主题: 调优概述