Yarn/Kafka参数修改
目的
配置Yarn和Kafka相关参数，保证Kafka不会成为Flink调优瓶颈。
方法
在Flink服务的Web界面搜索以下参数，并根据实际情况进行修改。
参数 |
建议值 |
描述 |
|---|---|---|
yarn.nodemanager.resource.cpu-vcores |
每个Kafka服务节点的核数。 |
该参数在Web界面。一个nodemanager可以使用的cpu-vcores数目，直接配置成1个节点的核数即可。 |
yarn.nodemanager.numa-awareness.enabled |
true |
该参数在yarn配置中默认没有，需要手动添加，将其添加到Web界面 。该参数为是否使能container的NUMA感知功能，默认为false，如果需要开启，需要设置为true。 |
yarn.nodemanager.numa-awareness.read-topology |
true |
该参数在yarn配置中默认没有，需要手动添加，将其添加到Web界面 。该参数为是否从系统或配置中读取NUMA的topo结构。如果设置为true，那么会直接通过numactl –hardware命令从系统中读取系统的NUMA结构。Flink测试需要开启NUMA绑核则设置为true。 |
kafka.num.network.threads |
8 |
该参数在Web界面。Kafka网络线程数，影响Kafka读写效率。但Flink处理资源有限，不建议将该值设置过大，否则Kafka占用资源影响Flink调优性能，该值可根据实际情况调整为默认值的1~2倍。 |
父主题： Flink调优