Flink参数修改
目的
修改Flink参数保证资源可最大限度供Flink使用。
方法
修改Flink根目录下的conf目录中的flink-conf.yaml文件。
参数 |
建议值 |
描述 |
---|---|---|
vcores |
根据实际调整。 |
YARN container vcores数量,其中一个taskmanager即为一个container,该参数即指定了一个taskmanager可以使用的vcores数量。而jobmanager也是一个container,但是jobmanager固定分配1个vcore,并不受该参数影响。该参数对性能影响非常大,可以尽可能的调大,其中jobmanager必定会占用1个vcore,除去之后,剩下每个节点都可以使用该节点的核,所以可以根据taskmanager数目计算出vcores数目。 |
network.numberofBuffers |
根据实际调整。 |
TaskManager网络传输缓冲栈数量 ,如果作业运行中出错提示系统中可用缓冲不足,可以增加这个配置项的值。 |
taskmanager.compute.numa |
详见参数配置。 |
该参数在默认Flink配置文件里没有,需要手动加入该参数。该参数的用途是开启taskmanager的NUMA绑核,必须与yarn的相关参数配合使用,具体使用方法请参见参数配置。 |
父主题: Flink调优