中文
注册
我要评分
文档获取效率
文档正确性
内容完整性
文档易理解
在线提单
论坛求助

Flink参数修改

目的

修改Flink参数保证资源可最大限度供Flink使用。

方法

修改Flink根目录下的conf目录中的flink-conf.yaml文件。

参数

建议值

描述

vcores

根据实际调整。

YARN container vcores数量,其中一个taskmanager即为一个container,该参数即指定了一个taskmanager可以使用的vcores数量。而jobmanager也是一个container,但是jobmanager固定分配1个vcore,并不受该参数影响。该参数对性能影响非常大,可以尽可能的调大,其中jobmanager必定会占用1个vcore,除去之后,剩下每个节点都可以使用该节点的核,所以可以根据taskmanager数目计算出vcores数目。

network.numberofBuffers

根据实际调整。

TaskManager网络传输缓冲栈数量 ,如果作业运行中出错提示系统中可用缓冲不足,可以增加这个配置项的值。

taskmanager.compute.numa

详见参数配置

该参数在默认Flink配置文件里没有,需要手动加入该参数。该参数的用途是开启taskmanager的NUMA绑核,必须与yarn的相关参数配合使用,具体使用方法请参见参数配置