MAPREDUCE服务 MRS-优化Flink Netty网络通信参数:优化Flink Netty网络通信参数方法

时间:2024-10-16 17:58:32

优化Flink Netty网络通信参数方法

以下配置均可在客户端的“conf/flink-conf.yaml”配置文件中进行修改适配,默认已经是相对较优解,请谨慎修改,防止性能下降。

  • “taskmanager.network.netty.num-arenas”: 默认是“taskmanager.numberOfTaskSlots”,表示netty的域的数量。
  • “taskmanager.network.netty.server.numThreads”“taskmanager.network.netty.client.numThreads”:默认是“taskmanager.numberOfTaskSlots”,表示netty的客户端和服务端的线程数目设置。
  • “taskmanager.network.netty.client.connectTimeoutSec”:默认是120s,表示taskmanager的客户端连接超时的时间。
  • “taskmanager.network.netty.sendReceiveBufferSize”:默认是系统缓冲区大小(cat /proc/sys/net/ipv4/tcp_[rw]mem) ,一般为4MB,表示netty的发送和接收的缓冲区大小。
  • “taskmanager.network.netty.transport”:默认为“nio”方式,表示netty的传输方式,有“nio”“epoll”两种方式。
support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1592.html