MAPREDUCE服务 MRS-Flink性能调优建议:TM的Slot数和TM的CPU数成倍数关系

时间:2024-06-17 09:21:36

TM的Slot数和TM的CPU数成倍数关系

在Flink中,每个Task被分解成SubTask,SubTask作为执行的线程单位运行在TM上,在不开启Slot Sharing Group的情况下,一个SubTask是部署在一个slot上的。即使开启了Slot Sharing Group,大部分情况下Slot中拥有的SubTask也是负载均衡的。所以可以理解为TM上的Slot个数代表了上面运行的任务线程数。

合理的Slots数量应该和CPU核数相同,在使用超线程时,每个Slot将占用2个或更多的硬件线程。

【示例】建议配置TM Slot个数为CPU Core个数的2~4倍:

taskmanager.numberOfTaskSlots: 4
taskmanager.cpu.cores: 2
support.huaweicloud.com/devg-rule-mrs/mrs_07_450173.html