MAPREDUCE服务 MRS-通过Slow Start调优MapReduce任务:操作场景

时间:2024-11-06 14:23:07

操作场景

Slow Start特性指定Map任务完成度为多少时Reduce任务可以启动,过早启动Reduce任务会导致资源占用,影响任务运行效率,但适当的提早启动Reduce任务会提高Shuffle阶段的资源利用率,提高任务运行效率。例如:某集群可启动10个Map任务,MapReduce作业共15个Map任务,那么在一轮Map任务执行完成后只剩5个Map任务,集群还有剩余资源,在这种场景下,配置Slow Start参数值小于1,比如0.8,则Reduce就可以利用集群剩余资源。

support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0849.html