MAPREDUCE服务 MRS-MapReduce任务commit阶段优化:操作场景

时间:2024-11-28 01:44:11

操作场景

默认情况下,如果一个MR任务会产生大量的输出结果文件,那么该job在最后的commit阶段,会耗费较长的时间将每个task的临时输出结果commit到最终的结果输出目录。特别是在大集群中,大Job的commit过程会严重影响任务的性能表现。

针对以上情况,可以通过将以下参数“mapreduce.fileoutputcommitter.algorithm.version”配置为“2”,来提升MR Job commit阶段的性能。

support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0850.html