MAPREDUCE服务 MRS-MapReduce任务commit阶段优化:操作步骤

时间:2024-08-01 19:24:48

操作步骤

参数入口:

进入Yarn服务参数“全部配置”界面,在搜索框中输入参数名称。具体操作请参考修改集群服务配置参数章节。

表1 参数说明

参数

描述

默认值

mapreduce.fileoutputcommitter.algorithm.version

用于指定Job的最终输出文件提交的算法版本,取值为“1”“2”

说明:

版本2为建议的优化算法版本。该算法通过让任务直接将每个task的输出结果提交到最终的结果输出目录,从而减少大作业的输出提交时间。

2

support.huaweicloud.com/cmpntguide-mrs/mrs_01_0850.html