MAPREDUCE服务 MRS-MapReduce任务commit阶段优化:操作步骤
操作步骤
参数入口:
进入Yarn服务参数“全部配置”界面,在搜索框中输入参数名称。具体操作请参考修改集群服务配置参数章节。
参数 |
描述 |
默认值 |
---|---|---|
mapreduce.fileoutputcommitter.algorithm.version |
用于指定Job的最终输出文件提交的算法版本,取值为“1”或“2”。 说明:
版本2为建议的优化算法版本。该算法通过让任务直接将每个task的输出结果提交到最终的结果输出目录,从而减少大作业的输出提交时间。 |
2 |
- MapReduce服务_什么是Loader_如何使用Loader
- MapReduce服务_什么是Flume_如何使用Flume
- Hudi服务_什么是Hudi_如何使用Hudi
- MapReduce服务_什么是Hive_如何使用Hive
- MapReduce服务_什么是MapReduce服务_什么是HBase
- 域名转出-域名如何转出-域名转出流程-域名转出操作步骤
- MapReduce工作原理_MapReduce是什么意思_MapReduce流程_MRS_华为云
- MapReduce服务_如何使用MapReduce服务_MRS集群客户端安装与使用
- 什么是Spark_如何使用Spark_Spark的功能是什么
- 流水线参数使用