MAPREDUCE服务 MRS-降低MapReduce客户端运行任务失败率:配置描述
配置描述
在客户端的“mapred-site.xml”配置文件中调整如下参数。
“mapred-site.xml”配置文件在客户端安装路径的conf目录下,例如“/opt/client/Yarn/config”。
参数 |
描述 |
默认值 |
---|---|---|
mapreduce.reduce.shuffle.max-host-failures |
MR任务在reduce过程中读取远端shuffle数据允许失败的次数。当设置次数大于5时,可以降低客户端应用的失败率。该参数适用于 MRS 3.x版本。 |
5 |
mapreduce.client.submit.file.replication |
MR任务在运行时依赖的相关job文件在HDFS上的备份。当备份数大于10时,可以降低客户端应用的失败率。 |
10 |
- MapReduce服务_如何使用MapReduce服务_MRS集群客户端安装与使用
- 大数据分析是什么_使用MapReduce_创建MRS服务
- MapReduce服务_什么是MapReduce服务_什么是HBase
- MapReduce服务_什么是Loader_如何使用Loader
- 什么是Spark_如何使用Spark_Spark的功能是什么
- MapReduce服务_什么是存算分离_如何配置MRS集群存算分离
- MapReduce服务_什么是Yarn_如何使用Yarn
- MapReduce服务_什么是Flume_如何使用Flume
- 数据备份归档在哪里_数据分析存储系统_大数据存储管理
- 什么是Manager_Manager的功能_MRS运维管理