MAPREDUCE服务 MRS-降低MapReduce客户端运行任务失败率:配置描述

时间:2024-11-06 14:23:06

配置描述

在客户端的“mapred-site.xml”配置文件中调整如下参数。

“mapred-site.xml”配置文件在客户端安装路径的conf目录下,例如“/opt/client/Yarn/config”。

表1 参数说明

参数

描述

默认值

mapreduce.reduce.shuffle.max-host-failures

MR任务在reduce过程中读取远端shuffle数据允许失败的次数。当设置次数大于5时,可以降低客户端应用的失败率。该参数适用于 MRS 3.x版本。

5

mapreduce.client.submit.file.replication

MR任务在运行时依赖的相关job文件在HDFS上的备份。当备份数大于10时,可以降低客户端应用的失败率。

10

support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0837.html