MAPREDUCE服务 MRS-配置ResourceManager重启后自动加载Container信息:配置描述
配置描述
参考修改集群服务配置参数进入Yarn服务参数“全部配置”界面,在搜索框中输入参数名称。
ResourceManager Restart特性配置如下。
参数 |
描述 |
默认值 |
---|---|---|
yarn.resourcemanager.recovery.enabled |
设置是否让ResourceManager在启动后恢复状态。如果设置为true,那yarn.resourcemanager.store.class也必须设置。 |
true |
yarn.resourcemanager.store.class |
指定用于保存应用程序和任务状态以及证书内容的state-store类。 |
org.apache.hadoop.yarn.server.resourcemanager.recovery.AsyncZK RMS tateStore |
yarn.resourcemanager.zk-state-store.parent-path |
ZKRMStateStore在ZooKeeper上的保存目录。 |
/rmstore |
yarn.resourcemanager.work-preserving-recovery.enabled |
启用ResourceManager Work preserving功能。该配置仅用于YARN特性验证。 |
true |
yarn.resourcemanager.state-store.async.load |
对已完成的application采用ResourceManager异步恢复方式。 |
true |
yarn.resourcemanager.zk-state-store.num-fetch-threads |
启用异步恢复功能,增加工作线程的数量可以加快恢复ZK中保存的任务信息的速度,取值范围大于0。 |
20 |
NodeManager Restart特性配置如下。
参数 |
描述 |
默认值 |
---|---|---|
yarn.nodemanager.recovery.enabled |
当Nodemanager重启时是否启用日志失败收集功能,是否恢复未完成的Application。 |
true |
yarn.nodemanager.recovery.dir |
NodeManager用于保存container状态的本地目录。 |
${SRV_HOME}/tmp/yarn-nm-recovery |
yarn.nodemanager.recovery.supervised |
NodeManager是否在监控下运行。开启此特性后NodeManager在退出后不会清理containers,NodeManager会假设自己会立即重启和恢复containers。 |
true |
- MapReduce服务_什么是Yarn_如何使用Yarn
- MapReduce服务_如何使用MapReduce服务_MRS集群客户端安装与使用
- MapReduce服务_什么是ZooKeeper_如何使用ZooKeeper
- MapReduce服务_什么是存算分离_如何配置MRS集群存算分离
- MapReduce服务_什么是MapReduce服务_什么是HBase
- 主机安全配置_Windows主机安全配置_Linux主机安全配置
- 大数据分析是什么_使用MapReduce_创建MRS服务
- 微服务部署_微服务平台_微服务引擎CSE-华为云
- 什么是Spark_如何使用Spark_Spark的功能是什么
- 工作负载_云容器引擎_什么是工作负载