Yarn企业级能力增强-华为云

MAPREDUCE服务 MRS-配置Yarn权限控制开关:配置描述

配置描述查看Yarn服务配置参数参考修改集群服务配置参数进入Yarn服务参数“全部配置”界面，在搜索框中输入表1中参数名称。表1 参数描述参数描述默认值 yarn.acl.enable Yarn权限控制启用开关。 true yarn.webapp.filter-entity-list-by-user 严格视图启用开关，开启后，登录用户只能查看该用户有权限查看的内容。当要开启该功能时，同时需要设置参数“yarn.acl.enable”为true。 true 查看Mapreduce服务配置参数参考修改集群服务配置参数进入Mapreduce服务参数“全部配置”界面，在搜索框中输入表2中参数名称。表2 参数描述参数描述默认值 mapreduce.cluster.acls.enabled MR JobHistoryServer权限控制启用开关。该参数为客户端参数，当JobHistoryServer服务端开启权限控制之后该参数生效。 true yarn.webapp.filter-entity-list-by-user MR JobHistoryServer严格视图启用开关，开启后，登录用户只能查看该用户有权限查看的内容。该参数为JobHistoryServer的服务端参数，表示JHS开启了权限控制，但是否要对某一个特定的Application进行控制，是由客户端参数：“mapreduce.cluster.acls.enabled”决定。 true 以上配置会影响restful API和shell命令结果，即以上配置开启后，restful API调用和shell命令运行所返回的内容只包含调用用户有权查看的信息。当yarn.acl.enable或mapreduce.cluster.acls.enabled设置为false时，即关闭Yarn或Mapreduce的权限校验功能。此时任何用户都可以在Yarn或MapReduce上提交任务和查看任务信息，存在安全风险，请谨慎使用。

MAPREDUCE服务 MRS Yarn企业级能力增强

MAPREDUCE服务 MRS-配置AM作业自动保留:配置场景

配置场景在YARN中，ApplicationMaster(AM)与Container类似，都运行在NodeManager(NM)上（本文中忽略未管理的AM）。AM可能由于多种原因崩溃、退出或关闭。如果AM停止运行，ResourceManager(RM)会关闭ApplicationAttempt中管理的所有Container，其中包括当前在NM上运行的所有Container。RM会在另一计算节点上启动新的ApplicationAttempt。对于不同类型的应用，希望以不同方式处理AM重启的事件。MapReduce类应用的目标是不丢失任务，但允许丢失当前运行的Container。但是对于长周期的YARN服务而言，用户可能并不希望由于AM的故障而导致整个服务停止运行。 YARN支持在新的ApplicationAttempt启动时，保留之前Container的状态，因此运行中的作业可以继续无故障的运行。图1 AM作业保留

MAPREDUCE服务 MRS Yarn企业级能力增强

MAPREDUCE服务 MRS-配置AM作业自动保留:配置描述

配置描述参考修改集群服务配置参数进入Yarn服务参数“全部配置”界面，在搜索框中输入参数名称。根据表1，对如下参数进行设置。表1 AM作业保留相关参数参数说明默认值 yarn.app.mapreduce.am.work-preserve 是否开启AM作业保留特性。 false yarn.app.mapreduce.am.umbilical.max.retries AM作业保留特性中，运行的容器尝试恢复的最大次数。 5 yarn.app.mapreduce.am.umbilical.retry.interval AM作业保留特性中，运行的容器尝试恢复的时间间隔。单位：毫秒。 10000 yarn.resourcemanager.am.max-attempts ApplicationMaster的重试次数。增加重试次数可以避免当资源不足时造成AM启动失败。适用于所有ApplicationMaster的全局设置。每个ApplicationMaster都可以使用API设置一个单独的最大尝试次数，但这个次数不能大于全局的最大次数。如果大于了，那ResourceManager将会覆写这个单独的最大尝试次数。取值范围大于等于1。 2

MAPREDUCE服务 MRS Yarn企业级能力增强

MAPREDUCE服务 MRS-配置AM自动调整分配内存:配置描述

配置描述参数入口：参考修改集群服务配置参数进入Yarn服务参数“全部配置”界面，在搜索框中输入参数名称“mapreduce.job.am.memory.policy”。配置说明：配置项的默认值为空，此时不会启动自动调整的策略，ApplicationMaster的内存仍受“yarn.app.mapreduce.am.resource.mb”配置项的影响。配置参数的值由5个数值组成，中间使用“:”与“,”分隔，格式为：baseTaskCount:taskStep:memoryStep,minMemory:maxMemory，在键入时会严格校验格式。表1 配置数值说明数值名称描述设定要求 baseTaskCount 任务总量基数，只有当应用的task总数（map端与reduce端之和）不小于该值时配置才会起作用。不能为空且大于零。 taskStep 任务增量步进，与memoryStep共同决定内存调整量。不能为空且大于零。 memoryStep 内存增量步进，在“yarn.app.mapreduce.am.resource.mb”配置的基础上对内存向上调整。不能为空且大于零，单位：MB。 minMemory 内存自动调整下限，若调整后的内存不大于该值，仍保持“yarn.app.mapreduce.am.resource.mb”的配置。不能为空且大于零，且不大于maxMemory的设定值。单位：MB maxMemory 内存自动调整上限，若调整后的内存超过该值，则使用该值作为最终调整值。不能为空且大于零，且不小于minMemory的设定值。单位：MB

MAPREDUCE服务 MRS Yarn企业级能力增强

云服务器内容精选

Yarn企业级能力增强

7*24

备案

专业服务

退订

建议反馈

售前咨询热线