检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置Yarn模式下Spark动态资源调度 操作场景 对于Spark应用来说，资源是影响Spark应用执行效率的一个重要因素。当一个长期运行的服务（比如JDBCServer），如果分配给它多个Executor，可是却没有任何任务分配给它，而此时有其他的应用却资源紧张，这就造成了很大的资源浪费和资源不合理的调度。
配置Yarn模式下Spark动态资源调度 操作场景 对于Spark应用来说，资源是影响Spark应用执行效率的一个重要因素。当一个长期运行的服务（比如JDBCServer），若分配给它多个Executor，可是却没有任何任务分配给它，而此时有其他的应用却资源紧张，这就造成了很大的资源浪费和资源不合理的调度。
单击“导出”，导出当前查看的指标数据。 查看主机资源概况 该操作仅适用于MRS 3.x及之后版本。 登录到FusionInsight Manager页面，选择“主机 > 资源概况”。 查看分布信息。 在“分布”页签，可查看集群的资源分布监控，默认显示1小时的监控数据。用户可单击自定义时间区间。 图1 资源分布概况 单
配置RSGroup管理RegionServer资源 操作场景 HBase服务的数据节点较多，需要根据不同的业务规模将数据节点资源分配给特定的业务，从而达到资源独占使用的目的。当AZ容灾特性被开启时，为了保证AZ容灾生效，保障业务可靠性，在为RSGroup分配RegionServe
配置RSGroup管理RegionServer资源 操作场景 HBase服务的数据节点较多，需要根据不同的业务规模将数据节点资源分配给特定的业务，从而达到资源独占使用的目的。当AZ容灾特性被开启时，为了保证AZ容灾生效，保障业务可靠性，在为RSGroup分配RegionServe
调整HetuEngine集群节点资源配置 HetuEngine默认的内存大小参数和硬盘溢出路径参数默认并非最佳，需要根据实际业务和集群的服务器配置情况调整集群节点资源配置，以获得最佳的性能效果。 调整HetuEngine集群节点资源步骤 登录FusionInsight Manager页面。
容量保证。MRS集群管理员可为每个队列设置资源最低保证和资源使用上限，而所有提交到队列的应用程序共享这些资源。 灵活性。如果一个队列中的资源有剩余，可以暂时共享给那些需要资源的队列，而一旦该队列有新的应用程序提交，则占用资源的队列将资源释放给该队列。这种资源灵活分配的方式可明显提高资源利用率。 多重租赁
但YARN资源队列只有一个，为了解决这种资源局限的问题，引入了多租户模式。 多租户模式是将JDBCServer和租户绑定，每一个租户对应一个或多个JDBCServer，而一个JDBCServer只给一个租户提供服务。不同的租户可以配置不同的YARN队列，从而达到资源隔离，且JD
删除父租户时选择不保留数据，如果存在子租户且子租户使用了存储资源，则子租户的数据也会被删除。 通过Manager删除租户 MRS 3.x及之后版本： 登录Manager，单击“租户资源”。 在左侧租户列表，选择待删除的租户，单击。 根据业务需求，需要保留租户已有的数据时请同时勾选“保留该租户资源的数据。”，否则将自动删除租户对应的存储空间。
ALM-12005 OKerberos资源异常 告警解释 告警模块对Manager中的Kerberos资源的状态按80秒周期进行监控，当连续6次监控到Kerberos资源异常时，系统产生此告警。 当Kerberos资源恢复时，且告警处理完成时，告警恢复。 告警属性 告警ID 告警级别
解锁MRS集群LDAP管理账户 管理员在LDAP用户和管理账户被锁定时，需要在管理节点解锁集群LDAP用户“cn=pg_search_dn,ou=Users,dc=hadoop,dc=com”以及LDAP管理账户“cn=krbkdc,ou=Users,dc=hadoop,dc=com”和“cn=krbadmin
配置NodeManager角色实例使用的资源 操作场景 如果部署NodeManager的各个节点硬件资源（如CPU核数、内存总量）不一样，而NodeManager可用硬件资源设置为相同的值，可能造成性能浪费或状态异常，需要修改各个NodeManager角色实例的配置，使硬件资源得到充分利用。 对系统的影响
配置NodeManager角色实例使用的资源 操作场景 如果部署NodeManager的各个节点硬件资源（如CPU核数、内存总量）不一样，而NodeManager可用硬件资源设置为相同的值，可能造成性能浪费或状态异常，需要修改各个NodeManager角色实例的配置，使硬件资源得到充分利用。 对系统的影响
它，而此时有其他的应用却资源紧张，这就造成了很大的资源浪费和资源不合理的调度。 动态资源调度就是为了解决这种场景，根据当前应用任务的负载情况，实时的增减Executor个数，从而实现动态分配资源，使整个Spark系统更加健康。 可通过如下方法开启动态资源分配功能，其他相关配置可参考Yarn模式下动态资源调度。
应用任务结束时间变长。 新应用提交后长时间无法运行。 可能原因 NodeManager节点资源过小。 队列最大资源容量设置过小，AM最大资源百分比设置过小。 监控阈值设置过小。 处理步骤 检查NodeManager节点资源 在FusionInsight Manager界面，选择“集群 > 待操作集群的名称
如果队列需要清除与某个资源池的绑定关系，该资源池不能作为队列的默认资源池，需要先将队列的默认资源池更改为其他资源池，请参见配置MRS租户队列。 清除队列配置 进入资源分布策略页面。 Manager页面： MRS 3.x及之后版本：在Manager页面，选择“租户资源 > 动态资源计划 > 资源分布策略”。
为什么MRS集群显示的资源池内存小于实际集群内存？ 问：为什么MRS集群显示的资源池内存小于实际集群内存？ 答：在MRS集群中，MRS默认为Yarn服务分配集群内存的50%，用户从逻辑上对Yarn服务的节点按照资源池进行分区管理，所以集群中显示的资源池总内存仅有集群总内存的50%。
如何提高集群Core节点的资源使用率？ 进入 Yarn服务配置页面： MRS 1.8.10及之前版本，登录MRS Manager页面，然后选择“服务管理 > Yarn > 服务配置”，单击“基础配置”下拉菜单，选择“全部配置”。 MRS 1.8.10之后及2.x版本，单击集群名称，登录集群详情页面，选择“组件管理
MRS租户管理中的动态资源计划页面无法刷新怎么办？ 问： MRS租户管理中的动态资源计划页面无法刷新怎么办？ 答： 以root用户分别登录Master1和Master2节点。 执行ps -ef |grep aos命令检查aos进程号。 执行kill -9 aos进程号 结束aos进程。
修改MRS集群LDAP管理账户密码 建议管理员定期修改集群LDAP管理账户“cn=krbkdc,ou=Users,dc=hadoop,dc=com”和“cn=krbadmin,ou=Users,dc=hadoop,dc=com”的密码，以提升系统运维安全性。 该章节仅适用于MRS
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
