检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
它，而此时有其他的应用却资源紧张，这就造成了很大的资源浪费和资源不合理的调度。 动态资源调度就是为了解决这种场景，根据当前应用任务的负载情况，实时的增减Executor个数，从而实现动态分配资源，使整个Spark系统更加健康。 可通过如下方法开启动态资源分配功能，其他相关配置可参考Yarn模式下动态资源调度。
如果队列需要清除与某个资源池的绑定关系，该资源池不能作为队列的默认资源池，需要先将队列的默认资源池更改为其他资源池，请参见配置MRS租户队列。 清除队列配置 进入资源分布策略页面。 Manager页面： MRS 3.x及之后版本：在Manager页面，选择“租户资源 > 动态资源计划 > 资源分布策略”。
为什么MRS集群显示的资源池内存小于实际集群内存？ 问： 为什么MRS集群显示的资源池内存小于实际集群内存？ 答： 在MRS集群中，MRS默认为Yarn服务分配集群内存的50%，用户从逻辑上对Yarn服务的节点按照资源池进行分区管理，所以集群中显示的资源池总内存仅有集群总内存的50%。
MRS租户管理中的动态资源计划页面无法刷新怎么办？ 问： MRS租户管理中的动态资源计划页面无法刷新怎么办？ 答： 以root用户分别登录Master1和Master2节点。 执行ps -ef |grep aos命令检查aos进程号。 执行kill -9 aos进程号 结束aos进程。
如何提高集群Core节点的资源使用率？ 进入 Yarn服务配置页面： MRS 1.8.10及之前版本，登录MRS Manager页面，然后选择“服务管理 > Yarn > 服务配置”，单击“基础配置”下拉菜单，选择“全部配置”。 MRS 1.8.10之后及2.x版本，单击集群名称，登录集群详情页面，选择“组件管理
metastore-refresh-interval 5m 元数据缓存刷新时间，单位：分钟 通过hive创建表tb3，此时Hetu-cli查询结果： show tables; Table ------- tb1 tb2 (2 rows) 刷新元数据缓存后再次查询： refresh catalog
HostName 产生告警的主机名。 对系统的影响 资源组排队超过阈值可能导致大量任务处于排队状态，Presto任务时间超过预期，当资源组排队数超过该组最大排队数（maxQueued）时，会导致新的任务无法执行。 可能原因 资源组配置不合理或该资源组下提交的任务过多。 处理步骤 用户可通过“组件管理
Manager，单击“租户资源”。 单击“动态资源计划”页签。 单击“全局用户策略”页签。 在指定用户策略所在行，单击“操作”列中的“修改”。 调整相关参数后，单击“确定”。 删除策略 在FusionInsight Manager，单击“租户资源”。 单击“动态资源计划”页签。 单击“全局用户策略”页签。
ALM-12004 OLdap资源异常（2.x及以前版本） 告警解释 当Manager中的Ldap资源异常时，系统产生此告警。 当Manager中的Ldap资源恢复，且告警处理完成时，告警恢复。 告警属性 告警ID 告警级别 可自动清除 12004 严重 是 告警参数 参数名称 参数含义
ALM-12005 OKerberos资源异常（2.x及以前版本） 告警解释 告警模块对Manager中的Kerberos资源的状态进行监控，当Kerberos资源异常时，系统产生此告警。 当Kerberos资源恢复时，且告警处理完成时，告警恢复。 告警属性 告警ID 告警级别 可自动清除
系统当前指标取值满足自定义的告警设置条件。 对系统的影响 资源组排队超过阈值可能导致大量任务处于排队状态，Presto任务时间超过预期，当资源组排队数超过该组最大排队数（maxQueued）时，会导致新的任务无法执行。 可能原因 资源组配置不合理或该资源组下提交的任务过多。 处理步骤 选择“集群
3647。 资源分配规则 表示单个用户任务间的资源分配规则，包括FIFO和FAIR。 一个用户如果在当前队列上提交了多个任务，FIFO规则代表一个任务完成后再执行其他任务，按顺序执行。FAIR规则代表各个任务同时获取到资源并平均分配资源。 默认资源标签 表示在指定资源标签（Label）的节点上执行任务。
MRS集群租户资源最小值为0时只能同时运行一个任务吗？ 问： MRS集群的租户资源最小值设置为0后，只能同时运行一个Spark任务吗？ 答： 租户资源最小值改为0后，只能同时运行一个Spark任务。 父主题： 作业管理类
x及之后版本集群）：在Manager页面单击“租户资源”。 通过Manager操作（MRS 2.x及之前版本集群）：在Manager页面单击“租户管理”。 在左侧租户列表，单击某个租户节点。 检查租户数据状态。 在“概述”，查看租户状态，绿色表示租户可用，灰色表示租户不可用。 单击“资源”，查看“Yarn”或者“HDFS
ALM-12002 HA资源异常（2.x及以前版本） 告警解释 HA软件周期性检测Manager的WebService浮动IP地址和Manager的数据库。当HA软件检测到浮动IP地址或数据库异常时，产生该告警。 当HA检测到浮动IP地址或数据库正常后，告警恢复。 告警属性 告警ID
执行analyze table语句，因资源不足出现任务卡住 问题 使用spark-sql执行analyze table语句，任务一直卡住，打印的信息如下： spark-sql> analyze table hivetable2 compute statistics; Query ID
配置MRS集群外节点用户访问普通模式集群资源 操作场景 集群安装为普通模式时，各组件客户端不支持安全认证且无法使用kinit命令，所以集群外的节点默认无法使用集群中的用户，可能导致在这些节点访问某个组件服务端时用户鉴权失败。 如果需要在集群外节点以组件用户身份访问集群资源，管理员需为集群外节点设
sourceManager WebUI界面。 单击左侧“Scheduler”界面，确认被删除租户的队列已经清除。 父主题： 管理MRS租户资源
执行analyze table语句，因资源不足出现任务卡住 问题 使用spark-sql执行analyze table语句，任务一直卡住，打印的信息如下： spark-sql> analyze table hivetable2 compute statistics; Query ID
户剩余的资源容量，实际任务不会分配在此队列中运行。 不选择“Yarn”时，系统不会自动创建任务队列。 默认资源池容量 （%） 配置当前租户使用的计算资源百分比，基数为父租户的资源总量。 默认资源池最大容量 （%） 配置当前租户使用的最大计算资源百分比，基数为父租户的资源总量。 存储资源
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
