MAPREDUCE服务 MRS-配置弹性伸缩指标:资源池维度策略

时间:2024-07-12 14:17:02

资源池维度策略

在添加规则时,可以参考表2配置相应的指标。

MRS 3.1.5及其之后的版本支持配置资源池维度策略。

表2 规则配置项说明

集群类型

指标名称

数值类型

说明

分析集群/自定义集群

ResourcePoolMemoryAvailable

整型

资源池YARN组件可用内存大小。单位为MB。

取值范围为[0~2147483646]。

ResourcePoolMemoryAvailablePercentage

百分比

资源池YARN组件可用内存百分比。是YARN组件可用内存大小与YARN组件总内存大小的比值。

取值范围为[0~100]。

ResourcePoolCPUAvailable

整型

资源池YARN组件可用的虚拟CPU核心数。

取值范围为[0~2147483646]。

ResourcePoolCPUAvailablePercentage

百分比

资源池YARN组件可用虚拟CPU核心数百分比。是可用虚拟CPU核心数与总虚拟CPU核心数比值。

取值范围为[0~100]。

在添加资源计划时,可以参考表3配置相应的参数。
表3 资源计划配置项说明

配置项

说明

生效日期

资源计划的生效日期。默认是每日生效,也可以选择周一至周日任意一天或几天生效。

时间范围

资源计划的起始时间和结束时间,精确到分钟,取值范围[00:00, 23:59]。例如资源计划开始于早上8:00,结束于10:00,则配置为8:00-10:00。结束时间必须晚于开始时间至少30分钟。

节点数量范围

资源计划内的节点数量上下限,取值范围[0,500],在资源计划时间内,集群Task节点数量小于最小节点数时,弹性伸缩会将集群Task节点一次性扩容到最小节点数。在资源计划时间内,集群Task节点数量大于最大节点数时,弹性伸缩会将集群Task节点一次性缩容到最大节点数。最小节点数必须小于或等于最大节点数。

  • 当启用资源计划时,弹性伸缩配置中的“默认节点数量范围”将在资源计划外的时间段内强制生效。例如“默认节点数量范围”配置为1-2,配置资源计划:08:00-10:00之间节点数量范围为4-5,则在一天中的非资源计划时间段(0:00-8:00以及10:00-23:59)内,Task节点会被强制限制在1个到2个中间,若节点数量大于2则触发自动缩容,若节点数量小于1则触发自动扩容。
  • 当不启用资源计划时,节点数量范围的“默认范围”会在全部时间范围生效,如果节点数量不在“节点数量范围”的默认范围,主动增减Task节点数量到默认范围内。
  • 资源计划间时间段不可交叉,时间段交叉意为某个时间点存在两个生效的资源计划,例如配置资源计划1在08:00-10:00生效,资源计划2在09:00-11:00生效,则两个资源计划存在时间段交叉,交叉时间段09:00-10:00。
  • 资源计划不能跨天配置,例如要配置23:00至次日01:00的资源计划,请配置时间段为23:00-00:00和00:00-01:00的两个资源计划。
support.huaweicloud.com/usermanual-mrs/mrs_01_24737.html