云服务器内容精选

华为云首页用户手册

管理MRS集群静态服务资源

MAPREDUCE服务 MRS-查看MRS集群静态资源:查看静态资源（2.x及之前版本）

查看静态资源（2.x及之前版本）在 MRS Manager，单击“系统设置”，在“资源管理”区域单击“静态服务池”。单击“状态”。查看系统资源调整基数。 “系统资源调整基数”表示集群中每个节点可以被集群服务使用的最大资源。如果节点只有一个服务，则表示此服务独占节点可用资源。如果节点有多个服务，则表示所有服务共同使用节点可用资源。 “CPU(%)”表示节点中服务可使用的最大CPU。 “Memory(%)”表示节点中服务可使用的最大内存。查看集群服务资源使用状态。在图表区域的服务选择框中选择“所有服务”，则“图表”中会显示服务池所有服务的资源使用状态。 “生效的配置组”表示集群服务当前使用的资源控制配置组。默认情况下每天所有时间均使用“default”配置组，表示集群服务可以使用节点全部CPU，以及70%的内存。查看单个服务资源使用状态。在图表区域的服务选择框中选择指定服务，“图表”中会显示服务池此服务的资源使用状态。用户可以选择页面自动刷新间隔的设置。在“时间区间”选择需要查看服务资源的时间段。单击“查看”可以查看相应时间区间的服务资源数据。自定义服务资源报表。单击“定制”，勾选需要显示的服务源指标。单击“确定”保存并显示所选指标。单击“清除”可批量取消全部选中的指标项。导出监控指标报表。单击“导出”，Manager将生成指定时间范围内、已勾选的服务资源指标报表文件，请选择一个位置保存，并妥善保管该文件。如果需要查看指定时间范围的监控指标对应的分布曲线图，请单击“查看”，界面将显示用户自定义时间范围内选定指标的分布曲线图。

MAPREDUCE服务 MRS 管理MRS集群静态服务资源
MAPREDUCE服务 MRS-配置MRS集群静态资源:配置静态资源（2.x及之前版本）

配置静态资源（2.x及之前版本）修改系统资源调整基数。在MRS Manager界面，单击“系统设置”，在“资源管理”区域单击“静态服务池”。单击“配置”，显示服务池配置组管理页面。在“系统资源调整基数”分别修改参数“CPU(%)”和“Memory(%)”。修改“系统资源调整基数”将限制Flume、HBase、HDFS、Impala和YARN服务能够使用节点的最大物理CPU和内存资源百分比。如果多个服务部署在同一节点，则所有服务使用的最大物理资源百分比不能超过此参数值。单击“下一步”完成编辑。需要重新修改参数，可单击页面下方的“上一步”。修改服务池默认“default”配置组。在“服务池配置”表格中Flume、HBase、HDFS、Impala和YARN服务对应的“CPU LIMIT(%)”、“CPU SHARE(%)”、“I/O(%)”和“Memory(%)”填写各服务的资源使用百分比数量。所有服务使用的“CPU LIMIT(%)”资源配置总和可以大于100%。所有服务使用的“CPU SHARE(%)”和“I/O(%)”资源配置总和需为100%。例如为HDFS和Yarn服务分配使用的CPU资源，2个服务分配到的CPU资源总和为100%。所有服务使用的“Memory(%)”资源配置总和可以小于或等于100%，也可以大于100%。 “Memory(%)”不支持动态生效，仅在“default”配置组中可以修改。单击页面空白处完成编辑，MRS Manager将根据集群硬件资源与分配情况，在“详细配置”生成服务池参数的正确配置值。如果根据业务需要，可以单击“详细配置”右侧的编辑按钮修改服务池的参数值。在“服务池配置”单击指定的服务名，“详细配置”将只显示此服务的参数。手工修改参数值并不会刷新服务使用资源的百分比显示。支持动态生效的参数，在新增加的配置组中显示名将包含配置组的编号，例如“HBase : RegionServer : dynamic-config1.RES_CPUSET_PERCENTAGE”，参数作用与“default”配置组中的参数相同。表1 静态服务池参数一览参数名参数描述 RES_CPUSET_PERCENTAGE dynamic-configX.RES_CPUSET_PERCENTAGE 配置服务使用CPU PERCENTAGE。 RES_CPU_SHARE dynamic-configX.RES_CPU_SHARE 配置服务使用CPU share。 RES_BLKIO_WEIGHT dynamic-configX.RES_BLKIO_WEIGHT 配置服务占用I/O的权重。 HBASE_HEAPSIZE 配置RegionServer的JVM最大内存。 HADOOP_HEAPSIZE 配置DataNode的JVM最大内存。 yarn.nodemanager.resource.memory-mb 配置当前节点上NodeManager可使用的内存大小。 dfs.datanode.max.locked.memory 配置DataNode用做HDFS缓存的最大内存。 FLUME_HEAPSIZE 配置每个flume实例能使用的最大JVM内存。 IMPALAD_MEM_LIMIT 配置impalad实例可使用的最大内存。添加自定义资源配置组。是否需要根据时间自动调整资源配置？是，执行3.b。否，执行4。单击增加新的资源配置组。在“调度时间”，单击编辑按钮显示时间策略配置页面。根据业务需要修改以下参数，并单击“确定”保存： “重复”：当勾选“重复”时表示此资源配置组按调度周期重复运行。不勾选时请设置一个资源配置组应用的日期与时间。 “重复策略”：支持“每天”、“每周”和“每月”。仅在“重复”模式中生效。 “介于”：表示资源配置组应用的开始与结束时间。请设置一个唯一的时间区间，如果与已有配置组的时间区间有重叠，则无法保存。仅在“重复”模式中生效。 “default”配置组会在所有未定义的时间段内生效。新增加的配置组属于动态生效的配置项集合，在配置组应用的时间区间内可直接生效。新增加的配置组可以被删除。最多增加4个动态生效的配置组。选择任一种“重复策略”，如果结束时间小于开始时间，默认标识为第二天的结束时间。例如“22:00”到“6:00”表示调度时间为当天22点到第二天6点。若多个配置组的“重复策略”类型不相同，则时间区间可以重叠，且生效的策略优先级从低到高的顺序为“每天”、“每周”、“每月”。例如，有“每月”与“每天”的调度配置组，时间区间分别为4:00到7:00，6:00到8:00，此时以每月的配置组为准。若多个配置组的“重复策略”类型相同，当日期不相同时，则时间区间可以重叠。例如，有两个“每周”的调度配置组，可以分别指定时间区间为周一和周三的4:00到7:00。在“服务池配置”修改各服务资源配置，并单击页面空白处完成编辑，然后执行4。用户可单击“服务池配置”右侧的编辑按钮重新修改参数。如果根据业务需要，在“详细配置”单击编辑按钮，手动更新由系统生成的参数值。保存配置。单击“保存”，在“保存配置”窗口勾选“重新启动受影响的服务或实例。”，单击是保存并重启相关服务。界面提示“操作成功。”，单击“完成”，服务成功启动。

MAPREDUCE服务 MRS 管理MRS集群静态服务资源
MAPREDUCE服务 MRS-查看MRS集群静态资源:操作场景

操作场景大数据管理平台支持通过静态服务资源池对没有运行在Yarn上的服务资源进行管理和隔离。系统支持基于时间的静态服务资源池自动调整策略，使集群在不同的时间段自动调整参数值，从而更有效地利用资源。系统管理员可以在 FusionInsight Manager查看静态服务池各个服务使用资源的监控指标结果，包含监控指标如下：服务总体CPU使用率服务总体磁盘IO读速率服务总体磁盘IO写速率服务总体内存使用大小

MAPREDUCE服务 MRS 管理MRS集群静态服务资源