MRS集群容量调整-华为云

MAPREDUCE服务 MRS-扩容MRS集群:约束条件

约束条件对于已安装HBase组件的节点组扩容时：如果集群没有开启节点自动注册DNS，扩容该节点组时需选择不启动组件，之后请参考服务端配置过期后更新 MRS 集群客户端更新完HBase客户端配置后再启动扩容节点上的HBase组件实例。以下版本默认开启了集群自动注册DNS，也可以请通过查询对应版本元数据查询返回体中features字段是否包含register_dns_server这个值来判断是否支持DNS特性。 MRS 1.9.3、MRS 3.1.0、MRS 3.1.2-LTS、MRS 3.1.5以及MRS 3.2.0-LTS。扩容后，集群内节点已安装的客户端无需更新，集群外节点安装的客户端请参考服务端配置过期后更新MRS集群客户端进行更新。扩容后，如需对HDFS数据进行均衡操作，请参考配置DataNode容量均衡。如需对Kafka数据进行均衡操作，请参考Kafka均衡工具使用说明。

MAPREDUCE服务 MRS MRS集群容量调整

MAPREDUCE服务 MRS-扩容MRS集群:扩容按需集群

扩容按需集群登录MRS管理控制台。选择“现有集群” ，选中一个运行中的集群并单击集群名称，进入集群信息页面。选择“节点管理”页签，在需要扩容的节点组的“操作”列单击“扩容”，进入扩容集群页面。只有运行中的集群才能进行扩容操作。设置“系统盘”和“数据盘”的类型、“扩容节点数量”、“启动组件”和“执行引导操作”参数，并单击“确定”。“启动组件”和“执行引导操作”参数部分版本的集群可能不支持，请以界面实际参数为准。若集群中没有Task节点组，请参考相关任务配置Task节点。如果创建集群时添加了引导操作，则“执行引导操作”参数有效，开启该功能时扩容的节点会把创建集群时添加的引导操作脚本都执行一遍。如果“新节点规格”参数有效，则表示与原有节点相同的规格已售罄或已下架，新扩容的节点将按照“新节点规格”增加。扩容集群前需要检查集群安全组是否配置正确，要确保集群入方向安全组规则中有一条全部协议，全部端口，源地址为可信任的IP访问范围的规则。进入“扩容节点”窗口，单击“确认”。页面右上角弹出扩容节点提交成功提示框。集群扩容过程说明如下：扩容中：集群正在扩容时集群状态为“扩容中”。已提交的作业会继续执行，也可以提交新的作业，但不允许继续扩容和删除集群，也不建议重启集群和修改集群配置。扩容成功：集群扩容成功后集群状态为“运行中”，计费会按照新增节点加上已有节点使用的资源计算。扩容失败：集群扩容失败时集群状态为“运行中”。用户可以执行作业，也可以重新进行扩容操作。扩容成功后，可以在集群详情的“节点管理”页签查看集群的节点信息。

MAPREDUCE服务 MRS MRS集群容量调整

MAPREDUCE服务 MRS-扩容MRS集群:添加Task节点

添加Task节点 MRS集群创建成功之后，如果需要规划Task类型的节点组进行弹性伸缩，可通过手动添加节点组的方式进行配置。 “自定义”类型集群添加Task节点操作步骤：在集群详情页面，选择“节点管理”页签，单击“新增节点组”，进入“新增节点组”页面。节点类型选择“Task”，“部署角色”参数默认选择“NM”部署NodeManager角色，则新增节点组为Task节点组，其他参数根据需要配置。图1 添加Task节点组非“自定义”类型集群添加Task节点操作步骤：在集群详情页面，选择“节点管理”页签，单击“配置Task节点”，进入“配置Task节点”页面。配置“节点类型”、“节点规格”、“节点数量”、“系统盘”，如开启“添加数据盘”后，还需要配置数据盘的存储类型、大小和数量。单击“确定”。

MAPREDUCE服务 MRS MRS集群容量调整

MAPREDUCE服务 MRS-缩容MRS集群:指定数量缩容

指定数量缩容登录MRS管理控制台。选择“现有集群”，选中一个运行中的集群并单击集群名称，进入集群信息页面。选择“节点管理”页签，在需要缩容的节点组的“操作”列，单击“缩容”，进入缩容集群页面。只有运行中的集群且集群中的节点都在运行中才能进行该操作。 “缩容类型”选择“指定数量缩容”。设置“缩容节点数量”，并单击“确定”。缩容集群前需要检查集群安全组是否配置正确，要确保集群入方向安全组规则中有一条全部协议，全部端口，源地址为可信任的IP访问范围的规则。若HDFS存在损坏的数据块，则缩容集群可能出现失败，请联系华为云支持人员处理。页面右上角弹出缩容节点提交成功提示框。集群缩容过程说明如下：缩容中：集群正在缩容时集群状态为“缩容中”。已提交的作业会继续执行，也可以提交新的作业，但不允许继续缩容和删除集群，也不建议重启集群和修改集群配置。缩容成功：集群缩容成功后集群状态为“运行中”，计费按照缩容后所使用的资源计算。缩容失败：集群缩容失败时集群状态为“运行中”。用户可以执行作业，也可以重新进行缩容操作。缩容成功后，可以在集群详情的“节点管理”页签查看集群的节点信息。

MAPREDUCE服务 MRS MRS集群容量调整

MAPREDUCE服务 MRS-缩容MRS集群:指定节点缩容

指定节点缩容当节点不再需要时，使用该功能删除节点。删除节点前建议先对组件的角色实例执行退服操作，并且请确保节点中的数据已完成备份。缩容ClickHouseServer实例节点请参考缩容ClickHouseServer节点。缩容指定节点仅支持缩容按需计费类型的节点。如需缩容包周期计费类型的节点，请参考退订MRS包周期集群指定节点进行操作。登录MRS控制台。单击集群名称进入集群详情页面。单击“节点管理”。单击对应节点组“操作”列的“缩容”，进入缩容页面。 “缩容类型”选择“指定节点缩容”，勾选待缩容节点。处于“关机”、“失联”、“未知”、“已隔离”及“故障”状态的节点可以被指定缩容。若节点无法勾选，请单击“跳转关机”进入E CS 页面将对应节点关机，并在MRS集群详情页面单击“告警管理”，观察关机后是否有影响业务的告警出现，若无影响业务的告警则回到缩容页面选择对应的节点进行缩容，若有影响业务的告警请处理告警后再进行缩容。节点缩容存在数据丢失风险，建议在缩容前进行节点退服操作，具体操作请参见退服和入服MRS角色实例。图1 缩容指定节点勾选“我已经阅读上述信息，并了解具体影响。”并单击“确定”。单击“组件管理”观察各个组件是否存在异常，若存在异常等待5~10分钟后再次观察组件，依然存在异常则联系华为云技术支持处理。单击“告警管理”观察是否存在异常告警，若存在请清除告警后再进行其他操作。

MAPREDUCE服务 MRS MRS集群容量调整

MAPREDUCE服务 MRS-缩容MRS集群:背景信息

背景信息目前支持缩容Core节点和Task节点，不支持缩容Master节点。对集群进行缩容时，只需要在界面调整节点个数，MRS会自动选择缩容节点，完成缩容任务。自动选择缩容节点的策略如下：不允许缩容安装了基础组件（Zookeeper，DBService，KrbServer，LdapServer等）的节点，MRS不会选择这些节点进行缩容。因为这些基础组件是集群运行的基础。 Core节点是存放集群业务数据的节点，在缩容时必须保证待缩容节点上的数据被完整迁移到其他节点，即完成各个组件的退服之后，才会执行缩容的后续操作（节点退出Manager和删除ECS等）。在选择Core节点时，会优先选择存储数据量较小，且可退服实例健康状态良好的节点，避免节点退服失败。例如在分析集群上，Core节点安装了DataNode，缩容时会优先选择DataNode存储数据量较小且健康状态良好的节点。 Core节点在缩容的时候，会对原节点上的数据进行迁移。业务上如果对数据位置做了缓存，客户端自动刷新位置信息可能会影响时延。缩容节点可能会影响部分HBase on HDFS数据的第一次访问响应时长，可以重启HBase或者对相关的表Disable/Enable来避免。 Task节点本身不存储集群数据，属于计算节点，不存在节点数据迁移的问题。因此在选择Task节点时，优先选择健康状态为故障、未知、亚健康的节点进行缩容。这些节点实例的健康状态信息可以在MRS上的“实例”管理界面查看。

MAPREDUCE服务 MRS MRS集群容量调整

MAPREDUCE服务 MRS-缩容MRS集群:缩容校验策略

缩容校验策略缩容节点选择完成后，为了避免组件退服失败，不同组件提供了不同的退服约束规则，只有满足了所有安装组件的退服约束规则才允许缩容。缩容校验策略如表1所示。表1 组件退服约束规则组件名称退服约束规则 HDFS/DataNode 规则：缩容后节点数不小于当前HDFS的副本数且HDFS数据总量不超过缩容后HDFS集群总容量的80%，可以执行缩容操作。原因：确保缩容后剩余空间足够存放现有数据，并预留一部分空间。说明：为了保证数据的可靠性，HDFS中每保存一个文件则自动生成1个备份文件，即默认共2个副本。 HBase/RegionServer 规则：除缩容节点外，其他节点RegionServer剩余可用内存的总和，大于所选缩容节点RegionServer当前使用内存的1.2倍。原因：当一个节点退服时，这个节点上的Region会迁移到其他节点，所以其他节点的可用内存必须足够才能负担起退服节点的Region。 Storm/ Supervisor 规则：缩容后集群slot数足够运行当前已提交的任务。原因：防止缩容后没有充足的资源运行流处理任务。 Flume/FlumeServer 规则：节点安装了FlumeServer，并且已经配置了Flume任务，则该节点不能删除。原因：防止误删了已部署的业务程序。 ClickHouse/ClickHouseServer 规则：具体请参缩容ClickHouseServer约束限制章节。原因：保障退服节点数据迁移到未退服节点。

MAPREDUCE服务 MRS MRS集群容量调整

云服务器内容精选

MRS集群容量调整

7*24

备案

专业服务

退订

建议反馈

售前咨询热线