MAPREDUCE服务 MRS-缩容MRS集群:缩容校验策略

时间：2024-08-17 08:59:26

MAPREDUCE服务 MRS MRS集群容量调整

缩容节点选择完成后，为了避免组件退服失败，不同组件提供了不同的退服约束规则，只有满足了所有安装组件的退服约束规则才允许缩容。缩容校验策略如表1所示。

表1 组件退服约束规则
组件名称	退服约束规则
HDFS/DataNode	规则：缩容后节点数不小于当前HDFS的副本数且HDFS数据总量不超过缩容后HDFS集群总容量的80%，可以执行缩容操作。原因：确保缩容后剩余空间足够存放现有数据，并预留一部分空间。说明：为了保证数据的可靠性，HDFS中每保存一个文件则自动生成1个备份文件，即默认共2个副本。
HBase/RegionServer	规则：除缩容节点外，其他节点RegionServer剩余可用内存的总和，大于所选缩容节点RegionServer当前使用内存的1.2倍。原因：当一个节点退服时，这个节点上的Region会迁移到其他节点，所以其他节点的可用内存必须足够才能负担起退服节点的Region。
Storm/ Supervisor	规则：缩容后集群slot数足够运行当前已提交的任务。原因：防止缩容后没有充足的资源运行流处理任务。
Flume/FlumeServer	规则：节点安装了FlumeServer，并且已经配置了Flume任务，则该节点不能删除。原因：防止误删了已部署的业务程序。
ClickHouse/ClickHouseServer	规则：具体请参缩容ClickHouseServer约束限制章节。原因：保障退服节点数据迁移到未退服节点。