MAPREDUCE服务 MRS-配置DataNode节点容量不一致时的副本放置策略:对系统的影响

时间：2024-07-24 15:45:56

MAPREDUCE服务 MRS

修改磁盘选择策略为“节点磁盘可用空间块放置策略（org.apache.hadoop.hdfs.server.blockmanagement.AvailableSpaceBlockPlacementPolicy）”，经过测试验证，在该测试结果中，修改前后，HDFS写文件性能影响范围在3%以内。

NameNode默认的副本存储策略为：

如还有更多副本，则随机选择其它DataNode。

“节点磁盘可用空间块放置策略”的副本选择机制为：

第一个副本：存放在客户端所在DataNode（和默认的存放策略一样）。
第二个副本：
- 选择存储节点的时候，先挑选2个满足要求的数据节点。
- 比较这2个节点磁盘空间使用比例，如果磁盘空间使用率的相差小于5%，随机存放到第一个节点。
- 如果磁盘空间使用率相差超过5%，即有60%（由dfs.namenode.available-space-block-placement-policy.balanced-space-preference-fraction指定，默认值0.6）的概率写到磁盘空间使用率低的节点。
第三副本等其他后续副本的存储情况，也参考第二个副本的选择方式。