MAPREDUCE服务 MRS-节点内DataNode磁盘使用率不均衡

时间:2024-08-27 10:23:52

解决办法

将DataNode选择磁盘策略的参数dfs.datanode.fsdataset.volume.choosing.policy的值改为:org.apache.hadoop.hdfs.server.datanode.fsdataset.AvailableSpaceVolumeChoosingPolicy,保存并重启受影响的服务或实例。

让DataNode根据磁盘剩余空间大小,优先选择磁盘剩余空间多的节点存储数据副本。
  • 针对新写入到本DataNode的数据会优先写磁盘剩余空间多的磁盘。
  • 部分磁盘使用率较高,依赖业务逐渐删除在HDFS中的数据(老化数据)来逐渐降低。
support.huaweicloud.com/trouble-mrs/mrs_03_0093.html