华为云首页用户手册

MAPREDUCE服务 MRS-配置HDFS文件目录标签策略（NodeLabel）:多余块副本删除选择

MAPREDUCE服务 MRS-配置HDFS文件目录标签策略（NodeLabel）:多余块副本删除选择

时间：2024-08-01 19:24:48

MAPREDUCE服务 MRS

多余块副本删除选择

如果块副本数超过参数“dfs.replication”值（即用户指定的文件副本数，可以参考修改集群服务配置参数进入HDFS服务全部配置页面，搜索对应参数查看），HDFS会删除多余块副本来保证集群资源利用率。

删除规则如下：

优先删除不满足任何表达式的副本。
示例：文件默认副本数为3

/test标签表达式为“LA[replica=1],LB[replica=1],LC[replica=1]”；

/test文件副本分布的四个节点（D1～D4）以及对应标签（LA～LD）：
```
D1:LA
D2:LB
D3:LC
D4:LD
```
则选择删除D4节点上的副本块。
如果所有副本都满足表达式，删除多于表达式指定的数量的副本。
示例：文件默认副本数为3

/test标签表达式为“LA[replica=1],LB[replica=1],LC[replica=1]”；

/test文件副本分布的四个节点以及对应标签：
```
D1:LA
D2:LA
D3:LB
D4:LC
```
则选择删除D1或者D2上的副本块。
如果文件所有者或文件所有者的组不能访问某个标签，则优先删除映射到该标签的DataNode中的副本。

上一篇：MAPREDUCE服务 MRS-配置HDFS文件目录标签策略（NodeLabel）:块副本位置选择

下一篇：MAPREDUCE服务 MRS-配置HDFS文件目录标签策略（NodeLabel）:块副本位置选择

华为云11.11 2核1G 2M 云服务器

29元/年

立即注册领万元上云礼券

抽奖赢11111元免单

续费同价 L实例 2核2G 4M

98元/年

热门域名 1元随心购

1元/年

MAPREDUCE服务 MRS-配置HDFS文件目录标签策略（NodeLabel）:多余块副本删除选择

意见反馈

0/200

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

推荐文章

解决方案
相关专题