MAPREDUCE服务 MRS-配置HDFS DiskBalancer磁盘均衡:配置描述
下载MAPREDUCE服务 MRS用户手册完整版
配置描述
请参考修改集群服务配置参数，进入HDFS的“全部配置”页面，在搜索框中输入参数名称。
参数 |
描述 |
默认值 |
|---|---|---|
dfs.disk.balancer.auto.enabled |
是否开启自动执行HDFS DiskBalancer特性。默认值为“false”，表示关闭该特性。 |
false |
dfs.disk.balancer.auto.cron.expression |
HDFS 磁盘均衡操作的CRON表达式，用于控制均衡操作的开始时间。仅当dfs.disk.balancer.auto.enabled设置为true时才有效。默认值“0 1 * * 6”表示在每周六的1点执行任务。表达式的具体含义可参见表2。 |
0 1 * * 6 |
dfs.disk.balancer.max.disk.throughputInMBperSec |
执行磁盘数据均衡时可使用的最大磁盘带宽。单位为MB/s，默认值为10，可依据集群的实际磁盘条件设置。 |
10 |
dfs.disk.balancer.max.disk.errors |
设置能够容忍的在指定的移动过程中出现的最大错误次数，超过此阈值则移动失败。 |
5 |
dfs.disk.balancer.block.tolerance.percent |
设置磁盘之间进行数据均衡操作时，各个磁盘的数据存储量与理想状态之间的差异阈值。例如，各个磁盘的理想数据存储量为1TB，此参数设置为10。那么，当目标磁盘的数据存储量达到900GB时，就认为该磁盘的存储状态就已经足够好了。取值范围[1-100]。 |
10 |
dfs.disk.balancer.plan.threshold.percent |
设置在磁盘数据均衡中可容忍的两磁盘之间的数据密度阈值差。如果任意两个磁盘数据密度差值的绝对值超过了此阈值，意味着对应的磁盘应该进行数据均衡。取值范围[1-100]。 |
10 |
dfs.disk.balancer.top.nodes.number |
该参数用来指定集群中需要执行磁盘数据均衡的Top N 节点。 |
5 |
表2为HDFS磁盘均衡操作的CRON表达式。使用此功能时，需要先将参数dfs.disk.balancer.auto.enabled设置为true。其它参数依据集群状况设置。
- MapReduce服务_什么是HDFS_HDFS特性
- MapReduce服务_如何使用MapReduce服务_MRS集群客户端安装与使用
- MapReduce服务_什么是MapReduce服务_什么是HBase
- MRS备份恢复_MapReduce备份_数据备份
- MapReduce服务_什么是Flume_如何使用Flume
- MapReduce服务_什么是Hue_如何使用Hue
- MapReduce服务_什么是存算分离_如何配置MRS集群存算分离
- 什么是Manager_Manager的功能_MRS运维管理
- MapReduce服务_什么是Loader_如何使用Loader
- MapReduce服务_什么是ZooKeeper_如何使用ZooKeeper
