MAPREDUCE服务 MRS-查看HDFS容量状态:容量规格
下载MAPREDUCE服务 MRS用户手册完整版
容量规格
以下相关参数可以参考修改集群服务配置参数进入HDFS服务全部配置页面，搜索对应参数查看。
- NameNode容量规格
在NameNode中，每个文件对象对应DataNode中的一个文件、目录或Block。
一个文件至少占用一个Block，默认每个Block大小为“134217728”即128MB，对应参数为“dfs.blocksize”。默认情况下一个文件小于128MB时，只占用一个Block；文件大于128MB时，占用Block数为：文件大小/128MB。目录不占用Block。
根据“dfs.blocksize”，NameNode的文件对象数计算方法如下：表1 NameNode文件对象数计算 单个文件大小
文件对象数
小于128MB
1（对应文件）+1（对应Block）=2
大于128MB（例如128G）
1（对应文件）+1,024（对应128GB/128MB=1024 Block）=1,025
主备NameNode支持最大文件对象的数量为300,000,000（最多对应150,000,000个小文件）。“dfs.namenode.max.objects”规定当前系统可生成的文件对象数，默认值为“0”表示不限制。
- DataNode容量规格
在HDFS中，Block以副本的形式存储在DataNode中，默认副本数为“3”，对应参数为“dfs.replication”。
集群中所有DataNode角色实例保存的Block总数为：HDFS Block * 3。集群中每个DataNode实例平均保存的Blocks= HDFS Block * 3/DataNode节点数。
表2 DataNode支持规格 项目
规格
单个DataNode实例支持最大Block数
5,000,000
单个DataNode实例上单个磁盘支持最大Block数
500,000
单个DataNode实例支持最大Block数需要的最小磁盘数
10
表3 DataNode节点数规划 HDFS Block数
最少DataNode角色实例数
10,000,000
10,000,000 *3/5,000,000 = 6
50,000,000
50,000,000 *3/5,000,000 = 30
100,000,000
100,000,000 *3/5,000,000 = 60
- MapReduce服务_什么是HDFS_HDFS特性
- MapReduce服务_如何使用MapReduce服务_MRS集群客户端安装与使用
- GaussDB最大容量_gaussdb基于_高斯数据库最大容量_华为云
- MapReduce服务_什么是Hue_如何使用Hue
- MapReduce服务_什么是存算分离_如何配置MRS集群存算分离
- MapReduce服务_什么是MapReduce服务_什么是HBase
- MapReduce服务_什么是Loader_如何使用Loader
- MapReduce服务_什么是Kafka_如何使用Kafka
- MRS优势_什么是MRS_MRS功能
- MapReduce服务_什么是ZooKeeper_如何使用ZooKeeper
