MAPREDUCE服务 MRS-HDFS基本原理:HDFS可靠性
HDFS可靠性
MRS 使用HDFS的副本机制来保证数据的可靠性,HDFS中每保存一个文件则自动生成1个备份文件,即共2个副本。HDFS副本数可通过“dfs.replication”参数查询。
- 当MRS集群中Core节点规格选择为非本地盘(hdd)时,若集群中只有一个Core节点,则HDFS默认副本数为1。若集群中Core节点数大于等于2,则HDFS默认副本数为2。
- 当MRS集群中Core节点规格选择为本地盘(hdd)时,若集群中只有一个Core节点,则HDFS默认副本数为1。若集群中有两个Core节点,则HDFS默认副本数为2。若集群中Core节点数大于等于3,则HDFS默认副本数为3。
MRS支持HDFS组件上节点均衡调度和单节点内的磁盘均衡调度,有助于扩容节点或扩容磁盘后的HDFS存储性能提升。
关于Hadoop的架构和详细原理介绍,请参见:http://hadoop.apache.org/。
- MapReduce服务_什么是HDFS_HDFS特性
- MapReduce服务_什么是Hive_如何使用Hive
- MapReduce服务_什么是Flume_如何使用Flume
- MapReduce服务_什么是MapReduce服务_什么是HBase
- MapReduce服务_什么是Kafka_如何使用Kafka
- MapReduce服务_什么是Hue_如何使用Hue
- MapReduce服务_什么是Loader_如何使用Loader
- MapReduce服务_什么是存算分离_如何配置MRS集群存算分离
- MRS备份恢复_MapReduce备份_数据备份
- MapReduce服务_什么是ZooKeeper_如何使用ZooKeeper