MAPREDUCE服务 MRS-单NameNode长期故障时如何使用客户端手动checkpoint:原因分析
原因分析
备NameNode会周期性做合并editlog,生成fsimage文件的过程叫做checkpoint。备NameNode在新生成fsimage后,会将fsimage传递到主NameNode。
由于“备NameNode会周期性做合并editlog”,因此当备NameNode异常时,无法合并editlog,因此主NameNode在下次启动的时候,需要加载较多editlog,需要大量内存,并且耗时较长。
合并元数据的周期由以下参数确定,即如果NameNode运行30分钟或者HDFS操作100万次,均会执行checkpoint。
- dfs.namenode.checkpoint.period:checkpoint周期,默认1800s。
- dfs.namenode.checkpoint.txns:执行指定操作次数后执行checkpoint,默认1000000。
- MapReduce服务_如何使用MapReduce服务_MRS集群客户端安装与使用
- MapReduce服务_什么是ZooKeeper_如何使用ZooKeeper
- MapReduce服务_什么是HDFS_HDFS特性
- MRS备份恢复_MapReduce备份_数据备份
- MapReduce服务_什么是MapReduce服务_什么是HBase
- MapReduce服务_什么是Flink_如何使用Flink
- 大数据分析是什么_使用MapReduce_创建MRS服务
- MRS优势_什么是MRS_MRS功能
- MapReduce服务_什么是Kafka_如何使用Kafka
- MapReduce服务_什么是HetuEngine_如何使用HetuEngine