MAPREDUCE服务 MRS-单NameNode长期故障时如何使用客户端手动checkpoint:原因分析

时间:2024-11-04 09:35:09

原因分析

备NameNode会周期性做合并editlog,生成fsimage文件的过程叫做checkpoint。备NameNode在新生成fsimage后,会将fsimage传递到主NameNode。

由于“备NameNode会周期性做合并editlog”,因此当备NameNode异常时,无法合并editlog,因此主NameNode在下次启动的时候,需要加载较多editlog,需要大量内存,并且耗时较长。

合并元数据的周期由以下参数确定,即如果NameNode运行30分钟或者HDFS操作100万次,均会执行checkpoint。

  • dfs.namenode.checkpoint.period:checkpoint周期,默认1800s。
  • dfs.namenode.checkpoint.txns:执行指定操作次数后执行checkpoint,默认1000000。
support.huaweicloud.com/trouble-mrs/mrs_03_0078.html