MAPREDUCE服务 MRS-HDFS支持集群掉电自动恢复:操作场景

时间:2024-11-28 01:44:54

操作场景

HDFS数据写入磁盘时会先写入操作系统缓存,当操作系统缓存写入完成后则认为数据写入完成,缓存数据写入磁盘工作交由操作系统完成。如果此时集群断电,则缓存的数据就会丢失,造成HDFS丢块现象。在HDFS启动时如果有丢块,那么HDFS会进入安全模式,无法自动恢复。

HDFS提供以下配置参数可以解决集群掉电无法自动恢复的问题,用户需要根据业务实际情况进行调整。

  • “dfs.datanode.synconclose”参数设置为“true”时,系统会等待操作系统缓存数据写入磁盘后才认为该次写入完成,此时不会发生掉电造成数据丢失的情况,但是开启该参数会造成HDFS写性能下降。
  • “dfs.namenode.safemode.threshold-pct”参数表示DataNode上报的块达到总块数的百分比阈值,达到该阈值时NameNode会自动退出安全模式,该值设置过低可能导致在集群启动阶段存在大量副本复制。

该功能适用于 MRS 3.5.0及之后版本。

support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300378.html