MAPREDUCE服务 MRS-HDFS支持集群掉电自动恢复:操作场景
操作场景
HDFS数据写入磁盘时会先写入操作系统缓存,当操作系统缓存写入完成后则认为数据写入完成,缓存数据写入磁盘工作交由操作系统完成。如果此时集群断电,则缓存的数据就会丢失,造成HDFS丢块现象。在HDFS启动时如果有丢块,那么HDFS会进入安全模式,无法自动恢复。
HDFS提供以下配置参数可以解决集群掉电无法自动恢复的问题,用户需要根据业务实际情况进行调整。
- “dfs.datanode.synconclose”参数设置为“true”时,系统会等待操作系统缓存数据写入磁盘后才认为该次写入完成,此时不会发生掉电造成数据丢失的情况,但是开启该参数会造成HDFS写性能下降。
- “dfs.namenode.safemode.threshold-pct”参数表示DataNode上报的块达到总块数的百分比阈值,达到该阈值时NameNode会自动退出安全模式,该值设置过低可能导致在集群启动阶段存在大量副本复制。
该功能适用于 MRS 3.5.0及之后版本。
- MRS优势_什么是MRS_MRS功能
- 手机云备份_自动云备份_云备份怎么恢复
- MapReduce服务_如何使用MapReduce服务_MRS集群客户端安装与使用
- MRS备份恢复_MapReduce备份_数据备份
- GaussDB(for MySQL)数据恢复_备份恢复_文件恢复_恢复数据
- MapReduce服务_什么是存算分离_如何配置MRS集群存算分离
- 什么是Manager_Manager的功能_MRS运维管理
- MapReduce服务_什么是ClickHouse_如何使用ClickHouse
- 云数据库RDS for MySQL数据恢复_数据恢复_表级恢复
- MapReduce服务_什么是Hue_如何使用Hue