华为云首页用户手册

MapReduce服务 MRS-MRS可靠性增强:系统可靠性

MapReduce服务 MRS-MRS可靠性增强:系统可靠性

时间：2025-02-12 15:03:44

MapReduce服务 MRS

系统可靠性

管理节点均实现HA
Hadoop开源版本的数据、计算节点已经是按照分布式系统进行设计的，单节点故障不影响系统整体运行；而以集中模式运作的管理节点可能出现的单点故障，就成为整个系统可靠性的短板。

MRS 对所有业务组件的管理节点都提供了类似的双机的机制，包括Manager、HDFS NameNode、HiveServer、HBase HMaster、YARN ResourceManager、KerberosServer、LdapServer等，全部采用主备或负荷分担配置，有效避免了单点故障场景对系统可靠性的影响。
异常场景下的可靠性保证
 通过可靠性分析方法，梳理软件、硬件异常场景下的处理措施，提升系统的可靠性。
- 保障意外掉电时的数据可靠性，不论是单节点意外掉电，还是整个集群意外断电，恢复供电后系统能够正常恢复业务，除非硬盘介质损坏，否则关键数据不会丢失。
- 硬盘亚健康检测和故障处理，对业务不造成实际影响。
- 自动处理文件系统的故障，自动恢复受影响的业务。
- 自动处理进程和节点的故障，自动恢复受影响的业务。
- 自动处理网络故障，自动恢复受影响的业务。
数据备份与恢复
 为应对数据丢失或损坏对用户业务造成不利影响，在异常情况下快速恢复系统，MRS根据用户业务的需要提供全量备份、增量备份和恢复功能。
- 自动备份
   MRS对集群管理系统Manager上的数据提供自动备份功能，根据制定的备份策略可自动备份集群上的数据，包括LdapServer、DBService的数据。
- 手动备份
   在系统进行扩容、打补丁等重大操作前，需要通过手动备份集群管理系统的数据，以便在系统故障时，恢复集群管理系统功能。
  
  为进一步提供系统的可靠性，在将Manager、HBase上的数据备份到第三方服务器时，也需要通过手动备份。

上一篇：MapReduce服务 MRS-MapReduce与其他组件的关系:MapReduce和YARN的关系

下一篇：MapReduce服务 MRS-MapReduce与其他组件的关系:MapReduce和YARN的关系

新客秒杀 2核2G 3M L实例

68元/年

普惠上云领千元上云礼券

立即前往

企业专享 X实例 4核8G 5M

888元/年

热门域名 1元随心购

1元/年起

MapReduce服务 MRS-MRS可靠性增强:系统可靠性

意见反馈

0/200

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

推荐文章

解决方案
相关专题