MAPREDUCE服务 MRS-MRS集群数据备份恢复简介:MRS集群数据备份恢复原理
下载MAPREDUCE服务 MRS用户手册完整版
MRS 集群数据备份恢复原理
任务
在进行备份恢复之前，需要先创建备份恢复任务，并指定任务的参数，例如任务名称、备份数据源和备份文件保存的目录类型等等。通过执行备份恢复任务，用户可完成数据的备份恢复需求。在使用Manager执行恢复HDFS、HBase（MRS 3.x及之后版本）、Hive和NameNode数据时，无法访问集群。
每个备份任务可同时备份不同的数据源，每个数据源将生成独立的备份文件，每次备份的所有备份文件组成一个备份文件集，可用于恢复任务。备份任务支持将备份文件保存在Linux本地磁盘、本集群HDFS与备集群HDFS中。
- MRS 3.x及之后版本，备份任务提供全量备份或增量备份的策略，云数据备份任务不支持增量备份策略。如果备份的路径类型是NFS或CIFS，不建议使用增量备份功能。因为在NFS或CIFS备份时使用增量备份时，每次增量备份都会刷新最近一次全量备份的备份数据，所以不会产生新的恢复点。
- MRS 2.x及之前版本，备份任务提供全量备份或增量备份的策略，增量备份策略支持HDFS和Hive备份任务， OMS 、LdapServer、DBService和NameNode备份任务默认只应用全量备份策略。
任务运行规则：
- 某个任务已经处于执行状态，则当前任务无法重复执行，其他任务也无法启动。
- 周期任务自动执行时，距离该任务上次执行的时间间隔需要在120秒以上，否则任务推迟到下个周期启动。手动启动任务无时间间隔限制。
- 周期任务自动执行时，当前时间不得晚于任务开始时间120秒以上，否则任务推迟到下个周期启动。
- 周期任务锁定时无法自动执行，需要手动解锁。
- OMS、LdapServer（MRS 2.x及之前版本）、DBService、Kafka（MRS 3.x及之后版本）和NameNode备份任务开始执行前，若主管理节点“LocalBackup”分区可用空间小于20GB，则无法开始执行。
- 用户在规划备份恢复任务时，请严格根据业务逻辑、数据存储结构、数据库或表关联关系，选择需要备份或者恢复的数据。
- MRS 2.x及之前版本，系统默认创建了一个间隔为24小时的周期备份任务“default”，支持全量备份OMS、LdapServer、DBService和NameNode数据到Linux本地磁盘。
- MRS 3.x及之后版本，系统默认创建间隔为1小时的周期备份任务“default-oms”、“default-集群ID”，支持全量备份OMS及集群的DBService、NameNode等元数据到本地磁盘。
快照（MRS 3.x及之后版本）
系统通过快照技术，快速备份数据。快照包含HBase快照、HDFS快照。
- HBase快照
HBase快照是HBase表在特定时间的一个备份，该备份文件不复制业务数据，不影响RegionServer。HBase快照主要复制表的元数据，包含table descriptor，region info和HFile的引用信息。通过这些元数据信息可以恢复快照时间点之前的数据。
- HDFS快照
HDFS快照是HDFS文件系统在特定时间点的只读备份副本，主要用于数据备份、用户误操作保护和灾难恢复的场景。
任意HDFS目录均可以配置启用快照功能并创建对应的快照文件，为目录创建快照前系统会自动启用此目录的快照功能。创建快照不会对正常的HDFS操作有任何影响。每个HDFS目录最多可创建65536个快照。
如果一个HDFS目录已创建快照，那么在快照完全删除以前，此目录无法删除或修改名称。该目录的上级目录或子目录也无法再创建快照。
DistCp（MRS 3.x及之后版本）
DistCp（distributed copy）是一个用于在本集群HDFS中或不同集群HDFS间进行大量数据复制的工具。在HBase、HDFS或Hive元数据的备份恢复任务中，如果选择将数据备份在备集群HDFS中，系统将调用DistCp完成操作。主备集群请选择安装相同版本的MRS软件版本并安装集群系统。
DistCp使用Mapreduce来影响数据的分布、异常处理及恢复和报告，此工具会把指定列表中包含的多个源文件和目录输入不同的Map任务，每个Map任务将复制列表中指定文件对应分区的数据。
使用DistCp在两个集群的HDFS间进行数据复制，集群双方需要分别配置互信（同一个 FusionInsight Manager管理下的集群不需要配置互信）和启用集群间复制功能。集群数据备份到另一个集群的HDFS时，需要安装Yarn组件，否则备份失败。
本地快速恢复（MRS 3.x及之后版本）
使用DistCp将本集群HBase、HDFS和Hive数据备份在备集群HDFS中以后，本集群HDFS保留了备份数据的快照。用户可以通过创建本地快速恢复任务，直接从本集群HDFS的快照文件中恢复数据。
NAS（MRS 3.x及之后版本）
NAS（Network Attached Storage）是一种特殊的专用数据存储服务器，包括存储器件和内嵌系统软件，可提供跨平台文件共享功能。利用NFS（支持NFSv3、NFSv4）和CIFS（支持SMBv2、SMBv3）协议，用户可以连通MRS的业务平面与NAS服务器，将数据备份至NAS或从NAS恢复数据。
- 数据备份至NAS前，系统会自动将NAS共享地址挂载为备份任务执行节点的本地分区。在备份结束后，系统会卸载备份任务执行节点的NAS共享分区。
- 为防止备份恢复失败，数据备份及恢复期间，请勿访问NAS服务器挂载至本地的共享地址，如：“/srv/BigData/LocalBackup/nas”。
- 业务数据备份至NAS时，会使用DistCp。
