MAPREDUCE服务 MRS-MRS集群数据备份恢复简介:MRS集群数据备份恢复概述
下载MAPREDUCE服务 MRS用户手册完整版
MRS 集群数据备份恢复概述
Manager提供对集群内的用户数据及系统数据的备份恢复能力，备份功能按组件提供。系统支持备份Manager的数据、组件元数据及业务数据。
MRS 3.x及之后版本，备份功能支持将数据备份至本地磁盘（LocalDir）、本端HDFS（LocalHDFS）、远端HDFS（RemoteHDFS）、NAS（NFS/CIFS）、SFTP服务器（SFTP）、OBS，具体操作请参考备份MRS集群组件数据。
MRS 3.1.0及之后版本才支持备份数据到OBS。
备份恢复任务的使用场景如下：
- 用于日常备份，确保系统及组件的数据安全。
- 当系统故障导致无法工作时，使用已备份的数据完成恢复操作。
- 当主集群完全故障，需要创建一个与主集群完全相同的镜像集群，可以使用已备份的数据完成恢复操作。
|
备份类型 |
备份内容 |
|---|---|
|
默认备份集群管理系统中的数据库数据（不包含告警数据）以及配置数据。 |
|
|
LdapServer |
备份用户信息，包括用户名、密码、密钥、密码策略、用户组信息。 |
|
DBService |
备份DBService管理的组件（Hive）的元数据。 |
|
NameNode |
备份HDFS元数据。 |
|
备份类型 |
备份内容 |
备份目录类型 |
|---|---|---|
|
OMS |
默认备份集群管理系统中的数据库数据（不包含告警数据）以及配置数据。 |
|
|
备份类型 |
备份内容 |
备份目录类型 |
|---|---|---|
|
DBService |
备份DBService管理的组件（Loader、Hive、Spark、Oozie、Hue、CDL）的元数据。 |
|
|
Flink （适用于MRS 3.2.0及以后版本） |
Flink的元数据。 |
|
|
Kafka |
Kafka的元数据。 |
|
|
NameNode |
备份HDFS元数据。添加多个NameService后，支持不同NameService的备份恢复功能且备份恢复操作与默认实例“hacluster”一致。 |
|
|
Yarn |
备份Yarn服务资源池相关信息。 |
|
|
HBase |
HBase系统表的tableinfo文件和数据文件。 |
|
|
IoTDB |
IoTDB的元数据。 |
|
|
ClickHouse |
ClickHouse的元数据。 |
|
|
备份类型 |
备份内容 |
备份目录类型 |
|---|---|---|
|
HBase |
备份表级别的用户数据。 |
|
|
HDFS |
备份用户业务对应的目录或文件。
说明：
加密目录不支持备份恢复。 |
|
|
Hive |
备份表级别的用户数据。 |
|
|
IoTDB |
备份IoTDB业务数据。 |
RemoteHDFS |
|
ClickHouse |
备份表级别的用户数据。 |
RemoteHDFS |
|
Doris |
备份Doris业务数据。适用于MRS 3.3.1及以后版本。 |
|
MRS 3.x及之后版本，需要特别说明的是，部分组件不提供单独的数据备份与恢复功能：
- Kafka支持副本特性，在创建主题时可指定多个副本来备份数据。
- 针对MRS 3.5.0及之后版本集群，Kafka作为消息通道，其数据并非永久存储，默认只保留最近7天的数据，不支持做单独的数据备份。
- CDL的数据存储在DBService与Kafka服务中，系统管理员可以通过创建备份DBService和Kafka的任务来备份数据。
- Mapreduce和Yarn的数据存放在HDFS上，故其依赖HDFS提供备份与恢复即可。
- ZooKeeper中存储的业务数据，其备份恢复能力由各上层组件按需独立实现。
