云服务器内容精选
-
配置自动备份策略 登录分布式缓存服务管理控制台。 在管理控制台左上角单击，选择实例所在的区域。 单击左侧菜单栏的“缓存管理”，进入实例信息页面。 “缓存管理”支持通过筛选来查询对应的缓存实例。支持的筛选条件有“名称”、“规格”、“ID”、“IP地址”、“可用区”、“状态”、“实例类型”、“缓存类型”等。 在需要备份的D CS 缓存实例左侧，单击实例名称，进入实例的基本信息页面。 单击“备份与恢复”页签，进入备份恢复管理页面。 单击“自动备份”右侧的，打开自动备份开关，显示备份策略信息。 表1 备份策略参数说明 参数 说明 备份周期 自动备份频率。 可设置为每周的某一天或者某几天，按实际需要适当增加备份频率。 保留天数 备份数据保存期限。 保存天数可选1~7，超过期限后，备份数据将被永久删除，无法用来恢复实例。 开始时间 自动备份任务执行时间。时间格式：00:00~23:00间的任意整点时间。 每小时检查一次备份策略，如果符合备份策略设置的开始时间，则执行备份操作。 说明： 实例备份大约耗时5~30分钟，备份期间发生的数据新增或修改记录，将不会保存到备份数据中。为了尽量减少备份对业务的影响，备份开始时间建议设置在业务交易较少的时间段。 实例只有处于“运行中”状态时，系统才对其执行数据备份。 设置好备份参数，单击“确定”，完成备份策略设置。 开启自动备份后，也支持关闭自动备份开关，或单击“修改”，修改备份策略。 实例将在设置的备份时间自动执行备份，并在该页面查看备份记录。 备份完成后，单击备份记录后的“下载”，“恢复”，或“删除”，即可执行相关操作。
-
pg_xlog_replay_completion() 描述：显示当前DN上xlog redo的进度信息。 返回值类型：record 示例： 1 2 3 4 5 SELECT * FROM pg_xlog_replay_completion(); replay_start | replay_current | replay_end | replay_percent --------------+----------------+------------+---------------- 0/2ACAB80 | 0/2B16530 | 0/4F62B090 | 0% (1 row) 函数返回信息如下： 表1 pg_xlog_replay_completion()字段 名称 类型 描述 replay_start integer Xlog Redo的起始LSN replay_current integer Xlog Redo的当前replay的LSN replay_end integer 最大的需要Xlog Redo的LSN replay_percent integer Xlog Redo的当前完成的百分比
-
pg_data_sync_from_dummy_completion() 描述：显示当前DN上Failover过程中数据页文件同步的进度信息。 返回值类型：record 示例： 1 2 3 4 5 SELECT * FROM pg_data_sync_from_dummy_completion(); start_index | current_index | total_index | sync_percent -------------+---------------+-------------+-------------- 0 | 0 | 0 | 100% (1 row) 函数返回信息如下： 表2 pg_data_sync_from_dummy_completion()字段 名称 类型 描述 start_index integer 数据页文件同步的起始编号 current_index integer 数据页文件同步的当前编号 total_index integer 数据页文件同步的最大编号 sync_percent integer 数据页文件当前完成的百分比
-
pg_last_xlog_replay_location() 描述：获取最后一个事务日志在恢复时重放的位置。当恢复仍在进行，事务日志将持续递增。如果已经完成恢复，则将保持在恢复期间最后接收WAL记录的值。如果未进行恢复但服务器正常启动时，则这个函数返回NULL。 返回值类型：text 示例： 1 2 3 4 5 SELECT pg_last_xlog_replay_location(); pg_last_xlog_replay_location ------------------------------ 0/2B16530 (1 row)
-
pg_xlog_replay_resume() 描述：如果恢复处于暂停状态，则重新启动。 当恢复暂停时，没有发生数据库更改。如果是在热备里，所有新的查询将看到一致的数据库快照，并且不会有进一步的查询冲突产生，直到恢复继续。 如果不能使用流复制，则暂停状态将无限的延续。当流复制正在进行时，将连续接收WAL记录，最终将填满可用磁盘空间，这个进度取决于暂停的持续时间，WAL生成的速度和可用的磁盘空间。 返回值类型：void
-
pg_last_xact_replay_timestamp() 描述：获取最后一个事务在恢复时重放的时间戳。这是为在主节点上生成事务提交或终止WAL记录的时间。如果在恢复时没有事务重放，则这个函数返回NULL。否则，如果恢复仍在进行，则事务日志将持续递增。如果恢复已经完成，则将保持在恢复期间最后接收WAL记录的值。如果服务器无需恢复就已正常启动，则这个函数返回NULL。 返回值类型：timestamp with time zone 恢复控制函数控制恢复的进程。这些函数可能只在恢复时被执行。 示例： 1 2 3 4 5 SELECT pg_last_xact_replay_timestamp(); pg_last_xact_replay_timestamp ------------------------------- 2023-01-04 07:03:08.098024+00 (1 row)
-
pg_last_xlog_receive_location() 描述：获取最后接收事务日志的位置并通过流媒体复制同步到磁盘。当流复制仍在进行，事务日志将持续递增。如果恢复已完成，则这个值将保持最后接收事务记录的状态并在恢复期间同步到磁盘。如果不能用流复制，或还没有开始，该函数返回NULL。 返回值类型：text 示例： 1 2 3 4 5 SELECT pg_last_xlog_receive_location(); pg_last_xlog_receive_location ------------------------------- (1 row)
-
根据备份文件进行Metadata恢复 登录 分布式数据库 中间件控制台。 购买新的DDM实例，将新购买的DDM实例作为目标DDM实例。DDM购买请参考实例购买。 在左侧导航栏选择“备份管理”，进入备份管理页面。 根据实例名称、备份开始/结束时间选择需要恢复的备份，单击操作栏的“恢复”。 图2 Metadata恢复 在Metadata恢复页面，设置备份恢复信息。 图3 恢复信息 表2 参数说明 参数名称 说明 备份名称 需要恢复的备份名称。 目标DDM 选择2中新创建的DDM实例。 目标数据节点 选择已经完成PITR的RDS for MySQ L实例 。系统将根据您选择的数据节点与筛选的Metadata备份上的分片信息进行匹配，如果匹配成功将进行Metadata数据重建。 单击“确定”，等待出现Metadata恢复成功提示，即表示恢复完成。
-
根据自定义时间点进行Metadata恢复 登录分布式数据库中间件控制台。 购买新的DDM实例，将新购买的DDM实例作为目标DDM实例。DDM购买请参考实例购买。 在DDM实例列表页面单击源DDM实例名称，进入实例基本信息页面。 在左侧导航栏选择“备份恢复”，进入恢复数据页面。 单击“Metadata恢复”按钮。 在“Metadata恢复”页面，设置选择恢复到的时间点，源DDM将在该时间点就近选择合适的DDM元数据备份集。 图1 恢复信息 表1 参数说明 参数名称 说明 恢复时间点 选择恢复时间点，系统将根据恢复时间点就近筛选Metadata备份。 目标DDM 选择2中新创建的DDM实例。 目标数据节点 选择已经完成PITR的RDS for MySQL实例。系统将根据您选择的数据节点与筛选的Metadata备份上的分片信息进行匹配，如果匹配成功将进行Metadata数据重建。 单击“确定”，等待出现Metadata恢复成功提示，即表示恢复完成。
-
使用须知 Metadata恢复主要侧重于元数据恢复，是基于已经PITR恢复完成的数据节点（RDS for MySQL）进行的DDM恢复，只需预置新的DDM实例。 PITR是指已经将数据节点恢复到指定时间点。 目标DDM实例不能关联RDS for MySQL实例，不能创建逻辑库和账号。 暂不支持目标DDM实例在主网段、RDS for MySQL实例在扩展网段的场景。 源DDM实例版本需大于等于2.3.2.11版本，目标DDM实例版本需大于等于3.0.8版本。 所能够恢复到的时间点依赖您在源DDM实例的数据节点上设置的备份策略。
-
MRS 集群数据备份恢复原理 任务 在进行备份恢复之前，需要先创建备份恢复任务，并指定任务的参数，例如任务名称、备份数据源和备份文件保存的目录类型等等。通过执行备份恢复任务，用户可完成数据的备份恢复需求。在使用Manager执行恢复HDFS、HBase（MRS 3.x及之后版本）、Hive和NameNode数据时，无法访问集群。 每个备份任务可同时备份不同的数据源，每个数据源将生成独立的备份文件，每次备份的所有备份文件组成一个备份文件集，可用于恢复任务。备份任务支持将备份文件保存在Linux本地磁盘、本集群HDFS与备集群HDFS中。 MRS 3.x及之后版本，备份任务提供全量备份或增量备份的策略，云数据备份任务不支持增量备份策略。如果备份的路径类型是NFS或CIFS，不建议使用增量备份功能。因为在NFS或CIFS备份时使用增量备份时，每次增量备份都会刷新最近一次全量备份的备份数据，所以不会产生新的恢复点。 MRS 2.x及之前版本，备份任务提供全量备份或增量备份的策略，增量备份策略支持HDFS和Hive备份任务， OMS 、LdapServer、DBService和NameNode备份任务默认只应用全量备份策略。 任务运行规则： 某个任务已经处于执行状态，则当前任务无法重复执行，其他任务也无法启动。 周期任务自动执行时，距离该任务上次执行的时间间隔需要在120秒以上，否则任务推迟到下个周期启动。手动启动任务无时间间隔限制。 周期任务自动执行时，当前时间不得晚于任务开始时间120秒以上，否则任务推迟到下个周期启动。 周期任务锁定时无法自动执行，需要手动解锁。 OMS、LdapServer（MRS 2.x及之前版本）、DBService、Kafka（MRS 3.x及之后版本）和NameNode备份任务开始执行前，若主管理节点“LocalBackup”分区可用空间小于20GB，则无法开始执行。 用户在规划备份恢复任务时，请严格根据业务逻辑、数据存储结构、数据库或表关联关系，选择需要备份或者恢复的数据。 MRS 2.x及之前版本，系统默认创建了一个间隔为24小时的周期备份任务“default”，支持全量备份OMS、LdapServer、DBService和NameNode数据到Linux本地磁盘。 MRS 3.x及之后版本，系统默认创建间隔为1小时的周期备份任务“default-oms”、“default-集群ID”，支持全量备份OMS及集群的DBService、NameNode等元数据到本地磁盘。 快照（MRS 3.x及之后版本） 系统通过快照技术，快速备份数据。快照包含HBase快照、HDFS快照。 HBase快照 HBase快照是HBase表在特定时间的一个备份，该备份文件不复制业务数据，不影响RegionServer。HBase快照主要复制表的元数据，包含table descriptor，region info和HFile的引用信息。通过这些元数据信息可以恢复快照时间点之前的数据。 HDFS快照 HDFS快照是HDFS文件系统在特定时间点的只读备份副本，主要用于数据备份、用户误操作保护和灾难恢复的场景。 任意HDFS目录均可以配置启用快照功能并创建对应的快照文件，为目录创建快照前系统会自动启用此目录的快照功能。创建快照不会对正常的HDFS操作有任何影响。每个HDFS目录最多可创建65536个快照。 如果一个HDFS目录已创建快照，那么在快照完全删除以前，此目录无法删除或修改名称。该目录的上级目录或子目录也无法再创建快照。 DistCp（MRS 3.x及之后版本） DistCp（distributed copy）是一个用于在本集群HDFS中或不同集群HDFS间进行大量数据复制的工具。在HBase、HDFS或Hive元数据的备份恢复任务中，如果选择将数据备份在备集群HDFS中，系统将调用DistCp完成操作。主备集群请选择安装相同版本的MRS软件版本并安装集群系统。 DistCp使用Mapreduce来影响数据的分布、异常处理及恢复和报告，此工具会把指定列表中包含的多个源文件和目录输入不同的Map任务，每个Map任务将复制列表中指定文件对应分区的数据。 使用DistCp在两个集群的HDFS间进行数据复制，集群双方需要分别配置互信（同一个 FusionInsight Manager管理下的集群不需要配置互信）和启用集群间复制功能。集群数据备份到另一个集群的HDFS时，需要安装Yarn组件，否则备份失败。 本地快速恢复（MRS 3.x及之后版本） 使用DistCp将本集群HBase、HDFS和Hive数据备份在备集群HDFS中以后，本集群HDFS保留了备份数据的快照。用户可以通过创建本地快速恢复任务，直接从本集群HDFS的快照文件中恢复数据。 NAS（MRS 3.x及之后版本） NAS（Network Attached Storage）是一种特殊的专用数据存储服务器，包括存储器件和内嵌系统软件，可提供跨平台文件共享功能。利用NFS（支持NFSv3、NFSv4）和CIFS（支持SMBv2、SMBv3）协议，用户可以连通MRS的业务平面与NAS服务器，将数据备份至NAS或从NAS恢复数据。 数据备份至NAS前，系统会自动将NAS共享地址挂载为备份任务执行节点的本地分区。在备份结束后，系统会卸载备份任务执行节点的NAS共享分区。 为防止备份恢复失败，数据备份及恢复期间，请勿访问NAS服务器挂载至本地的共享地址，如：“/srv/BigData/LocalBackup/nas”。 业务数据备份至NAS时，会使用DistCp。
-
MRS集群数据备份恢复概述 Manager提供对集群内的用户数据及系统数据的备份恢复能力，备份功能按组件提供。系统支持备份Manager的数据、组件元数据及业务数据。 MRS 3.x及之后版本，备份功能支持将数据备份至本地磁盘（LocalDir）、本端HDFS（LocalHDFS）、远端HDFS（RemoteHDFS）、NAS（NFS/CIFS）、SFTP服务器（SFTP）、OBS，具体操作请参考备份MRS集群组件数据。 MRS 3.1.0及之后版本才支持备份数据到OBS。 备份恢复任务的使用场景如下： 用于日常备份，确保系统及组件的数据安全。 当系统故障导致无法工作时，使用已备份的数据完成恢复操作。 当主集群完全故障，需要创建一个与主集群完全相同的镜像集群，可以使用已备份的数据完成恢复操作。 表1 根据业务需要备份元数据（MRS 2.x及之前版本） 备份类型 备份内容 OMS 默认备份集群管理系统中的数据库数据（不包含告警数据）以及配置数据。 LdapServer 备份用户信息，包括用户名、密码、密钥、密码策略、用户组信息。 DBService 备份DBService管理的组件（Hive）的元数据。 NameNode 备份HDFS元数据。 表2 根据业务需要备份Manager配置数据（MRS 3.x及之后版本） 备份类型 备份内容 备份目录类型 OMS 默认备份集群管理系统中的数据库数据（不包含告警数据）以及配置数据。 LocalDir LocalHDFS RemoteHDFS NFS CIFS SFTP OBS 表3 根据业务需要备份组件元数据或其他数据（MRS 3.x及之后版本） 备份类型 备份内容 备份目录类型 DBService 备份DBService管理的组件（Loader、Hive、Spark、Oozie、Hue、CDL）的元数据。 LocalDir LocalHDFS RemoteHDFS NFS CIFS SFTP OBS Flink （适用于MRS 3.2.0及以后版本） Flink的元数据。 LocalDir LocalHDFS RemoteHDFS OBS（适用于MRS 3.5.0及之后版本） Kafka Kafka的元数据。 LocalDir LocalHDFS RemoteHDFS NFS CIFS OBS NameNode 备份HDFS元数据。添加多个NameService后，支持不同NameService的备份恢复功能且备份恢复操作与默认实例“hacluster”一致。 LocalDir RemoteHDFS NFS CIFS SFTP OBS Yarn 备份Yarn服务资源池相关信息。 HBase HBase系统表的tableinfo文件和数据文件。 IoTDB IoTDB的元数据。 LocalDir NFS RemoteHDFS CIFS SFTP ClickHouse ClickHouse的元数据。 LocalDir RemoteHDFS 表4 根据业务需要备份特定组件业务数据（MRS 3.x及之后版本） 备份类型 备份内容 备份目录类型 HBase 备份表级别的用户数据。 RemoteHDFS NFS CIFS SFTP OBS（适用于MRS 3.5.0及之后版本） HDFS 备份用户业务对应的目录或文件。 说明： 加密目录不支持备份恢复。 Hive 备份表级别的用户数据。 IoTDB 备份IoTDB业务数据。 RemoteHDFS ClickHouse 备份表级别的用户数据。 RemoteHDFS Doris 备份Doris业务数据。适用于MRS 3.3.1及以后版本。 RemoteHDFS OBS MRS 3.x及之后版本，需要特别说明的是，部分组件不提供单独的数据备份与恢复功能： Kafka支持副本特性，在创建主题时可指定多个副本来备份数据。 针对MRS 3.5.0及之后版本集群，Kafka作为消息通道，其数据并非永久存储，默认只保留最近7天的数据，不支持做单独的数据备份。 CDL的数据存储在DBService与Kafka服务中，系统管理员可以通过创建备份DBService和Kafka的任务来备份数据。 Mapreduce和Yarn的数据存放在HDFS上，故其依赖HDFS提供备份与恢复即可。 ZooKeeper中存储的业务数据，其备份恢复能力由各上层组件按需独立实现。
-
备份的其他说明 支持备份的实例类型 Redis的“主备”、“Proxy集群”、“Cluster集群”和“读写分离”实例支持数据备份与恢复功能，“单机”实例暂不支持。单机实例若需要备份，可参考Redis单机实例使用Redis-cli工具备份，使用redis-cli工具导出RDB文件。 Memcached的“主备”实例支持数据备份与恢复功能，“单机”实例暂不支持。 备份原理 Redis 3.0实例采用的是AOF文件进行持久化，Redis 4.0及以上基础版实例，手动备份支持选择RDB格式和AOF格式进行持久化；自动备份仅支持RDB格式进行持久化。 如果需要导出Redis 3.0的RDB备份文件，可以通过redis-cli导出，使用命令：redis-cli -h {redis_address} -p 6379 -a {password} --rdb {output.rdb}。 DCS Redis 3.0已下线，暂停售卖，建议使用Redis 4.0及以上版本。 放通了SYNC命令的Redis 3.0单机实例可以通过执行此命令将RDB文件导出；Redis 3.0 proxy实例由于架构的原因，不支持放通SYNC命令，因此不能导出RDB文件。 备份任务在备节点执行，DCS通过将备节点的数据持久化文件压缩并转移到OBS服务中存储，从而实现实例数据备份。 DCS以小时为单位，定期检查所有实例的备份策略，对于需要执行备份的实例，启动备份任务。 备份时间点的选择 建议选择业务量少的时间段进行备份。 备份文件的存储 备份文件存储在 对象存储服务 （OBS）中。 自动备份异常的处理 自动备份任务触发后，如果实例当前正在进行重启、扩容等操作，则定时任务顺延到下一时间段处理。 实例备份失败或者因为其他任务正在进行而推迟备份，DCS会在下一时间段继续尝试备份，一天最多会尝试三次。 备份数据保存期限 自动备份产生的备份文件根据您设置的策略保留1-7天，超期由系统自动删除，但至少会保留最近一次的数据备份记录。 如果备份数量没有超出最大限制（24个），手动备份数据不会自动清除，您可根据需要手动删除备份数据。 自动和手动备份记录总数最多不超过24个，当备份记录超过24个时，自动删除最早的备份记录。 当删除实例时，备份数据会随实例删除，如果需要保存备份数据，请提前将备份数据下载保存。 删除所有备份文件，会影响备份文件相关能力，如故障时执行备份恢复，请谨慎操作。
-
备份方式 DCS缓存实例支持自动和手动两种备份方式。 自动备份 您可以通过管理控制台设置一个定时自动备份策略，在指定时间点将实例的缓存数据自动备份存储。 自动备份频率以天为单位，您根据需要，选择每周备份一次或多次。备份数据保留最多7天，过期后系统自动删除。 自动备份主要目的在于让实例始终拥有一个完整的数据副本，在必要时可以及时恢复实例数据，保证业务稳定，实例数据安全多一重保障。 手动备份 除了定时备份，DCS还支持由用户手动发起备份请求，将实例当前缓存数据进行备份，并存储到OBS服务中。 您在执行业务系统维护、升级等高危操作前，可以先行备份实例缓存数据。
-
数据恢复 数据恢复流程 您通过控制台发起数据恢复请求。 DCS从对象存储服务（OBS）获取数据备份文件。 暂停实例数据读写服务。 替换主实例的持久化文件。 重新加载新的持久化文件。 完成数据恢复，对外提供数据读写服务。 数据恢复对业务系统的影响 恢复操作是将备份文件在主节点执行，实例数据恢复期间需暂停数据读写服务，直到主实例完成数据恢复。 数据恢复异常处理 数据恢复文件如果被损坏，DCS在恢复过程中会尝试修复。修复成功则继续进行数据恢复，修复失败，DCS主备实例会将实例还原到执行恢复前的状态。
更多精彩内容
CDN加速
GaussDB
文字转换成语音
免费的服务器
如何创建网站
域名网站购买
私有云桌面
云主机哪个好
域名怎么备案
手机云电脑
SSL证书申请
云点播服务器
免费OCR是什么
电脑云桌面
域名备案怎么弄
语音转文字
文字图片识别
云桌面是什么
网址安全检测
网站建设搭建
国外CDN加速
SSL免费证书申请
短信批量发送
图片OCR识别
云数据库MySQL
个人域名购买
录音转文字
扫描图片识别文字
OCR图片识别
行驶证识别
虚拟电话号码
电话呼叫中心软件
怎么制作一个网站
Email注册网站
华为VNC
图像文字识别
企业网站制作
个人网站搭建
华为云计算
免费租用云托管
云桌面云服务器
ocr文字识别免费版
HTTPS证书申请
图片文字识别转换
国外域名注册商
使用免费虚拟主机
云电脑主机多少钱
鲲鹏云手机
短信验证码平台
OCR图片文字识别
SSL证书是什么
申请企业邮箱步骤
免费的企业用邮箱
云免流搭建教程
域名价格
