通过创建事件触发器和函数实现PostgreSQL增量DDL同步 本小结介绍PostgreSQL->RDS for PostgreSQL实时同步,通过在源库创建事件触发器和函数获取源库的DDL信息,然后在DRS增量实时同步阶段实现DDL操作的同步。 前提条件 当前支持的DDL操作包含如下:
如何设置MongoDB数据库分片集群的分片键 MongoDB数据库中数据的分片是以集合为基本单位的,集合中的数据通过片键被分成多部分。 对集合进行分片时,您需要选择一个片键 , 片键是每条记录都必须包含的,且建立了索引的单个字段或复合字段,MongoDB数据库按照片键将数据划分到
同步方案概览 实时同步是指在不同的系统之间,将数据通过同步技术从一个数据源拷贝到其他数据库,并保持一致,实现关键业务的数据实时流动。 实时同步不同于迁移,迁移是以整体数据库搬迁为目的,而实时同步是维持不同业务之间的数据持续性流动。 常用场景:实时分析,报表系统,数仓环境。 同步特
数据库所处的子网处于不同网段,不能重复或交叉,此时需要通过对等连接实现网络互通。 目前DRS暂不支持跨租户通过VPC网络实现源库、目标库的网络互通。如果有需要,用户可通过手动创建对等连接后,选择“VPN网络”实现网络互通。 具体建立VPC对等连接的方法,可参考《虚拟私有云用户指南》中“对等连接”章节内容。
景,为用户业务连续性提供数据库的同步保障。您可以轻松地实现云下数据库到云上的灾备、跨云平台的数据库灾备,无需预先投入巨额基础设施。 数据灾备支持两地三中心、两地四中心灾备架构。单边灾备可以利用灾备场景的升主、降备功能从而实现异地主备倒换的效果。 图1 实时灾备倒换 图2 双主灾备原理
数据库所处的子网处于不同网段,不能重复或交叉,此时需要通过对等连接实现网络互通。 目前DRS暂不支持跨租户通过VPC网络实现源库、目标库的网络互通。如果有需要,用户可通过手动创建对等连接后,选择“VPN网络”实现网络互通。 具体建立VPC对等连接的方法,可参考《虚拟私有云用户指南》中“对等连接”章节内容。
在云服务不触碰源数据库的情况下,实现数据迁移。 常用场景:云下数据库迁移上云。 特点:云服务无需碰触源数据库,实现数据迁移。 图2 备份迁移 实时同步 实时同步是指在不同的系统之间,将数据通过同步技术从一个数据源拷贝到其他数据库,并保持一致,实现关键业务的数据实时流动。 实时同步
实时同步均支持多对一的场景。 多对一场景分为实例级多对一和库表级多对一。其中实例级多对一可创建多个同步任务实现;库表级多对一仅实时同步支持,通过实时同步的对象名映射功能,实现库级或者表级数据多对一同步。 操作建议 为避免创建任务过程中出现空间不足问题,建议提前计算源数据库的数据量
操作流程 创建RDS for MySQL实例,并且将RDS for MySQL增量同步到Kafka的主要任务流程如图1所示。 图1 流程图 父主题: RDS for MySQL同步到Kafka
如何通过设置VPC安全组,实现DRS任务网络互通 基于安全的考虑,本云VPC与外部网络是隔离的,VPC内是无法访问外部的弹性IP(如其他云数据库的弹性IP、云下数据库的弹性IP等)。但数据库迁移场景需要确保本云VPC内的DRS实例与源、目标数据库可连通,为此,您需要分别设置源数据
数据库所处的子网处于不同网段,不能重复或交叉,此时需要通过对等连接实现网络互通。 目前DRS暂不支持跨租户通过VPC网络实现源库、目标库的网络互通。如果有需要,用户可通过手动创建对等连接后,选择“VPN网络”实现网络互通。 对等连接限制 有重叠子网网段的VPC建立的对等连接,可能不生效。
通过服务化迁移,免去了传统的DBA人力成本和硬件成本,并允许按需购买,实现了服务“人人都能用上”。 低风险 通过迁移进度、迁移日志、迁移数据等多项指标的查询和对比,大大提升了迁移任务的成功率,实现数据库迁移和同步“人人都能做好”。
使用说明 本实践的资源规划仅作为演示,实际业务场景资源以用户实际需求为准。 本实践端到端的数据为测试数据,仅供参考。 全量同步可以实现数据迁移;增量同步可以实现实时同步源端和目标端两个库之间的数据。 前提条件 拥有华为云实名认证账号。 账户余额大于等于0元。 如果测试使用,需要自行在本地搭建Oracle数据库。
创建备份迁移任务 创建实时同步任务 创建数据订阅任务 创建实时灾备任务 创建录制回放任务 更多 06 实践 数据复制服务常见应用场景的操作实践,助您快速实现数据库迁移。 最佳实践 最佳实践汇总 实时迁移最佳实践 备份迁移最佳实践 实时同步最佳实践 实时灾备最佳实践 安全最佳实践 更多 07 开发
实时灾备 适用场景 跨云平台数据库迁移、云下数据库迁移上云或云上跨区域的数据库迁移等多种业务场景迁移。 实时分析,报表系统,数仓环境等。 实现云下数据库到云上的灾备、跨云平台的数据库灾备。 特点 同构数据库间以整体数据库搬迁为目的。 支持包括:表、数据、索引、视图、存储过程、函数、数据库账号、数据库参数等。
、增量底层实现原理可参考产品架构和功能原理。 全量+增量 该模式为数据持续性实时同步,通过全量过程完成目标端数据库的初始化后,增量同步阶段通过解析日志等技术,将源端和目标端数据保持数据持续一致。 说明: 选择“全量+增量”同步模式,增量同步可以在全量同步完成的基础上实现数据的持续
备工作,并参考表2了解具体的网络类型支持情况进行网络设置。 表1 网络类型 网络类型 使用场景 准备工作 VPN网络 适合通过VPN网络,实现其他云下自建数据库与云上数据库灾备、或云上跨区域的数据库之间的灾备。 用户需要确保本地数据中心和目标数据库所在VPC的VPN网络建立连接,
务访问。数据复制服务提供的实时灾备功能,可实现主实例和跨区域的灾备实例之间的实时同步。 一次完整的数据灾备,是以任务作为导向,依次进行灾备进度观察、灾备日志分析、灾备数据一致性对比等多项操作。通过多项指标和数据的对比分析,可以帮助您实现不同业务系统间的数据同步。 使用流程 数据灾备的使用流程如下:
DRS备份迁移支持跨区域备份吗? DRS备份迁移有两种模式:自建OBS桶,RDS全量备份。 自建OBS桶:通过上传其他区域RDS的全量备份的数据,可以实现跨区域备份。 RDS全量备份:获取的当前区域的RDS全量备份,此种模式不支持跨区域备份。 父主题: 备份迁移
过企业管理或统一身份认证服务(Identity and Access Management,简称IAM)实现。 通过企业管理实现的具体操作,请您参考项目管理。 通过IAM实现的具体操作,您可以: 根据企业的业务组织,在您的华为账号中,给企业中不同职能部门的员工创建IAM用户,让员工拥有唯一安全凭证,并使用DRS资源。
您即将访问非华为云网站,请注意账号财产安全