检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通过创建事件触发器和函数实现PostgreSQL增量DDL同步 本小结介绍PostgreSQL->RDS for PostgreSQL实时同步,通过在源库创建事件触发器和函数获取源库的DDL信息,然后在DRS增量实时同步阶段实现DDL操作的同步。 前提条件 当前支持的DDL操作包含如下:
个文档先被迁过去,会造成数据内容或行数不一致。 操作步骤 下载用于清除孤儿文档的cleanupOrphaned.js脚本文件。 修改cleanupOrphaned.js脚本文件,将test替换为待清理孤儿文档的数据库名。 执行以下命令,清理Shard节点下指定的数据库中所有集合的孤儿文档。
不支持:无日志表(UNLOGGED TABLE)的DML,临时表的DML。 说明: 同步DDL的实现原理:在源库通过事件触发器捕获DDL语句,并且记录在特定的表中,因此需要提前在源库创建事件触发器、函数等。详细操作可参考通过创建事件触发器和函数实现PostgreSQL增量DDL同步。 增量发送心跳:PostgreSQL
数据库对象和数据一次性同步至目标端数据库。 增量 说明: 选择“全量+增量”同步模式,增量同步可以在全量同步完成的基础上实现数据的持续同步,无需中断业务,实现同步过程中源业务和数据库继续对外提供访问。 在“源库及目标库”信息页面,同步实例创建成功后,填选源库信息和目标库信息,建议
数据库所处的子网处于不同网段,不能重复或交叉,此时需要通过对等连接实现网络互通。 目前DRS暂不支持跨租户通过VPC网络实现源库、目标库的网络互通。如果有需要,用户可通过手动创建对等连接后,选择“VPN网络”实现网络互通。 对等连接限制 有重叠子网网段的VPC建立的对等连接,可能不生效。
如何通过设置VPC安全组,实现DRS任务网络互通 基于安全的考虑,本云VPC与外部网络是隔离的,VPC内是无法访问外部的弹性IP(如其他云数据库的弹性IP、云下数据库的弹性IP等)。但数据库迁移场景需要确保本云VPC内的DRS实例与源、目标数据库可连通,为此,您需要分别设置源数据
数据库所处的子网处于不同网段,不能重复或交叉,此时需要通过对等连接实现网络互通。 目前DRS暂不支持跨租户通过VPC网络实现源库、目标库的网络互通。如果有需要,用户可通过手动创建对等连接后,选择“VPN网络”实现网络互通。 具体建立VPC对等连接的方法,可参考《虚拟私有云用户指南》中“对等连接”章节内容。
character_set_server='utf8'; 如果为RDS for MySQL实例,可通过修改数据库“character_set_server”参数实现,详情请参考“修改实例参数”章节。 数据库为PostgreSQL时,可通过以下方式修改: 如果为自建的数据库,可通过命令行方式修改。 通过以下命令查看数据库的字符集。
建议备份文件名称和数据库名称保持一致(区分大小写),同时加上“.bak”后缀。 建议将所有的数据库备份在一个bak文件里或者少量的bak文件里,这样可以减少频繁的上传与恢复,实现打包上传和打包恢复的效果。 导出增量备份文件。 通过Microsoft SQL Server Management Studio 数据库管理软件登录到本地数据库中心。
数据库所处的子网处于不同网段,不能重复或交叉,此时需要通过对等连接实现网络互通。 目前DRS暂不支持跨租户通过VPC网络实现源库、目标库的网络互通。如果有需要,用户可通过手动创建对等连接后,选择“VPN网络”实现网络互通。 具体建立VPC对等连接的方法,可参考《虚拟私有云用户指南》中“对等连接”章节内容。
实时同步均支持多对一的场景。 多对一场景分为实例级多对一和库表级多对一。其中实例级多对一可创建多个同步任务实现;库表级多对一仅实时同步支持,通过实时同步的对象名映射功能,实现库级或者表级数据多对一同步。 操作建议 为避免创建任务过程中出现空间不足问题,建议提前计算源数据库的数据量
在云服务不触碰源数据库的情况下,实现数据迁移。 常用场景:云下数据库迁移上云。 特点:云服务无需碰触源数据库,实现数据迁移。 图2 备份迁移 实时同步 实时同步是指在不同的系统之间,将数据通过同步技术从一个数据源拷贝到其他数据库,并保持一致,实现关键业务的数据实时流动。 实时同步
、增量底层实现原理可参考产品架构和功能原理。 全量+增量 该模式为数据持续性实时同步,通过全量过程完成目标端数据库的初始化后,增量同步阶段通过解析日志等技术,将源端和目标端数据保持数据持续一致。 说明: 选择“全量+增量”同步模式,增量同步可以在全量同步完成的基础上实现数据的持续
实时灾备 适用场景 跨云平台数据库迁移、云下数据库迁移上云或云上跨区域的数据库迁移等多种业务场景迁移。 实时分析,报表系统,数仓环境等。 实现云下数据库到云上的灾备、跨云平台的数据库灾备。 特点 同构数据库间以整体数据库搬迁为目的。 支持包括:表、数据、索引、视图、存储过程、函数、数据库账号、数据库参数等。
使用说明 本实践的资源规划仅作为演示,实际业务场景资源以用户实际需求为准。 本实践端到端的数据为测试数据,仅供参考。 全量同步可以实现数据迁移;增量同步可以实现实时同步源端和目标端两个库之间的数据。 前提条件 拥有华为云实名认证账号。 账户余额大于等于0元。 如果测试使用,需要自行在本地搭建Oracle数据库。
景,为用户业务连续性提供数据库的同步保障。您可以轻松地实现云下数据库到云上的灾备、跨云平台的数据库灾备,无需预先投入巨额基础设施。 数据灾备支持两地三中心、两地四中心灾备架构。单边灾备可以利用灾备场景的升主、降备功能从而实现异地主备倒换的效果。 图1 实时灾备倒换 图2 双主灾备原理
读写类并发 为了提升全量阶段历史数据的搬迁,同时对抗网络的不稳定性,DRS实现了数据行级并发抽取效果,从而使得历史数据搬迁速度最大化,同时如果出现网络丢包时,不会大面积重来。 为加快数据写入,DRS实现了表级并发写入,从而大幅提升了数据传输速度,使得同步时延在同城达到毫秒级。 图1
同步方案概览 实时同步是指在不同的系统之间,将数据通过同步技术从一个数据源拷贝到其他数据库,并保持一致,实现关键业务的数据实时流动。 实时同步不同于迁移,迁移是以整体数据库搬迁为目的,而实时同步是维持不同业务之间的数据持续性流动。 常用场景:实时分析,报表系统,数仓环境。 同步特
务访问。数据复制服务提供的实时灾备功能,可实现主实例和跨区域的灾备实例之间的实时同步。 一次完整的数据灾备,是以任务作为导向,依次进行灾备进度观察、灾备日志分析、灾备数据一致性对比等多项操作。通过多项指标和数据的对比分析,可以帮助您实现不同业务系统间的数据同步。 使用流程 数据灾备的使用流程如下:
过企业管理或统一身份认证服务(Identity and Access Management,简称IAM)实现。 通过企业管理实现的具体操作,请您参考项目管理。 通过IAM实现的具体操作,您可以: 根据企业的业务组织,在您的华为账号中,给企业中不同职能部门的员工创建IAM用户,让员工拥有唯一安全凭证,并使用DRS资源。