检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
replication connection.”日志找到。 分布式多任务模式使用DRS同步任务测试连接时的用户登录GaussDB分布式版的每个主DN节点,分布式单任务模式使用DRS同步任务测试连接时的用户登录GaussDB分布式版的CN节点。 执行如下语句,查询同步任务选择的database对应的所有复制槽信息。
将GaussDB分布式版同步到PostgreSQL 支持的源和目标数据库 表1 支持的数据库 源数据库 目标数据库 GaussDB分布式版(PG、ORA兼容模式。版本数据库内核版本为505.2及以下版本,内核版本与数据库发布版本对应关系。) 本地自建数据库(PostgreSQL 9
sha256 在源数据库使用系统管理员用户执行以下语句,或重启数据库实例,使修改生效。 select pg_reload_conf(); 通过gs_guc修改操作步骤 云上数据库,进入沙箱需执行以下命令;自建数据库,source gauss_env_file环境变量文件即可。 登录数据库实例任一节点,切换至Ruby用户,su
将GaussDB分布式版同步到PostgreSQL 支持的源和目标数据库 表1 支持的数据库 源数据库 目标数据库 GaussDB分布式版(PG、ORA兼容模式。版本数据库内核版本为505.2及以下版本,内核版本与数据库发布版本对应关系。) 本地自建数据库(PostgreSQL 9
GaussDB分布式版为源任务序列值同步 GaussDB分布式版为源任务暂不支持同步序列值,如果同步的表中存在关联的序列,需要在任务结束后,参考以下内容手动同步序列值。 操作步骤 使用DRS同步任务测试连接时的用户登录GaussDB分布式版实例。 执行如下语句,查询库中具有管理序列的表及其关联的序列。
DN节点配置中,建议不要将<user>指定为all,否则会影响分布式为源多任务模式下直连DN解码。 在源数据库使用系统管理员用户执行以下语句,或重启数据库实例,使修改生效。 select pg_reload_conf(); 方式二:gs_guc修改 云上数据库,进入沙箱需执行以下命令;自建数据库,source gauss_env_file环境变量文件即可
同步前构造数据 同步前需要在源库构造一些数据类型,供同步完成后验证数据。 DRS支持的数据类型如下所示: 表1 数据类型映射关系 源库数据类型 目标库数据类型 源库数据类型做主键,同步能力 源库数据类型做非主键,同步能力 源库数据类型做主键,对比能力 源库数据类型做非主键,对比能力
LUW同步到GaussDB分布式版 支持的源和目标数据库 表1 支持的数据库 源数据库 目标数据库 DB2 for LUW 9.7、10.1、10.5、11.1、11.5版本 GaussDB分布式版(ORA、MYSQL兼容模式。版本数据库内核版本为505.2及以下版本,内核版本与数据库发布版本对应关系。。)
LUW同步到GaussDB分布式版 支持的源和目标数据库 表1 支持的数据库 源数据库 目标数据库 DB2 for LUW 9.7、10.1、10.5、11.1、11.5版本 GaussDB分布式版(版本数据库内核版本为505.2及以下版本,内核版本与数据库发布版本对应关系。) 使用须知
本实践使用DRS的实时同步功能将本地Oracle数据库实时迁移至华为云GaussDB。通过全量+增量同步,实现源数据库Oracle和目标数据库GaussDB的数据长期同步。 解决问题 企业业务高速发展,传统数据库扩容性差,迫切需要分布式化改造。 传统数据库需要自购并安装服务器、系统、数据库等软件,运维成本高、难度大。
数据加工 数据复制服务支持对同步的对象进行加工,即可以为选择的对象添加规则。各链路支持的加工规则不一样,目前仅部分链路支持数据加工,支持数据加工链路参考表1,具体操作方法可参考对应的内容。 表1 支持数据加工的链路 同步方向 数据流向 数据过滤 附加列 列加工 入云 MySQL->MySQL
当同步数据与目标数据库已有数据冲突时(主键/唯一键存在重复等),以目标数据为准,DRS将跳过冲突数据,继续进行后续同步。 覆盖 当同步数据与目标数据库已有数据冲突时(主键/唯一键存在重复等),以源数据为准,DRS将覆盖原来的冲突数据。 报错 当同步数据与目标数据库已有数据冲突时(
当同步数据与目标数据库已有数据冲突时(主键/唯一键存在重复等),以目标数据为准,DRS将跳过冲突数据,继续进行后续同步。 覆盖 当同步数据与目标数据库已有数据冲突时(主键/唯一键存在重复等),以源数据为准,DRS将覆盖原来的冲突数据。 报错 当同步数据与目标数据库已有数据冲突时(
当同步数据与目标数据库已有数据冲突时(主键/唯一键存在重复等),以目标数据为准,DRS将跳过冲突数据,继续进行后续同步。 覆盖 当同步数据与目标数据库已有数据冲突时(主键/唯一键存在重复等),以源数据为准,DRS将覆盖原来的冲突数据。 报错 当同步数据与目标数据库已有数据冲突时(
当同步数据与目标数据库已有数据冲突时(主键/唯一键存在重复等),以目标数据为准,DRS将跳过冲突数据,继续进行后续同步。 覆盖 当同步数据与目标数据库已有数据冲突时(主键/唯一键存在重复等),以源数据为准,DRS将覆盖原来的冲突数据。 报错 当同步数据与目标数据库已有数据冲突时(
该模式为数据持续性实时同步,通过全量过程完成目标端数据库的初始化后,增量同步阶段通过解析日志等技术,将源端和目标端数据保持数据持续一致。 “全量”: 该模式为数据库一次性同步,适用于可中断业务的数据库同步场景,全量同步将非系统数据库的全部数据库对象和数据一次性同步至目标端数据库。 “增量”:
如图所示,查询表中的各个数据类型都迁移成功,并且数据正确无误。 验证增量同步。 由于本次实践为“全量+增量”同步模式,全量同步完成后,如果在创建任务后有数据写入,这些写入的数据会一直同步至目标库中,直到任务结束。下面我们模拟写入另外的数据。 根据本地的Oracle数据库的IP和地址,通过数据库连接工具连接数据库。
虚拟私有云 VPC 云数据库 RDS 分布式消息服务Kafka 数据复制服务 DRS 数据管理服务 DAS 部署架构 本示例中,DRS源数据库为华为云RDS for MySQL,目标端为华为云同Region下的分布式消息服务Kafka,通过VPC网络,将源数据库的增量数据同步到目标端,部署架构可参考图1。
创建GaussDB实例 本章节介绍创建GaussDB实例,作为同步任务目标库。 登录华为云控制台。 单击管理控制台左上角的,选择区域。 单击左侧的服务列表图标,选择“数据库 > 云数据库 GaussDB”。 单击“购买数据库实例”。 配置实例名称和实例基本信息。 选择实例规格。 本示例中为测试实
创建VPC和安全组,为创建GaussDB实例准备网络资源和安全组。 创建VPC 登录华为云控制台。 单击管理控制台左上角的,选择区域。 单击左侧的服务列表图标,选择“网络 > 虚拟私有云 VPC”。 进入虚拟私有云信息页面。 单击“创建虚拟私有云”购买VPC。 单击“立即创建”。 返回VPC列表,查看创建VPC是否创建完成。