检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在“设置同步”页面,选择同步策略、数据格式和同步对象,单击“下一步”。 图7 同步模式 表11 同步对象 参数 描述 DML同步 选择需要同步的DML操作,默认都勾选。 不勾选Delete则不会同步源库增量数据中的Delete语句,可能会导致数据不一致,因此存在数据冲突或任务失败的风险。
使用建议 DRS任务启动和全量数据同步阶段,请不要在源数据库执行DDL操作,否则可能导致任务异常。 为保证同步前后数据一致性,确保同步期间目标数据库无业务写入。 数据库同步与环境多样性和人为操作均有密切关系,为了确保同步的平顺,建议您在进行正式的数据库同步之前进行一次演练,可以帮助您提前发现问题并解决问题。
使用建议 DRS任务启动和全量数据同步阶段,请不要在源数据库执行DDL操作,否则可能导致任务异常。 为保证同步前后数据一致性,确保同步期间目标数据库无业务写入。 数据库同步与环境多样性和人为操作均有密切关系,为了确保同步的平顺,建议您在进行正式的数据库同步之前进行一次演练,可以帮助您提前发现问题并解决问题。
目标端数据保持数据持续一致。 说明: 选择“全量+增量”同步模式,增量同步可以在全量同步完成的基础上实现数据的持续同步,无需中断业务,实现同步过程中源业务和数据库继续对外提供访问。 全量 该模式为数据库一次性同步,适用于可中断业务的数据库同步场景,全量同步将用户选择的数据库对象和数据一次性同步至目标端数据库。
本地Oracle同步到GaussDB分布式版 本地Oracle同步到GaussDB主备版 本地Oracle同步到DDM RDS for MySQL同步到Kafka GaussDB分布式版同步到Kafka GaussDB主备版数据同步到Kafka
“全量”: 该模式为数据库一次性同步,适用于可中断业务的数据库同步场景,全量同步将非系统数据库的全部数据库对象和数据一次性同步至目标端数据库。 “增量”: 增量同步通过解析日志等技术,将源端产生的增量数据同步至目标端。 说明: 选择“全量+增量”同步模式,增量同步可以在全量同步完成的基础上
同步完成后进入增量同步状态。 增量同步会持续性同步增量数据,不会自动结束。 确认同步任务执行结果 由于本次实践为增量同步模式,DRS任务会将源库的产生的增量数据持续同步至目标库中,直到手动任务结束。下面我们通过在源库GaussDB中插入数据,查看Kafka的接收到的数据来验证同步结果。
在“设置同步”页面,选择Topic和同步对象,单击“下一步”。 图8 同步模式 表9 同步模式和对象 参数 描述 DML同步 选择需要同步的DML操作,默认都勾选。 不勾选Delete则不会同步源库增量数据中的Delete语句,可能会导致数据不一致,因此存在数据冲突或任务失败的风险。
在“预检查”页面,进行同步任务预校验,校验是否可进行实时同步。 在“任务确认”页面,设置同步任务的启动时间,并确认同步任务信息无误后,勾选协议,单击“启动任务”,提交同步任务。 同步任务提交后,您可在“实时同步管理”页面,查看并管理自己的任务。 方式二 在“实时同步管理”界面,选择指定同步任务,单击任务名称。 单击“进入”,进入“源库及目标库”页面。
务的数据库同步场景,全量同步将非系统数据库的全部数据库对象和数据一次性同步至目标端数据库。 增量 说明: 选择“全量+增量”同步模式,增量同步可以在全量同步完成的基础上实现数据的持续同步,无需中断业务,实现同步过程中源业务和数据库继续对外提供访问。 在“源库及目标库”信息页面,同
触发错位问题。 数据同步过程中,不允许源数据库MySQL跨大版本升级,否则可能导致数据不一致或者同步任务失败(跨版本升级后数据、表结构、关键字等信息均可能会产生兼容性改变),建议在该场景下重建同步任务。 全量同步阶段: 任务启动和全量数据同步阶段,请不要在源数据库执行DDL操作,否则可能导致任务异常。
如图所示,查询表中的各个数据类型都迁移成功,并且数据正确无误。 验证增量同步。 由于本次实践为“全量+增量”同步模式,全量同步完成后,如果在创建任务后有数据写入,这些写入的数据会一直同步至目标库中,直到任务结束。下面我们模拟写入另外的数据。 根据本地的Oracle数据库的IP和地址,通过数据库连接工具连接数据库。
如何查看审计日志 在您开启了云审计服务后,系统开始记录云服务资源的操作。云审计服务管理控制台保存最近7天的操作记录。 本节介绍如何在云审计服务管理控制台查看最近7天的操作记录。 前提条件 已开启云审计服务。 操作步骤 登录管理控制台。 在管理控制台左上角单击图标,选择区域和项目。
选择“全量+增量”同步模式,增量同步可以在全量同步完成的基础上实现数据的持续同步,无需中断业务,实现同步过程中源业务和数据库继续对外提供访问。 全量 该模式为数据库一次性同步,适用于可中断业务的数据库同步场景,全量同步将用户选择的数据库对象和数据一次性同步至目标端数据库。 增量 增量
同步场景操作参考 Kafka消息格式 Kafka认证方式 GaussDB分布式版为源任务序列值同步 GaussDB分布式版为源强制结束任务 GaussDB主备版为源强制结束任务 PostgreSQL为源强制结束任务 通过创建事件触发器和函数实现PostgreSQL增量DDL同步
选择“全量+增量”同步模式,增量同步可以在全量同步完成的基础上实现数据的持续同步,无需中断业务,实现同步过程中源业务和数据库继续对外提供访问。 “全量”: 该模式为数据库一次性同步,全量同步将源库数据一次性同步至目标端数据库。 “增量”: 增量同步通过解析日志等技术,将源端产生的增量数据同步至目标端。 源端DN数量
本实践使用DRS的实时同步功能将本地Oracle数据库实时同步至华为云DDM。通过全量+增量同步,实现源数据库Oracle和目标数据库DDM的数据长期同步。 前提条件 拥有华为云实名认证账号。 账户余额大于等于0元。 服务列表 虚拟私有云 VPC 分布式数据库中间件DDM 数据复制服务 DRS
DRS同步阶段2:增量同步 选择DRS同步阶段1:全量同步的DRS任务,单击“续传”。 任务进入增量阶段。当任务界面“时延”指标在30s以内时,说明数据即将追平;断开源端Oracle的业务系统连接,确保不再有数据写入源端Oracle,断开后等待约1min。 进行数据对比。单击任务名称,选择“同步对比”页面。
查看任务详情 实时同步任务的配置信息,包括任务信息、同步实例信息和同步信息。同步任务创建成功后,可查看任务详细信息 。 前提条件 已登录数据复制服务控制台。 操作步骤 任务列表中,仅展示当前登录用户所创建的全部任务,同一租户下的不同用户之间的任务不可见。 在“实时同步管理”界面,选择指定的同步任务,单击任务名称。
构造数据 登录华为云控制台。 单击管理控制台左上角的,选择区域“华南-广州”。 单击左侧的服务列表图标,选择“数据库 > 云数据库 RDS”。 选择RDS实例,单击实例后的“更多 > 登录”。 在弹出的对话框中输入密码后,单击“测试连接”检查。 连接成功后单击“登录”,登录RDS实例。