检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
GaussDB分布式版同步到Kafka 场景描述 本实践通过创建DRS同步任务,实现将源数据库GaussDB分布式版的增量数据同步到目标端Kafka。 前提条件 拥有华为云实名认证账号。 账户余额大于等于0元。 已登录数据复制服务控制台。 服务列表 虚拟私有云 VPC 云数据库GaussDB分布式版
将DDM同步到Kafka 支持的源和目标数据库 表1 支持的数据库 源数据库 目标数据库 DDM实例 Kafka 使用建议 数据库同步与环境多样性和人为操作均有密切关系,为了确保同步的平顺,建议您在进行正式的数据库同步之前进行一次演练,可以帮助您提前发现问题并解决问题。 建议您在
tTables、DescribeEndpoints。 目标数据库连接用户 GeminiDB Cassandra(DynamoDB接口)默认无鉴权,需要开通请联系GeminiDB Cassandra技术支持。 使用建议 DRS任务启动和全量数据同步阶段,请不要在源数据库执行DDL操作,否则可能导致任务异常。
基于以下原因,建议您在启动任务时选择“稍后启动”功能,将启动时间设置在业务低峰期,相对静止的数据可以有效提升一次性同步成功率,避免同步对业务造成性能影响。 在网络无瓶颈的情况下,全量同步会对源数据库增加约50MB/s的查询压力,以及占用2~4个CPU。 正在同步的数据被其他事务长时间锁死,可能导致读数据超时。
基于以下原因,建议您在启动任务时选择“稍后启动”功能,将启动时间设置在业务低峰期,相对静止的数据可以有效提升一次性同步成功率,避免同步对业务造成性能影响。 在网络无瓶颈的情况下,全量同步会对源数据库增加约50MB/s的查询压力,以及占用2~4个CPU。 正在同步的数据被其他事务长时间锁死,可能导致读数据超时。
将DDM同步到DDM 支持的源和目标数据库 表1 支持的数据库 源数据库 目标数据库 DDM实例 DDM实例 数据库账号权限要求 在使用DRS进行同步时,连接源库和目标库的数据库账号需要满足以下权限要求,才能启动实时同步任务。不同类型的同步任务,需要的账号权限也不同,详细可参考表
将DB2 for LUW同步到GaussDB集中式版 支持的源和目标数据库 表1 支持的数据库 源数据库 目标数据库 DB2 for LUW 9.7、10.1、10.5、11.1、11.5版本 GaussDB集中式版(A、B兼容模式。版本数据库内核版本为505.2及以下版本,内核版本与数据库发布版本对应关系。。)
数据写入时,DRS拉取日志进程会调用pg_logical_emit_message在源库WAL日志中插入心跳信息(只会增加WAL日志,业务无感知),用于保证逻辑复制槽位点正常推进。 数据库账号权限要求 在使用DRS进行同步时,连接源库和目标库的数据库账号需要满足以下权限要求,才能
将DB2 for LUW同步到GaussDB分布式版 支持的源和目标数据库 表1 支持的数据库 源数据库 目标数据库 DB2 for LUW 9.7、10.1、10.5、11.1、11.5版本 GaussDB分布式版(ORA、MYSQL兼容模式。版本数据库内核版本为505.2及以
将AWS DocumentDB同步到DDS 支持的源和目标数据库 表1 支持的数据库 源数据库 目标数据库 AWS云上DocumentDB数据库(4.0副本集、5.0副本集、5.0集群) 说明: 创建AWS集群默认为5.0版本 副本集支持全+增、单全、单增任务 集群只支持单全任务,不支持增量任务
将DDM同步到GaussDB(DWS) 支持的源和目标数据库 表1 支持的数据库 源数据库 目标数据库 DDM实例 GaussDB(DWS)集群(8.1.3、8.2.0版本) 数据库账号权限要求 在使用DRS进行同步时,连接源库和目标库的数据库账号需要满足以下权限要求,才能启动实
将DDM同步到Oracle 支持的源和目标数据库 表1 支持的数据库 源数据库 目标数据库 DDM实例 本地自建数据库 ECS自建数据库 使用须知 在创建同步任务前,请务必阅读以下使用须知。 建议创建单独用于DRS任务连接的数据库账号,避免因为数据库账号密码修改,导致的任务连接失败。
数据写入时,DRS拉取日志进程会调用pg_logical_emit_message在源库WAL日志中插入心跳信息(只会增加WAL日志,业务无感知),用于保证逻辑复制槽位点正常推进。 数据库账号权限要求 在使用DRS进行同步时,连接源库和目标库的数据库账号需要满足以下权限要求,才能
本地MongoDB迁移到DDS 数据复制服务(Data Replication Service,简称DRS)支持将本地MongoDB数据库的数据迁移至本云文档数据库服务(Document Database Service,以下简称DDS)实例。通过DRS提供的实时迁移任务,实现在
中断时间有严格要求的场景。 单AZ:采用单个节点部署架构,每个任务只创建一个节点,性价比较高。适用于业务数据量较小,短期同步,并对中断时间无严格要求的场景。 目前仅部分链路支持DRS任务类型的选择,详细说明可参考双AZ任务倒换。 源数据库实例 用户所创建的GaussDB集中式版实例。
DRS预检查项一览表 DRS迁移过程一般包含四个阶段:任务启动阶段、全量阶段、增量阶段、结束任务阶段(单全量任务则包含三个阶段)。为了确保迁移各个阶段的平顺,DRS在任务正式启动前,会对任务源数据库、目标数据库中的参数、对象等信息进行自动化的扫描和检测,帮助您提高数据迁移的成功率,常见的预检查项清单如下所示。
将DDM同步到MySQL 支持的源和目标数据库 表1 支持的数据库 源数据库 目标数据库 DDM实例 RDS for MySQL(5.5、5.6、5.7、8.0版本) 数据库账号权限要求 在使用DRS进行同步时,连接源库和目标库的数据库账号需要满足以下权限要求,才能启动实时同步任
中断时间有严格要求的场景。 单AZ:采用单个节点部署架构,每个任务只创建一个节点,性价比较高。适用于业务数据量较小,短期同步,并对中断时间无严格要求的场景。 目前仅部分链路支持DRS任务类型的选择,详细说明可参考双AZ任务倒换。 VPC 选择可用的虚拟私有云。 同步实例所在子网
将DDM同步到MySQL 支持的源和目标数据库 表1 支持的数据库 源数据库 目标数据库 DDM实例 本地自建MySQL数据库 ECS自建MySQL数据库 其他云上MySQL数据库 RDS for MySQL 数据库账号权限要求 在使用DRS进行同步时,连接源库和目标库的数据库账
中断时间有严格要求的场景。 单AZ:采用单个节点部署架构,每个任务只创建一个节点,性价比较高。适用于业务数据量较小,短期同步,并对中断时间无严格要求的场景。 目前仅部分链路支持DRS任务类型的选择,详细说明可参考双AZ任务倒换。 VPC 选择可用的虚拟私有云。 同步实例所在子网