检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
概述 场景描述 本实践通过创建DRS同步任务,实现将源数据库RDS for MySQL的增量数据同步到目标端Kafka,主要包含以下部分内容: 介绍如何在华为云创建RDS for MySQL实例。 介绍如何在华为云创建分布式消息服务Kafka。 介绍如何创建DRS同步任务。 前提条件
创建VPC和安全组 创建VPC和安全组,为创建GaussDB(for MySQL)实例准备好网络资源和安全组。 创建VPC 登录华为云控制台。 单击管理控制台左上角的,选择区域“华北-北京四”。 单击左侧的服务列表图标,选择“网络 > 虚拟私有云 VPC”,进入虚拟私有云信息页面。
查询迁移进度 迁移进度展示了迁移过程中,实时迁移任务的表迁移进度,可以帮助您了解迁移完成的情况。 DRS提供流式进度展示,帮助您在迁移过程中实时了解迁移进展。全量迁移过程中,展示迁移进度总览和迁移明细。 进度总览中,您可以查看结构、数据、索引迁移的进度。迁移进度是根据迁移对象的数量来统计百分比进行展示
任务创建成功后是否支持修改SMN主题 支持修改,单击任务名称进入“基本信息”页签,在“任务异常通知设置”模块下,可对SMN主题进行修改。 图1 修改SMN主题 父主题: 通用操作
查看或下载日志 操作场景 如果DRS任务已经配置了访问日志,操作详情请参见日志配置管理,就可以在LTS服务分析日志、搜索日志、日志可视化、下载日志和查看实时日志。 查看LTS日志 登录管理控制台。 单击管理控制台左上角的,选择区域和项目。 在“所有服务”或“服务列表”中选择“管理与监管
查看或下载日志 操作场景 如果DRS任务已经配置了访问日志,操作详情请参见日志配置管理,就可以在LTS服务分析日志、搜索日志、日志可视化、下载日志和查看实时日志。 查看LTS日志 登录管理控制台。 单击管理控制台左上角的,选择区域和项目。 在“所有服务”或“服务列表”中选择“管理与监管
查看或下载日志 操作场景 如果DRS任务已经配置了访问日志,操作详情请参见日志配置管理,就可以在LTS服务分析日志、搜索日志、日志可视化、下载日志和查看实时日志。 查看LTS日志 登录管理控制台。 单击管理控制台左上角的,选择区域和项目。 在“所有服务”或“服务列表”中选择“管理与监管
查看或下载日志 操作场景 如果DRS任务已经配置了访问日志,操作详情请参见日志配置管理,就可以在LTS服务分析日志、搜索日志、日志可视化、下载日志和查看实时日志。 查看LTS日志 登录管理控制台。 单击管理控制台左上角的,选择区域和项目。 在“所有服务”或“服务列表”中选择“管理与监管
场景一:全量备份迁移 全量备份迁移场景为一次性数据库迁移,需要停止业务,将导出的Microsoft SQL Server全量备份文件上传至对象存储服务,然后恢复到目标数据库。 本小节将详细介绍通全量备份迁移的步骤。 迁移示意图 图1 全量迁移 迁移流程 图2 迁移流程 操作步骤 导出数据库全量备份文件
本地PostgreSQL同步到RDS for PostgreSQL 数据复制服务(Data Replication Service,简称DRS)支持将本地PostgreSQL数据库的数据同步至云数据库RDS for PostgreSQL实例。通过DRS提供的实时同步任务,实现在数据库同步过程中业务和数据库不停机
将MySQL同步到Kafka 支持的源和目标数据库 表1 支持的数据库 源数据库 目标数据库 本地自建MySQL数据库 ECS自建MySQL数据库 Kafka 使用建议 DRS任务启动和全量数据同步阶段,请不要在源数据库执行DDL操作,否则可能导致任务异常。 为保证同步前后数据一致性
GaussDB分布式版同步到Kafka 场景描述 本实践通过创建DRS同步任务,实现将源数据库GaussDB分布式版的增量数据同步到目标端Kafka。 前提条件 拥有华为云实名认证账号。 账户余额大于等于0元。 已登录数据复制服务控制台。 服务列表 虚拟私有云 VPC 云数据库GaussDB
确认迁移结果 确认迁移结果可参考如下两种方式: DRS会针对迁移对象、用户、数据等维度进行对比,从而给出迁移结果,详情参见在DRS管理控制台查看迁移结果。 直接登录数据库查看库、表、数据是否迁移完成。手工确认数据迁移情况,详情参见在RDS管理控制台查看迁移结果。 在DRS管理控制台查看迁移结果
确认同步执行结果 确认同步结果可参考如下两种方式: DRS会针对同步对象、数据等维度进行对比,从而给出同步结果,详情参见在DRS管理控制台查看同步结果。 直接登录数据库查看库、表、数据是否同步完成。手工确认数据同步情况,详情参见在DDM管理控制台查看同步结果。 在DRS管理控制台查看同步结果
修改消费时间点 数据复制服务支持在消费的过程中,随时修改消费时间点,修改的时间点必须在订阅任务的时间范围内。一旦修改完消费时间点,那么下游SDK拉取到的增量数据从修改后的消费时间点开始。 本章节将详细介绍通过数据复制服务管理控制台修改消费时间点的操作步骤。 约束限制 数据订阅任务已启动且任务为
创建回放任务 使用场景 录制回放是指将源数据库发生的真实业务流量,在目标数据库模拟执行,从而观察和检验目标数据库的功能和性能表现。常用于以下两个场景: 功能验证回放:数据库搬迁前,通过录制回放可以提前得知源业务在目标数据库的运行效果。 业务加压回放:通过控制回放的线程及回放速度,来模拟源业务流量放大的效果
ECS自建PostgreSQL同步到RDS for PostgreSQL 数据复制服务(Data Replication Service,简称DRS)支持将ECS自建数据库的数据同步到本云云数据库 PostgreSQL 实例。通过DRS提供的实时同步任务,实现在数据库同步过程中业务和数据库不停机
手动配置信息 操作场景 目前从本地或虚拟机通过DRS备份迁移功能直接迁移到本云RDS for SQL Server实例上,在迁移完成后还需要针对Login账号,DBLink,AgentJOB,关键配置进行识别,并手动完成相关同步工作。 Login账号 Login账号即SQL Server
手动配置信息 操作场景 目前从本地或虚拟机通过DRS备份迁移功能直接迁移到本云RDS for SQL Server实例上,在迁移完成后还需要针对Login账号,DBLink,AgentJOB,关键配置进行识别,并手动完成相关同步工作。 Login账号 Login账号即SQL Server
其他云MongoDB迁移到DDS 数据复制服务(Data Replication Service,简称DRS)支持将其他云MongoDB数据库的数据迁移到本云文档数据库服务(Document Database Service,以下简称DDS)实例。通过DRS提供的实时迁移任务,实现在数据库迁移过程中业务和数据库不停机