检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
将PostgreSQL同步到Kafka 支持的源和目标数据库 表1 支持的数据库 源数据库 目标数据库 本地自建数据库(PostgreSQL 9.4、9.5、9.6、10、11、12、13、14、15、16版本) ECS自建数据库(PostgreSQL 9.4、9.5、9.6、10
任务状态说明 实时同步任务的状态和说明,请参见表1。 表1 实时同步任务状态和说明 状态 说明 创建中 正在创建数据复制服务需要用到的同步实例。 创建任务失败 创建实时同步实例失败。 配置 同步实例创建成功,但还没有启动任务,可以继续配置任务。 冻结 账户余额小于或等于0元,系统对该用户下的实例进行冻结
同步数据库 本章节介绍创建DRS实例,将本地Oracle上的test_info数据库同步到GaussDB实例中test_database_info数据库中。 同步前检查 在创建任务前,需要针对同步条件进行手工自检,以确保您的同步任务更加顺畅。 在同步前,您需要参考入云使用须知获取同步相关说明
安装社区版MySQL 初始化磁盘并安装社区版MySQL。 登录弹性云服务器 登录华为云管理控制台。 单击管理控制台左上角的,选择区域“华南-广州”。 单击页面左上角,选择“计算 > 弹性云服务器 ECS”。 在弹性云服务器名称“ecs-mysql”所在行单击“远程登录”。 选择“CloudShell
DRS任务的双AZ和单AZ有什么区别 目前,DRS实时同步任务在创建任务时支持选择任务类型为“双AZ”或“单AZ”。 双AZ任务:一主一备的经典高可用架构,提高了DRS任务的可靠性。双AZ任务创建后,DRS会同时创建一主一备两个子任务,当主AZ任务发生异常,DRS会自动启动备AZ任务继续进行同步
源数据库的SSL状态检查 PostgreSQL同步场景 表1 源数据库的SSL状态检查 预检查项 源数据库的SSL状态检查。 描述 检查源数据库的SSL是否开启。 不通过提示及处理建议 不通过原因:源数据库的SSL连接关闭了。 处理建议:建议打开源数据库的SSL连接,指定配置文件中受信任的根证书地址
应用示例 批量查询任务状态 批量查询任务详情 批量启动任务
编辑同步对象 数据复制服务提供的编辑同步对象功能,可以对已启动并在增量阶段的同步任务对象进行修改。 对于正常增量中的任务,您可以通过编辑同步对象功能来增加或者移除同步的数据库和表。对于新增加的表,DRS会进行所选对象同步。 对于增量失败中的任务,也可通过编辑同步对象功能修改同步对象
支持的数据库 数据复制服务支持多种数据源之间的数据流通,实时迁移、备份迁移、实时同步、数据订阅和实时灾备对不同数据库的支持情况如下所示。 实时迁移 实时迁移适用于跨云平台、云下数据库迁移上云或云上跨区域等多种业务场景的全部数据库对象迁移,其支持的数据库、版本和迁移类型如下所示,更多实时迁移的功能特性可参考实时迁移
DRS用户权限迁移 父主题: 图解数据复制服务
实时迁移、实时同步和实时灾备有什么区别 对比项 实时迁移 实时同步 实时灾备 适用场景 跨云平台数据库迁移、云下数据库迁移上云或云上跨区域的数据库迁移等多种业务场景迁移。 实时分析,报表系统,数仓环境等。 实现云下数据库到云上的灾备、跨云平台的数据库灾备。 特点 同构数据库间以整体数据库搬迁为目的
本地MySQL迁移到RDS for MySQL 数据复制服务(Data Replication Service,简称DRS)支持将本地MySQL数据库的数据迁移至云数据库 RDS for MySQL实例。通过DRS提供的实时迁移任务,实现在数据库迁移过程中业务和数据库不停机,业务中断时间最小化
实时同步 实时同步是指在不同的系统之间,将数据通过同步技术从一个数据源拷贝到其他数据库,并保持一致,实现关键业务的数据实时流动。实时同步不同于迁移,迁移是以整体数据库搬迁为目的,而实时同步是维持不同业务之间的数据持续性流动。 目前部分功能仅支持白名单用户使用,需要提交工单申请才能使用
实施步骤 自建MySQL服务器 上云操作 父主题: ECS自建MySQL迁移到TaurusDB
基本概念 VPC网络 基于虚拟私有云(Virtual Private Cloud,简称VPC)网络的数据迁移是指实时迁移场景下,源数据库与目标数据库属于同一个虚拟网络内或者跨可通信虚拟网络内,不需要您额外搭建其他网络服务。 VPN网络 基于虚拟专用网络(Virtual Private
故障恢复 任务续传 为了提高服务的可用性及韧性,DRS提供了断点续传及故障恢复的能力。在源数据库的数据未损坏或丢失的前提下,DRS实例可以从最近停止的点开始,继续进行数据复制。 实例高可用 可用区指在同一区域下,电力、网络隔离的物理区域,可用区之间内网互通,不同可用区之间物理隔离。
数据复制服务是否采用了并发技术 并发技术是提升性能的关键技术,DRS在多个环节采用了并发技术,总体可以分为两个大类并发技术:读写类并发和线程类并发。 读写类并发 为了提升全量阶段历史数据的搬迁,同时对抗网络的不稳定性,DRS实现了数据行级并发抽取效果,从而使得历史数据搬迁速度最大化
源库无主键表检查 MySQL迁移、灾备场景 表1 源迁移库无主键表检查 预检查项 源迁移库无主键表检查。 描述 在进行MySQL迁移时,源数据库若存在无主键表,可能会导致迁移失败。 待确认提示及处理建议 待确认原因:源数据库迁移的表中存在无主键表。 处理建议:无主键表由于缺乏行的唯一性标志
创建迁移任务 使用流程 一次完整的实时迁移,是通过创建实时迁移任务,以迁移任务作为数据库迁移的导向,依次进行迁移进度观察、迁移日志分析、迁移数据一致性对比等多项操作。通过多项指标和数据的对比分析,可以帮助您确定合适的业务割接时机,实现最小化业务中断的数据库迁移。 一次完整的实时迁移包含如下过程
批量启动任务 场景描述 本章节指导用户通过调用批量启动任务接口,启动多个配置完成的任务。 操作步骤 参考认证鉴权,通过调用IAM服务的API,获取用户的Token。 参考获取任务ID,获取需要查询的任务ID。 URI格式: /v3/{project_id}/jobs/batch-starting