检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用主1、主2来区分角色。主1表示选择的本云RDS具有初始数据,主2则表示选择本云RDS为空库,等待接收数据。 如图1, 选择主2,表示创建任务时选择的本云数据库实例为空库,待接收数据,创建成功后,需先配置表示入云的正向任务,待正向任务进入“灾备中”状态时,再配置并启动反向任务。
Notification,SMN)是可靠的、可扩展的、海量的消息处理服务。它可以依据用户的需求主动推送通知消息,最终用户可以通过短信、电子邮件、应用等方式接收。 对DRS而言 SMN为其他服务均可使用的通用服务,仅需在SMN界面统一配置,如果在其他服务使用时已完成创建和订阅,DRS可以直接选择相应的订阅主题。
状态码如表1所示: 表1 状态码 状态码 编码 错误码说明 100 Continue 继续请求。 这个临时响应用来通知客户端,它的部分请求已经被服务器接收,且仍未被拒绝。 101 Switching Protocols 切换协议。只能切换到更高级的协议。 例如,切换到HTTP的新版本协议。 200
由于本次实践为增量同步模式,DRS任务会将源库的产生的增量数据持续同步至目标库中,直到手动任务结束。下面我们通过在源库RDS for MySQL中插入数据,查看Kafka的接收到的数据来验证同步结果。 操作步骤 登录华为云控制台。 单击管理控制台左上角的,选择区域“华南-广州”。 单击左侧的服务列表图标,选择“数据库
MySQL或MariaDB不同版本之间的语法差异 对于源数据库和目标数据库的版本有差异的迁移和同步链路,由于不同版本之间的部分特性差异,可能会出现语法兼容性问题。 DRS接收到的源数据库Binlog日志中里保存的是原始的执行SQL语句,这些SQL语句将会直接在目标数据库中执行,如果目标数据库对于源数据库中执行S
待确认原因 存在不符合检查项约束。 处理建议 请确认对应表中所有数据完全满足当前约束条件,如发现不满足约束的数据,请考虑目标端不做约束(需要找DRS在线支持跳过表结构一致性检查),或者处理源端数据使得完全满足约束。 父主题: 数据库参数检查
查看订阅数据 数据复制服务支持通过管理控制台在线查看增量订阅数据,能够查看的时间范围为订阅任务的数据范围(不含视图和存储过程的数据)。 本小节介绍在线查看订阅数据的方式,及数据记录的各个字段的含义。 前提条件 已登录数据复制服务管理控制台。 已成功创建数据订阅任务。 操作步骤 在
主1:一般具有业务数据,创建任务时选择主1则表示本云RDS具有初始数据。 主2:必须为空数据库,创建任务时选择主2则表示本云RDS为空库,等待接收数据。 创建灾备任务时,选择主1、主2应遵循以下原则 灾备双方均为本云RDS实例。 有一方为空实例,空实例作为主2,非空实例作为主1。 双
任务的时延<=30S。 任务存在可升级的版本且当前时间在用户设置的时间范围内。 对于多任务场景,所有子任务满足上述123条件才能进行升级。 内核接收到管控升级请求后,下载软件版本进行升级,新版本启动后监测并判断任务是否升级成功,内核判断升级成功的条件: 日志下载、解析、增量迁移进程状态正常。
任务的时延<=30S。 任务存在可升级的版本且当前时间在用户设置的时间范围内。 对于多任务场景,所有子任务满足上述123条件才能进行升级。 内核接收到管控升级请求后,下载软件版本进行升级,新版本启动后监测并判断任务是否升级成功,内核判断升级成功的条件: 日志下载、解析、增量迁移进程状态正常。
概述 欢迎使用数据复制服务(Data Replication Service,简称DRS)。数据复制服务是一种易用、稳定、高效、用于数据库在线迁移和数据库实时同步的云服务。数据复制服务是通过创建任务,以任务作为数据库迁移的导向。 您可以使用本文档提供的API对数据复制任务进行相关
错误码 调用接口出错后,将不会返回结果数据。调用方可根据每个接口对应的错误码来定位错误原因。 当调用出错时,HTTP请求返回一个HTTP状态码。返回的消息体中是具体的错误编码及错误描述信息。 当您调用API时,如果遇到“APIGW”开头的错误码,请参见API网关错误码进行处理。 表1
同步前构造数据 同步前需要在源库构造一些数据类型,供同步完成后验证数据。 DRS支持的数据类型如下所示: 表1 数据类型映射关系 源库数据类型 目标库数据类型 源库数据类型做主键,同步能力 源库数据类型做非主键,同步能力 源库数据类型做主键,对比能力 源库数据类型做非主键,对比能力
则可能导致任务失败。 请勿修改源库中表的REPLICA IDENTITY值,否则可能导致增量数据不一致或任务失败。 请勿在Kafka上删除接收DRS数据的topic,否则可能导致任务失败。 选择表级对象迁移时,同步过程中不建议对表进行重命名操作。 不支持interval partition表复制。
Kafka认证方式 PLAINTEXT方式 无安全认证方式,仅需输入IP和端口进行连接。 图1 PLAINTEXT SASL_PLAINTEXT认证 使用SASL机制连接Kafka,需要设置SASL相关配置。 图2 SASL_PLAINTEXT 表1 参数信息 参数 描述 SASL机制
数据对比(对比同步项) 对比使用场景 对比实时同步项可以清晰反馈出源数据库和目标数据库的数据是否存在差异。为了尽可能减少业务的影响和业务中断时间,实时同步场景提供了以下几种对比方式: 对象级对比:支持对数据库、索引、表、视图、存储过程和函数、表的排序规则等对象进行对比。 数据级对比分为行对比和内容对比。
数据订阅提供多种功能,详情请见表1。 表1 高级特性 特性 说明 动态增减订阅对象 在数据订阅过程中,您可以随时增加或减少需要订阅的对象。 在线查看订阅数据 您可以通过管理控制台在线查看订阅的增量数据。 修改消费时间点 在消费的过程中,您可以随时修改消费时间点。 父主题: 功能特性
迁移后进行数据校验 当任务状态变为“增量迁移”,说明全量迁移已经完成,全量迁移完成后,登录DDM实例查看数据迁移结果。 等待迁移任务状态变为“增量同步”。 单击任务名称,进入任务详情页。 验证数据一致性。 在“迁移对比 > 对象级对比”页面,查看库和表的迁移结果。 在“迁移对比 >
缺失或任务失败。 请勿修改源数据库中表的replica identity属性,否则可能导致增量数据缺失或任务失败。 请勿在Kafka上删除接收DRS数据的topic,否则可能导致任务失败。 库级同步时,源库新增无主键表时,请务必同时将该无主键表的replica identity属
由于本次实践为增量同步模式,DRS任务会将源库的产生的增量数据持续同步至目标库中,直到手动任务结束。下面我们通过在源库GaussDB中插入数据,查看Kafka的接收到的数据来验证同步结果。 登录华为云控制台。 单击管理控制台左上角的,选择区域。 单击左侧的服务列表图标,选择“数据库 > 云数据库 GaussDB””。