检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
迁移前构造数据 迁移前需要在源库构造一些数据类型,供迁移完成后验证数据。 前提条件 已知源端数据库的IP地址,端口,账户和密码。 操作步骤 根据源端数据库的IP地址,通过数据库连接工具连接数据库。 根据支持的数据类型,在源库执行语句构造数据。 登录源端数据库。 进入任意一个待迁移的逻辑库。
SDK接口介绍 SDK中定义了多种类对象,本小节简单介绍SDK的这些类的接口定义。 SubscribeContext接口定义 表1 SubscribeContext接口定义 函数名称 说明 setDomainName(String domainName) 设置用户名。 参数为创建所需数据订阅任务的IAM主账号名。
数据库同步与环境多样性和人为操作均有密切关系,为了确保同步的平顺,建议您在进行正式的数据库同步之前进行一次演练,可以帮助您提前发现问题并解决问题。 基于以下原因,建议您在启动任务时选择“稍后启动”功能,将启动时间设置在业务低峰期,相对静止的数据可以有效提升一次性同步成功率,避免同步对业务造成性能影响。
审计日志格式说明 创建DRS录制回放任务时,源数据库引擎可选不同来源。不同源数据库来源对应的审计日志格式不同,具体说明可参考如下说明。 表1 审计日志参数说明 参数 说明 quo 包裹符号,一般审计日志中的SQL是会被该符号包裹起来。 column 每行总列数。 separator
> & " ' / \\ 特殊字符和中文。且不能超过2048个字符。 响应参数 无 请求示例 MySQL->MySQL更新启动位点: https://{endpoint}/v5/054ba152d480d55b2f5dc0069e7ddef0/jobs/c7debc9c-8e09
通过创建事件触发器和函数实现PostgreSQL增量DDL同步 本小结介绍PostgreSQL->RDS for PostgreSQL实时同步,通过在源库创建事件触发器和函数获取源库的DDL信息,然后在DRS增量实时同步阶段实现DDL操作的同步。 前提条件 当前支持的DDL操作包含如下:
创建RDS for MySQL实例 本章节介绍创建RDS for MySQL实例并构造测试数据。 创建实例 登录华为云控制台。 单击管理控制台左上角的,选择区域“华南-广州”。 单击左侧的服务列表图标,选择“数据库 > 云数据库 RDS”。 单击“购买数据库实例”。 配置实例名称和实例基本信息。
GaussDB分布式版为源任务序列值同步 GaussDB分布式版为源任务暂不支持同步序列值,如果同步的表中存在关联的序列,需要在任务结束后,参考以下内容手动同步序列值。 操作步骤 使用DRS同步任务测试连接时的用户登录GaussDB分布式版实例。 执行如下语句,查询库中具有管理序列的表及其关联的序列。
SDK使用说明 数据订阅功能将数据库中关键业务的数据变化信息缓存并提供统一的SDK接口,方便下游业务订阅、获取、并消费。 在使用SDK消费之前,需要先在数据复制服务控制台创建数据订阅任务。 当订阅任务创建完成后,使用SDK可以实时订阅订阅通道中的增量数据。目前: 数据复制服务只提供JAVA版本SDK,SDK下载地址。
Kafka消息格式 同步到Kafka集群中的数据以Avro、JSON和JSON-C格式存储。不同链路支持的数据格式可参考表1: 表1 支持的数据格式 数据流向 Avro JSON JSON-C MySQL->Kafka 支持 支持 支持 Oracle->Kafka 支持 支持 暂不支持
同步到GaussDB(DWS)的使用建议 增量DDL支持度 MySQL、Oracle等数据库语法与GaussDB(DWS)不同,增量阶段DDL同步存在失败的可能性,部分DDL转换规则可参考表1,建议在方案实施前联系GaussDB(DWS)技术支持评估DDL的支持度。 表1 DDL转换规则
参数类型 描述 error_code String 错误码。 error_msg String 错误描述。 请求示例 清除DDL告警。 https://{endpoint}/v5/5237e10fe9aa4ad5b16b6a5245248314/jobs/7f486edc-6abb
MySQL->CSS/ES 表1 数据类型映射关系 数据类型(MySQL) 数据类型(Elasticsearch) 是否支持映射 BIT[(M)] BOOLEAN | LONG|TEXT 支持 1个字节的映射为BOOLEAN。 2~63个字节映射为LONG。 64个字节映射为TEXT。
修改任务参数 为确保DRS任务发挥出最优性能,用户可根据业务需求对创建的DRS任务参数进行调整。 约束限制 支持任务状态为配置、全量同步、全量同步失败、增量同步、增量同步失败以及暂停时进行修改参数。 部分参数修改后,需要重启同步任务后才能生效。除此以外,重置、续传、任务重建、主备
Guard-gausscassandra-to-gausscassandra链路生效。 响应参数 无 请求示例 创建对象级对比任务。 https://{endpoint}/v3/054ba152d480d55b2f5dc0069e7ddef0/jobs/a2b4999c-0acf
DB2 for LUW->GaussDB(DWS) 表1 数据类型映射关系 数据类型(DB2 for LUW) 数据类型(GaussDB(DWS)) 是否支持映射 CHARACTER CHARACTER VARYING 支持 VARCHAR CHARACTER VARYING 支持
入云 将MySQL同步到MySQL 将MySQL同步到PostgreSQL 将MySQL同步到GaussDB分布式版 将MySQL同步到GaussDB集中式版 将MySQL同步到GaussDB(DWS) 将MySQL同步到TaurusDB 将MySQL同步到MariaDB 将Po
X-Language 否 String 请求语言类型。 缺省值:en-us 枚举值: en-us zh-cn 响应参数 无 请求示例 https://{endpoint}/v5/054ba152d480d55b2f5dc0069e7ddef0/jobs/c7debc9c-8e09
案例总览 表1 案例总览 链路 相关文档 MongoDB->DDS实时迁移 全量迁移失败报错,关键词“Prematurely reached end of stream” 全量迁移失败报错,关键词“not authorized on *** to execute command {***}”
实时同步 实时同步是指在不同的系统之间,将数据通过同步技术从一个数据源拷贝到其他数据库,并保持一致,实现关键业务的数据实时流动。实时同步不同于迁移,迁移是以整体数据库搬迁为目的,而实时同步是维持不同业务之间的数据持续性流动。 目前部分功能仅支持白名单用户使用,需要提交工单申请才能