检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
将MySQL同步到GaussDB分布式版 支持的源和目标数据库 表1 支持的数据库 源数据库 目标数据库 本地自建MySQL数据库 ECS自建MySQL数据库 GaussDB分布式(MySQL兼容模式) 数据库账号权限要求 在使用DRS进行同步时,连接源库和目标库的数据库账号需要
将MySQL同步到GaussDB分布式版 支持的源和目标数据库 表1 支持的数据库 源数据库 目标数据库 本地自建MySQL数据库(MySQL 5.5、5.6、5.7、8.0版本) ECS自建MySQL数据库(MySQL 5.5、5.6、5.7、8.0版本) 其他云上MySQL数据库(MySQL
路径参数 参数 是否必选 参数类型 描述 project_id 是 String 租户在某一Region下的Project ID。 获取方法请参见获取项目ID。 job_id 是 String 任务ID。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 Content-Type
移账号赋权后,单击任务“操作”列上的“续传”继续任务。 源库日志清理:当源库日志(例如MySQL的binlog)被清理时,DRS无法从源库获取到和当前同步位点接续的日志,可能导致任务失败(例如全量或增量阶段失败报错,关键词“binlog is not existed”)。用户可参
路径参数 参数 是否必选 参数类型 描述 project_id 是 String 租户在某一Region下的Project ID。 获取方法请参见获取项目ID。 job_id 是 String 任务ID。 表2 Query参数 参数 是否必选 参数类型 描述 offset 否 Integer
GaussDB(for MySQL)到GaussDB(for MySQL)双主灾备 支持的源和目标数据库 表1 支持的数据库 业务数据库 灾备数据库 GaussDB(for MySQL)主备实例 GaussDB(for MySQL)主备实例 目前仅支持白名单用户使用。 数据库账号权限要求
选择“GaussDB(for MySQL)”。 流量文件来源 选择源数据库流量文件来源。 华为云API下载:通过华为云服务对应的API获取审计日志文件 华为云OBS下载:通过华为云OBS桶获取流量文件。 目标数据库引擎 选择“GaussDB(for MySQL)”。 网络类型 此处以“公网网络”为示例。
方案概述 本实践介绍在华为云弹性云服务器 ECS上构建社区版MySQL和创建GaussDB(for MySQL)实例,并使用数据复制服务DRS将本地MySQL数据库的数据迁移至GaussDB(for MySQL)。通过DRS提供的实时迁移任务,实现在数据库迁移过程中业务中断时间最小化。
用于一个表一个Topic的场景。 投送到kafka的数据格式 选择投送到kafka的数据格式。 Avro:可以显示Avro二进制编码,高效获取数据。 JSON:为Json消息格式,方便解释格式,但需要占用更多的空间。 JSON-C:一种能够兼容多个批量,流式计算框架的数据格式。 详细格式可参考Kafka消息格式。
路径参数 参数 是否必选 参数类型 描述 project_id 是 String 租户在某一Region下的Project ID。 获取方法请参见获取项目ID。 表2 Query参数 参数 是否必选 参数类型 描述 job_type 是 String 任务场景。取值: migration:实时迁移。
增量同步时,BLOB末尾的0x00、CLOB末尾的空格会被截断。 增量同步时,不建议选择混合分区表,因为混合分区表中的外部分区数据变更不产生DML日志,DRS增量数据同步无法获取变更信息,会存在数据不一致的风险。 增量同步时,增量解析时间类型仅支持在Oracle时间类型合法范围内的数据,超范围的数据可能导致任务异常
/v3/{project_id}/jobs/batch-limit-speed drs:migrationJobs:update √ √ 批量获取数据库参数 POST /v3/{project_id}/jobs/batch-get-params drs:databaseParameters:get
路径参数 参数 是否必选 参数类型 描述 project_id 是 String 租户在某一Region下的Project ID。 获取方法请参见获取项目ID。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 Content-Type 是 String 指定类型为application/json。
MySQL到GaussDB(for MySQL)单主灾备 支持的源和目标数据库 表1 支持的数据库 灾备关系 业务数据库 灾备数据库 本云为备 本地自建MySQL数据库 ECS自建MySQL数据库 其他云上MySQL数据库 RDS for MySQL GaussDB(for MySQL)主备实例
B等),可以开启并能够导出审计日志或者洞察日志的实例。 源数据库已完成SQL流量文件录制,并且上传到华为云OBS桶内,DRS任务从OBS桶获取相应的流量文件。 目标数据库要求: 目前仅支持目标数据库为GaussDB(for MySQL)。 目标数据库已构建基线数据,基线数据应尽量
由于目标数据库和DRS实例处于同一个VPC内,默认网络是连通的,不需要单独设置安全组。 说明: DRS实例创建成功后,可在“源库及目标库”页面获取DRS实例的弹性公网IP。 表4 支持的网络类型 回放方向 源数据库 目标数据库 VPC网络 公网网络 VPN、专线网络 本云 MySQL
路径参数 参数 是否必选 参数类型 描述 project_id 是 String 租户在某一Region下的Project ID。 获取方法请参见获取项目ID。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 Content-Type 是 String 指定类型为application/json。
由于目标数据库和DRS同步实例处于同一个VPC内,默认网络是连通的,不需要单独设置安全组。 说明: DRS同步实例创建成功后,可在“源库及目标库”页面获取DRS同步实例的弹性公网IP。 在选择公网网络进行同步时,如果没有开启SSL安全连接加密同步链路的功能,请确保待同步的数据为非机密数据,再进行数据同步。
步,对于多对一、一对多场景的DDL操作有专门的处理。 数据订阅基本原理 图5 数据订阅原理 数据订阅功能提供SDK使得客户业务程序可以实时获取源数据库的数据增量变更。 DRS服务从源数据库抽取原始增量日志,解析为标准格式并持久化保存到本地,同时实时调用客户端订阅SDK的notif
大于等于92556默认使用并行解码,复制槽名命名规则为“drs_唯一性标识”。其中唯一性标识需要将任务node id中的“-”替换为“_”获取,node id可在DRS任务同步日志页面查看“task node id is ***”日志找到。 前提条件 已登录数据复制服务控制台。 账户余额大于等于0元。