检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
迁移数据库 本章节介绍创建DRS实例,源端MySQL分库分表的数据迁移到DDM实例中db_test_info逻辑库中。 迁移前检查 在创建任务前,需要针对迁移环境进行手工自检,以确保您的迁移任务更加顺畅。 在迁移前,您需要参考DRS使用须知获取迁移相关说明。 创建迁移任务 登录华为云控制台。
全量或增量阶段失败报错, 关键词“The binlog fetch connection may be interrupted” 场景描述 全量或增量阶段,DRS迁移或同步任务报错,日志界面提示信息:The binlog fetch connection may be interrupted
全量阶段失败报错,关键字“Invalid GIS data provided to function st_geometryfromtext'” 场景描述 全量迁移或同步期间DRS任务报错,日志提示信息:An error occurred in the process DATAMOVE
迁移原理 本次实践使用全量+增量同步功能,原理如下: 全量同步阶段,先进行结构迁移,例如表、主键、唯一键的迁移。 结构迁移完成后,启动增量数据抽取,以确保全量数据同步期间的增量数据完整的抽取到DRS实例。 启动全量迁移任务。 全量迁移完成后自动进入增量同步,从全量迁移开始抽取的位点开始回放。
DRS对比任务耗时预估 对象对比:根据源库查询性能,一般会在几分钟内返回结果,如果对象数据量特别巨大,对比时长可能达到几十分钟。 行数对比:使用select count方式,查询速度跟数据库性能相关。 内容对比:在数据库没有压力并且网络正常的情况下,对比速度大概是5M/s。 用户
全量阶段失败报错,关键字“exist some xa transactions for long times, may lack some data for this Job!.” 场景描述 全量迁移或同步期间DRS任务报错,日志提示信息:exist some xa transactions
源数据库参数SQL_MODE包含不允许的sql_mode值:no_engine_substitution。 处理建议 修改源数据库的参数值。 如果为自建的MySQL数据库,可通过命令行方式修改。 SET sql_mode = '修改后的值'; 如果为RDS for MySQL实例,可通过修改数据库sq
创建VPC和安全组 创建VPC和安全组,为创建RDS for MySQL实例准备好网络资源和安全组。 创建VPC 进入创建虚拟私有云页面。 在“创建虚拟私有云”页面,根据页面完成基本信息、子网配置和地址配置。 图1 创建虚拟私有云 单击“立即创建”。 返回VPC列表,查看创建VPC是否创建完成。
全量同步失败报错,关键词“column *** of relation *** does not exist” 场景描述 全量同步期间DRS任务报错,同步日志界面提示:service DATAMOVE failed, cause by: apply event=[type=table_data
received any packets from the server” 场景描述 全量迁移或同步期间DRS任务报错,日志提示信息:service DATAMOVE failed, cause by: Unable to connect to DBMS: url=jdbc:mysql://***
全量或增量阶段失败报错,关键词“service *** failed, cause by: Unable to connect to DBMS: ***” 场景描述 全量或增量同步期间DRS任务报错,同步日志界面提示:service *** failed, cause by: Unable
全量同步失败报错,关键词“GC overhead limit exceeded” 场景描述 全量同步期间DRS任务报错,同步日志界面提示:service DATAMOVE failed, cause by: GC overhead limit exceeded 可能原因 业务存在大数据字段导致同步任务内存超限。
DRS对比任务取消后,数据库有对比任务的查询进程未结束 以源库Mysql数据库为例,进行行数对比,取消对比任务,在源库有对比任务的查询进程未及时结束,清理残留进程,按照如下步骤操作: 使用管理员权限用户登录Mysql数据库,执行show processlist; 按照Host和Command获取Id
选择您所创建的本云DDS实例。 迁移模式 全量 全量为一次性迁移,如果您只进行全量迁移时,建议停止对源数据库的操作,否则迁移过程中源数据库产生的新数据不会同步到目标数据库。 全量+增量 增量可以在全量迁移完成的基础上实现数据的持续同步。 源数据库实例类型 迁移模式为“全量+增量”时,需要根据源数据库的具体来源进行设置。
本实践介绍在华为云弹性云服务器 ECS上构建社区版MySQL和创建GaussDB(for MySQL)实例,并使用数据复制服务DRS将本地MySQL数据库的数据迁移至GaussDB(for MySQL)。通过DRS提供的实时迁移任务,实现在数据库迁移过程中业务中断时间最小化。 应用场景
MySQL->PostgreSQL 表1 数据类型映射关系 数据类型(MySQL) 数据类型(PostgreSQL) 是否支持映射 BIGINT NUMERIC|BIGINT 支持 BINARY BYTEA 支持 BIT BIT 支持 BLOB BYTEA 支持 BOOLEAN BOOL
Oracle->MySQL 表1 数据类型映射关系 数据类型(Oracle) 条件 数据类型(MySQL) 是否支持映射 CHAR length<=255 CHAR 支持 CHAR length>255 VARCHAR 支持 VARCHAR Size(整行)<=65536 VARCHAR
全量同步失败报错,关键词“has date/datetime: *** which is outside of dest allowed range” 场景描述 Oracle->MySQL全量同步期间DRS任务报错,同步日志界面提示:service DATAMOVE failed
DRS任务支持的同步模式,此处以“全量+增量”为示例。DRS全量、增量底层实现原理可参考产品架构和功能原理。 “全量+增量”: 该模式为数据持续性实时同步,通过全量过程完成目标端数据库的初始化后,增量同步阶段通过解析日志等技术,将源端和目标端数据保持数据持续一致。 “全量”: 该模式为数据库一
目前MySQL到GaussDB(for MySQL)迁移支持全量、全量+增量两种模式。 如果创建的任务为全量迁移,任务启动后先进行全量数据迁移,数据迁移完成后任务自动结束。 如果创建的任务为全量+增量迁移,任务启动后先进入全量迁移,全量数据迁移完成后进入增量迁移状态。 增量迁移会持续性迁移增量数据,不会自动结束。