检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
全量阶段失败报错,关键字“exist some xa transactions for long times, may lack some data for this Job!.” 场景描述 全量迁移或同步期间DRS任务报错,日志提示信息:exist some xa transactions
数据对比(对比同步项) 对比使用场景 对比实时同步项可以清晰反馈出源数据库和目标数据库的数据是否存在差异。为了尽可能减少业务的影响和业务中断时间,实时同步场景提供了以下几种对比方式: 对象级对比:支持对数据库、索引、表、视图、存储过程和函数、表的排序规则等对象进行对比。 数据级对比分为行对比和内容对比
将GaussDB主备版同步到Kafka 支持的源和目标数据库 表1 支持的数据库 源数据库 目标数据库 GaussDB主备版 Kafka 0.11及以上版本 支持的同步对象范围 在使用DRS进行同步时,不同类型的同步任务,支持的同步对象范围不同,详细情况可参考表2。DRS会根据用户选择
出云 将MySQL同步到MySQL 将MySQL同步到Kafka 将MySQL同步到CSS/ES 将MySQL同步到Oracle 将MySQL同步到MariaDB 将DDM同步到MySQL 将DDM同步到Oracle 将DDM同步到Kafka 将DDS同步到MongoDB 将DDS
实时同步 实时同步是指在不同的系统之间,将数据通过同步技术从一个数据源拷贝到其他数据库,并保持一致,实现关键业务的数据实时流动。实时同步不同于迁移,迁移是以整体数据库搬迁为目的,而实时同步是维持不同业务之间的数据持续性流动。 目前部分功能仅支持白名单用户使用,需要提交工单申请才能使用
如何确保业务数据库的全部业务已经停止 业务切换时可通过如下方法确保业务数据库的全部业务已经停止: 在源数据库端执行如下语句,查看当前是否还存在有业务连接 。 show processlist; 图1 查看是否存在业务连接 可选:如果源数据库有业务连接,则通过结果中Host列的值来查找对应的业务进程并将其停止
创建录制回放任务 录制回放是指将源数据库发生的真实业务流量,在目标数据库模拟执行,从而观察和检验目标数据库的功能和性能表现。常用于以下两个场景: 功能验证回放:数据库搬迁前,通过录制回放可以提前得知源业务在目标数据库的运行效果。 业务加压回放:通过控制回放的线程及回放速度,来模拟源业务流量放大的效果
迁移前构造数据 迁移前需要在源库构造一些数据类型,供迁移完成后验证数据。 前提条件 已知源端数据库的IP地址,端口,账户和密码。 操作步骤 根据源端数据库的IP地址,通过数据库连接工具连接数据库。 根据支持的数据类型,在源库执行语句构造数据。 登录源端数据库。 进入任意一个待迁移的逻辑库
自建到自建 将MySQL同步到Kafka 将MySQL同步到CSS/ES 将MySQL同步到GaussDB主备版 将MySQL同步到GaussDB分布式版 将Oracle同步到Kafka 将Oracle同步到GaussDB主备版 将Oracle同步到GaussDB分布式版 将PostgreSQL
目标库同名库表检查 MySQL->Oracle同步场景 表1 目标库同名库表检查 预检查项 目标库同名库表检查。 描述 MySQL到Oracle的同步,检查目标库是否存在同名的库表。 选择同步表结构的时候目标库不能有同名的表。 不选同步表结构的时候目标库必须有相应的表,且要保证表结构与所选表结构相同
同步后进行数据校验 当任务状态变为“增量同步”,说明全量同步已经完成,全量同步完成后,登录GaussDB查看数据迁移结果。 等待迁移任务状态变为“增量同步”。 单击任务名称,进入任务详情页。 在“同步进度”页签查看全量同步结果。 如图所示,本次实践将TEST_INFO库中DATATYPELIST
将GaussDB分布式版同步到Kafka 支持的源和目标数据库 表1 支持的数据库 源数据库 目标数据库 GaussDB分布式 Kafka 0.11及以上版本 支持的同步对象范围 在使用DRS进行同步时,不同类型的同步任务,支持的同步对象范围不同,详细情况可参考表2。DRS会根据用户选择
引擎类型说明 DRS各引擎类型对应取值可参考引擎类型说明。 表1 引擎类型说明 引擎类型(engine_type) 说明 对应源数据库取值(db_type) 对应目标数据库取值(db_type) mysql MySQL到MySQL迁移、MySQL到MySQL同步场景使用。 mysql
数据对比 对比任务报错,关键词“失败报错:service SDV failed! cause by: the size of records in one shard[ *** ] of target database, exceeds the max size 200000” 父主题
time_zone的一致性检查 源数据库和目标数据库的time_zone参数不一致,可能会导致迁移失败。 不通过原因 源数据库和目标数据库的参数time_zone或system_time_zone不一致。 处理建议 修改源数据库或者目标数据库的time_zone(timezone)
创建目标库表结构 DRS目前仅支持迁移源端MySQL的数据到目标DDM,不支持迁移源库表结构及其他数据库对象。用户需要在目标库根据源端逻辑库的表结构,自行在目标库创建对应的表结构及索引。未在目标库创建的对象,视为用户不选择这个对象进行迁移。更对约束限制可参考使用须知。 操作步骤 登录华为云控制台
数据库用户权限检查 源数据库用户权限是否足够 目标数据库用户权限是否足够 Definer迁移权限检查 父主题: 预检查不通过项修复方法
DRS全量阶段迁移过慢或者进度不更新可能原因 问题现象 DRS在进行全量迁移时,出现迁移耗时很久或者迁移任务进度不更新的情况。 排查方法 排查源库迁移数据大小: 数据迁移进度是按表数量来计算百分比,当数据迁移进度长时间不更新,可能因为有某几个表数据量过大,迁移时间较长。可以在“进度明细
灾备阶段失败报错,关键词“A dml without pk write target db fail” 场景描述 MySQL为源灾备任务报错,日志界面提示:A dml without pk write target db fail。 可能原因 无主键表由于缺乏行的唯一性标志,在网络不稳定情况下
Kafka认证方式 PLAINTEXT方式 无安全认证方式,仅需输入IP和端口进行连接。 图1 PLAINTEXT SASL_PLAINTEXT认证 使用SASL机制连接Kafka,需要设置SASL相关配置。 图2 SASL_PLAINTEXT 表1 参数信息 参数 描述 SASL