检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MySQL->TaurusDB同步,单表的列数超过500时, 对该表添加附加列可能会超过列数上限,会导致任务失败。 如果使用serverName@database@table作为附加列,后续在进行数据对比时,目标端将默认使用该附加列作为行比对、内容比对的隐含过滤条件。
源库Oracle与目标库中间件表结构(包括列数,主键索引)是否对齐 Oracle->DDM同步场景 表1 源库Oracle与目标库中间件表结构(包括列数,主键索引)是否对齐 预检查项 源库Oracle与目标库中间件表结构(包括列数,主键索引)是否对齐。
常用场景:实时分析,报表系统,数仓环境。 特点:实时同步功能聚焦于表和数据,并满足多种灵活性的需求,例如多对一、一对多,动态增减同步表,不同表名之间同步数据等。 图3 多对一实时同步 数据订阅 数据订阅是指获取数据库中关键业务的数据变化信息,这类信息常常是下游业务所需要的。
行数对比任务结果不一致,目标数据库执行SQL超时 操作场景 数据级行对比不一致,提示"目标数据库执行SQL超时"。 图1 对比不一致 问题分析 由于比对的表数据量比较大,行比对超时,默认超时时间1小时。 解决方案 重新进行行对比。 拆分需要进行对比的表,分批多次进行对比。
查询行数对比详情 功能介绍 查询行数对比详情。
查询行数对比总览 功能介绍 查询行数对比总览。
DRS针对MongoDB迁移的冲突策略为忽略,因此最终目标库上的文档取决于哪个文档先被迁过去,会造成数据内容或行数不一致。 操作步骤 下载用于清除孤儿文档的cleanupOrphaned.js脚本文件。
在使用对比功能查看数据一致性时,建议优先使用行数对比,确定行数是否一致。如果出现行数不一致的情况,可以针对不一致的表,使用内容对比,来确定具体有哪些数据不一致。
行对比结果可按照“源库表行数”或“目标库表行数”,对当前页面显示的结果进行升序或者降序排列,方便进行筛选。 行对比差异显示为负数时,代表目标库表行数比源库表行数多;显示为正数时,代表源库表行数比目标库表行数多。
行数对比:使用select count方式,查询速度跟数据库性能相关。 内容对比:在数据库没有压力并且网络正常的情况下,对比速度大概是5M/s。 用户对比:与对象对比同时返回结果,如果对象不多的情况下,基本会在几分钟就会返回结果。 父主题: 数据对比
MySQL数据同步对源数据库和目标数据库有什么影响 以下数据以MySQL2MySQL大规格实时同步任务为例,不同规格对数据库的连接数存在差异,仅供参考。 DRS对源数据库的压力及影响 全量(初始化)阶段,DRS需要从源库将所有存量数据查询一次。
可能原因 源库或目标库连接数不足,请检查源库或目标库的连接数上限和当前已经使用的连接数。一般情况DRS使用连接数:源数据库端10个左右,目标数据库端20个左右。 处理方法 调整数据库支持的连接数。 如果为DDS,可参考DDS用户指南中的内容,查询和调整数据库支持的连接数。
DRS并发读取数据库,会占用大约6-10个session连接数,需要考虑该连接数对业务的影响。 更多DRS对数据库的影响,可参考DRS对源数据库和目标数据库有什么影响。
数据级对比-行对比:对比选择的表的行数是否一致,只查询表的行数,对比速度较快,建议优先使用。 数据级比对-内容比对-静态比对:比对选择的表的内容是否一致,对比速度取决于表的数据量。 内容对比和行数对比不能同时运行。 内容对比和对象级对比不能同时运行。 前提条件 已启动校验任务。
行数对比:会查询源库及目标库的表行数,占用10个左右的session的连接数,正常的select count语句基本不会对数据库产生影响。但是如果表数据量巨大(亿级)会对数据库产生一定的查询压力,返回查询结果会比较慢。
在使用对比功能查看数据一致性时,建议优先使用行数对比,确定行数是否一致。如果出现行数不一致的情况,可以针对不一致的表,使用内容对比,来确定具体有哪些数据不一致。
当目标数据库为5.7版本时,因为版本限制,json类型中的浮点数会丢失小数点后末位的0,存在精度损失导致内容对比不一致。 在创建DRS任务之前,如果源或者目标数据库实例开启并设置了SQL限流规则,可能会导致DRS任务失败。 同步任务创建后,目标数据库不能设置为“只读”。
group_concat_max_len一致性检查 源库表结构是否一致 字符集兼容性检查 源库存在长时间未提交的XA事务检查 目标数据库对象一致性检查 目标库同名库表检查 目标库用户(schema)及表是否已存在 源库迁移的索引列数量检查 源库索引列长度检查 源库Oracle与目标库中间件表结构(包括列数,
数据级对比:单击“创建对比任务”,勾选要进行行数对比的表,单击确定。 等待对比任务完成后,单击“查看对比报告”,确保数据对比结果一致。 确保数据一致后,单击DRS实例右侧的“结束”按钮,结束DRS任务。 父主题: 启动同步
DRS对比任务取消后,数据库有对比任务的查询进程未结束 以源库Mysql数据库为例,进行行数对比,取消对比任务,在源库有对比任务的查询进程未及时结束,清理残留进程,按照如下步骤操作: 使用管理员权限用户登录Mysql数据库,执行show processlist; 按照Host和Command