检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
为什么DRS不支持部分他云只读实例的备库做源库 对于DRS的增量或者全量+增量任务,不支持部分他云只读实例的备库做源库进行数据迁移。DRS增量迁移是通过读取源数据库的原始增量日志数据(例如MySQL的Binlog)后解析转换进行 。 以MySQL的Binlog为例,部分他云只读M
针对Oracle为源、MySQL->Kafka、GaussDB->Kafka的同步场景,您可以在“同步进度”页签的“链路监控”表中,查看该同步任务执行过程中对源库分别做DML操作(Insert、Delete、Update)的次数。在“链路监控”列表的右上角,单击刷新列表,可查看到最新的监控数据。 图3 链路监控
DRS会主动清空目标表数据吗? DRS不会主动操作目标库数据,只做同步。 如果DRS从源库同步数据到目标表,目标表有数据,DRS不感知,只做同步。 DRS新增一个节点,不会情况目标库数据。 DRS重置也不会清空目标库数据,如您需要清空数据,请手动操作。 父主题: 产品咨询
准备工作概览 当您在使用DRS创建任务时,需要提前做一些准备工作,以满足DRS任务的环境要求。 表1 准备工作概览 准备项 说明 需要执行的准备工作 账号准备 准备华为账号,创建用户并赋权使用DRS。 参考注册华为账号并开通华为云。 参考权限管理创建用户并授权使用DRS。 数据库准备
目标库附加列检查 检查目标库做附加列表是否存在新增附加列,单增量同步任务如果目标库不存在新增附加列,会导致任务失败。 不通过原因 目标库做附加列加工表缺少对应列。 处理建议 对目标库中缺少附加列的库表添加对应列。参考语句: ALTER TABLE ` database `.` table
MySQL为源的迁移或同步任务,在增量阶段使用第三方拷表方式实现的Online DDL工具(如PT-OSC、GH-OST)在源库执行DDL,会先创建临时表,通过临时表做DDL,针对这个情况,使用DRS进行迁移或同步时,可分为以下三种场景: 对于库级和实例级迁移、同步任务,由于Online DDL使用的临时表
备份迁移过程中,根据选择“最后一个备份文件”来判断是否为最后一次备份,对于人工操作中不可控的误选择,有以下两种情况及处理方法: 选择“是”,但期望为否,即仍然希望继续做增量备份迁移。但由于SQL Server本身的设计,数据库一旦收到还原已完成的信号,便会做一系列的内部工作并把数据库置为可用,已无法继续增量
Oracle->GaussDB 表1 数据类型映射关系 源库数据类型 目标库数据类型 源库数据类型做主键,同步能力 源库数据类型做非主键,同步能力 源库数据类型做主键,对比能力 源库数据类型做非主键,对比能力 备注 CHAR CHARACTER 支持 支持 支持,忽略字符前后的空格 支持,忽略字符前后的空格
敏感的数据库到MySQL迁移失败(主键冲突等),或者迁移后对业务有影响(查询结果和Oracle有区别),请参考以下建议。 1. 使用DRS做目标端为MySQL的异构迁移/同步时,DRS自动将数据库(仅涉及迁移的库)字符集排序为utf8mb4_bin默认字符集,可以后续确保同库内新
对同步对象表中的特殊字段(blob、mediumblob、longblob、varbinary、mediumtext、longtext)做处理。 过滤:需要设置字段过滤阈值和替换字符,当字段的内容大小超过设定的阈值时,将按照指定的字符进行内容替换。需要注意的是,大字段过滤功能是
DRS是否支持同一实例不同库之间的同步 源或者目标数据库哪些操作,会影响DRS任务状态 数据订阅与MySQL到Kafka同步的区别 为什么DRS不支持部分他云只读实例的备库做源库 DRS支持caching_sha2_password加密用户迁移吗 为什么迁移前后数据库磁盘空间使用量不一致 DRS发送Kafka消息序列化方式是什么
update等行级锁的语法做过滤条件。 不支持对列名做函数操作,如果使用函数操作可能导致数据不一致。 建议不要对非精确类型字段设置过滤条件,如FLOAT、DECIMAL、DOUBLE等。 建议不要对带有特殊字符的字段设置过滤条件。 建议不要对过滤条件涉及的列做DDL操作,可能导致任务异常。 不建
”。 注意重新命名时不要使用特殊符号,否则会导致迁移后执行SQL语句报错。 确认重命名设置内容,单击“下一步”。 高级设置。 本页面内容仅做确认,无法修改,确认完成后单击“下一步”。 数据加工。 在该页面可以对迁移的表进行加工。包括选择迁移的列,重新命名迁移后的列名,本次实践将“
DRS支持的数据类型如下所示: 表1 数据类型映射关系 源库数据类型 目标库数据类型 源库数据类型做主键,同步能力 源库数据类型做非主键,同步能力 源库数据类型做主键,对比能力 源库数据类型做非主键,对比能力 备注 CHAR character 支持 支持 支持,忽略字符前后的空格 支持,忽略字符前后的空格
Required 保留请求。 403 Forbidden 请求被拒绝访问。 返回该状态码,表明请求能够到达服务端,且服务端能够理解用户请求,但是拒绝做更多的事情,因为该请求被设置为拒绝访问,建议直接修改该请求,不要重试该请求。 404 NotFound 所请求的资源不存在。 建议直接修改该请求,不要重试该请求。
议使用第一个任务的参数对比功能中“常规参数”的“一键修改”(其中max_connections除外),而“性能参数”应该结合目标端实际规格做相应的手工设置。 对于多对一同步任务场景,由于该场景是一个一个任务逐步创建的,后面创建任务时可能会造成已创建任务的同步阻塞,为了避免这个情况发生,请注意创建技巧。
请勿在目标库做写入操作,否则可能导致数据不一致。 为保证同步任务正常和数据的一致性,如有以上诉求,建议在业务低峰期时重新创建DRS任务。 增量同步过程须知 请勿修改源库和目标库的端口号,请勿修改、删除源库和目标库连接用户的密码、权限,否则可能导致任务失败。 请勿在目标库做写入操作,否则可能导致数据不一致。
table_name 这条Record更新表的表名。 record_recording 这条Record对应的编码。 seqno 数据位点,DRS做位点的时候使用的。 fragno 保留字段,以前判断是否为事务分片使用,现在无意义。 isLastFrag 保留字段,以前判断是否为事务最后一个记录,现在无意义。
在任务启动、任务全量同步阶段,不建议对源数据库做删除类型的DDL操作,这样可能会引起任务同步失败。 同步过程中,不允许修改、删除连接源和目标数据库的用户的用户名、密码、权限,或修改源和目标数据库的端口号。 同步过程中,不允许对源库需要同步的表结构进行修改。 同步过程中,不允许源端DDM正在同步的表做改变拆分键的操
对比策略:分为普通对比和多对一对比两种。 普通对比策略:源库中的一张表跟映射到目标库中的那张表做整表的行数比对。 多对一对比策略:源库中的一张表跟映射到目标库中的聚合表中对应的那部分数据做行数比对。 对比类型为行数对比时,支持对比策略选择。 对比方式:分为静态对比和动态对比两种。