检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在“数据加工”页面,选择需要加工的列,进行列加工。 如果不需要数据加工,单击“下一步”。 如果需要加工列,参考数据加工章节,设置相关规则。 图11 数据加工 在“预检查”页面,进行同步任务预校验,校验是否可进行实时同步。 查看检查结果,如有不通过的检查项,需要修复不通过项后,单击“重新校验”按钮重新进行任务预校验。
导致 部分数据乱码。 数据同步不一致。 目标库写入失败。 解决方案 针对这种情况,建议先修改目标库字符集后再进行同步。若同步任务已经报错,请修改目标库字符集后再重置任务进行同步。 父主题: 实时同步
当DRS任务表数量太多时,可能占用过多的内存等资源,导致在进行预检查、数据对比等操作时超时。针对这种情况,建议用户通过以下方式解决: 创建任务时选择大规格,表数量建议不超过5W张。 如果表数量过多(超过5W张),建议拆分多个任务进行同步。 父主题: 通用操作
collation_server的一致性检查 SERVER_UUID的一致性检查 数据库参数SERVER_ID的一致性检查 源数据库是否存在不允许使用的sql_mode值 数据库参数sql_mode的一致性检查 目标库sql_mode中no_engine值检查 数据库参数innodb_strict_mode一致性检查
ECS自建数据库(Oracle 10g、11g、12c、18c、19c、21c版本) Kafka 使用建议 数据库同步与环境多样性和人为操作均有密切关系,为了确保同步的平顺,建议您在进行正式的数据库同步之前进行一次演练,可以帮助您提前发现问题并解决问题。 建议您在启动任务时选择“稍后启动”功能
您可查看任务提交后的状态,状态请参见任务状态说明。 在任务列表的右上角,单击刷新列表,可查看到最新的任务状态。 当订阅任务创建完成后,需要使用SDK实时订阅订阅任务中的增量数据。具体的操作及注意事项请参考SDK使用说明。 父主题: 任务管理
、校验实例信息,单击“开始创建”。 任务信息 图1 校验任务信息 表3 任务和描述 参数 描述 区域 当前所在区域,可进行切换。 项目 当前区域对应的项目,可进行切换。 任务名称 任务名称在4到50位之间,必须以字母开头,可以包含字母、数字、中划线或下划线,不能包含其他的特殊字符。
增量阶段的迁移、同步,DRS会自动进行多次断点续传的重试,全量阶段的MySQL迁移,系统默认进行三次自动续传,无需人工干预。 当自动重试失败累计一定次数后,任务会显示异常,需要人为根据日志来分析无法继续的原因,并尝试解决阻塞点(例如数据库修改了密码),如果环境无法修复,如所需日志已经淘汰,则使用重置功能可以完全重新开始任务。
任务创建成功后是否支持修改SMN主题 支持修改,单击任务名称进入“基本信息”页签,在“任务异常通知设置”模块下,可对SMN主题进行修改。 图1 修改SMN主题 父主题: 通用操作
0版本) 使用建议 DRS任务启动和全量数据同步阶段,请不要在源数据库执行DDL操作,否则可能导致任务异常。 为保证同步前后数据一致性,确保同步期间目标数据库无业务写入。 数据库同步与环境多样性和人为操作均有密切关系,为了确保同步的平顺,建议您在进行正式的数据库同步之前进行一次演练,可以帮助您提前发现问题并解决问题。
数据库版本检查 源数据库版本是否支持 目标数据库版本是否支持 版本是否符合从低到高或者同版本迁移 父主题: 预检查不通过项修复方法
仅支持目标库版本等于或高于源库版本。 使用建议 DRS任务启动和全量数据同步阶段,请不要在源数据库执行DDL操作,否则可能导致任务异常。 为保证同步前后数据一致性,确保同步期间目标数据库无业务写入。 数据库同步与环境多样性和人为操作均有密切关系,为了确保同步的平顺,建议您在进行正式的数据库同步之前进行一次演练,可以帮助您提前发现问题并解决问题。
对于失败的数据订阅任务,用户可在解决任务异常场景后,采用续传功能,继续进行数据传输,无需重新开始。 前提条件 已登录数据复制服务控制台。 操作步骤 在“数据订阅管理”页面的任务列表中,选择要续传的任务,单击操作列“续传”按钮,继续进行数据传输。 父主题: 任务管理
建议您结合数据对比的“稍后启动”功能,选择业务低峰期进行数据对比,以便得到更为具有参考性的对比结果。由于同步具有轻微的时差,在数据持续操作过程中进行对比任务,可能会出现少量数据不一致对比结果,从而失去参考意义。 使用须知 在创建同步任务前,请务必阅读以下使用须知。 建议创建单独用于DRS任务连接
4、5.0版本) 说明: DDS 5.0版本当前仅支持副本集,不支持集群。 Kafka 使用建议 数据库同步与环境多样性和人为操作均有密切关系,为了确保同步的平顺,建议您在进行正式的数据库同步之前进行一次演练,可以帮助您提前发现问题并解决问题。 建议您在启动任务时选择“稍后启动”功能
支持的源和目标数据库 表1 支持的数据库 源数据库 目标数据库 DDM实例 Kafka 使用建议 数据库同步与环境多样性和人为操作均有密切关系,为了确保同步的平顺,建议您在进行正式的数据库同步之前进行一次演练,可以帮助您提前发现问题并解决问题。 建议您在启动任务时选择“稍后启动”功能
PostgreSQL为源的全量+增量实时同步任务,源库不可以为备机,否则,无法进行增量同步。全量实时同步任务,源库可以为备机,但是参数“hot_standby_feedback”必须为on,否则可能导致同步失败。 不通过原因 全量+增量实时同步任务,源库为备机,无法进行增量同步。 全量实时同步任务,源库为备机且“
DRS支持重启同步任务操作,方便用户在修改任务参数后,重启任务使设置生效。 约束限制 支持任务状态为全量同步、全量同步失败、增量同步、增量同步失败时进行重启。 目前仅支持以下引擎的同步任务进行重启。 MySQL->MySQL MySQL->PostgreSQL MySQL->GaussDB分布式版 MySQL->GaussDB集中式版
对于如下的同步信息,您可以进行修改。 数据库密码 数据库IP 数据库端口 数据库用户名 约束限制 所有链路均支持修改连接密码。 目前仅MySQL和TaurusDB为源且连接方式为输入IP地址的任务,在增量阶段支持修改IP、端口、用户名信息。当源库进行某些操作导致IP地址、端口、
对于如下的迁移信息,您可以进行修改。 数据库密码 数据库IP 数据库端口 数据库用户名 自建DNS服务配置 约束限制 所有链路均支持修改连接密码。 目前仅MySQL为源且连接方式为输入IP地址的任务,在增量阶段支持修改IP、端口、用户名信息。当源库进行某些操作导致IP地址、端口、