检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
阈值,其他未超过过滤阈值的字段内容的累加值大于request.max.size的值,写入到Kafka的过程中仍然可能会超过目标Kafka的消息体上限,从而导致DRS报错。 不过滤:不对大字段进行过滤。 图2 大字段过滤 设置完成后,单击“确认”。 对于失败状态的任务,设置完之后需要手动续传或重置使设置生效。
Oracle->GaussDB分布式版 GaussDB集中式版->Kafka GaussDB分布式版->Kafka 前提条件 已登录数据复制服务控制台。 操作说明 在“实时同步管理”页面,单击“创建同步任务”。 在“同步实例”页面,填选任务名称、描述、同步实例等信息,其中DRS任务
可以通过跳跃续传功能跳过暂停时间段的数据继续同步。目前仅DDM->Oracle的增量同步阶段,支持跳跃续传功能。 前提条件 已登录数据复制服务控制台。 任务状态为暂停。 操作步骤 在“实时同步管理”页面任务列表中,选择需要启动的任务,单击操作列“跳跃续传”,重新提交同步任务。 父主题:
双向同步任务倒换 双向同步中,为了防止DDL回环,只有正向任务支持DDL,反向不支持DDL。针对该特点,DRS提供修改任务方向功能,用户可使用此功能调换任务角色,实现反向的DDL。 约束限制 仅支持双向同步任务进行方向转换。 正向、反向任务均为暂停状态时,才能进行方向转换。 方向转换后,需要续传任务使转换生效。
任务规格变更时间大概需要5-10分钟左右,请耐心等待! 操作步骤 登录管理控制台。 单击管理控制台左上角的,选择区域和项目。 选择“数据库 > 数据复制服务 DRS”。进入数据复制服务页面。 在“实时同步管理”页面的任务列表中,选择操作列的“更多”>“规格变更”。 在“规格变更”页面,选择所需修改的性能规格并进行预检查后,单击“下一步”。
操作流程 创建DDM实例,并且将Oracle数据同步到DDM的主要任务流程如图1所示。 图1 流程图 父主题: 本地Oracle同步到DDM
自动续传,若三次续传后仍无法恢复,可手动进行续传。 如果因为网络原因导致的任务失败,系统自动续传,直到任务恢复。 前提条件 已登录数据复制服务控制台。 操作步骤 在“录制回放管理”页面任务列表中,选择需要启动的任务,单击操作列“续传”。 在弹出的“续传任务”对话框中确认任务信息,单击“是”,重新提交回放任务。
预检查超时 DRS预检查阶段会在源及目标数据库进行一系列查询判断是否符合数据迁移或者同步的前提条件,以便提升任务成功率。当后端检查用时超过页面超时设置时,会显示预检查结果上报超时。 可能原因 源或目标数据库资源不足,执行查询过慢导致超时。 数据库中对象过多,执行用时长导致超时。
MySQL->MySQL实时迁移和同步 全量阶段失败报错,关键词“Table *** doesn't exist” 全量阶段失败报错,关键词“The background process is unavailable” 全量阶段失败报错,关键词“Communications link
DRS备份迁移支持跨区域备份吗? DRS备份迁移有两种模式:自建OBS桶,RDS全量备份。 自建OBS桶:通过上传其他区域RDS的全量备份的数据,可以实现跨区域备份。 RDS全量备份:获取的当前区域的RDS全量备份,此种模式不支持跨区域备份。 父主题: 备份迁移
如何关闭集合均衡器Balancer 使用DRS服务进行MongoDB数据库分片集群到分片集群的迁移,必须关闭要迁移集合的均衡器Balancer。 DDS集群关闭集合均衡器Balancer需调用API接口,参考设置集群均衡开关,具体方法可咨询DDS技术支持。自建MongoDB设置可参考如下步骤。
任务创建成功后是否支持修改SMN主题 支持修改,单击任务名称进入“基本信息”页签,在“任务异常通知设置”模块下,可对SMN主题进行修改。 图1 修改SMN主题 父主题: 通用操作
一对多的场景约束及操作建议 因业务需要,存在同一实例或同一对象的数据需要同步到多个实例或多个对象的场景,数据复制服务提供的数据迁移和实时同步均支持一对多的场景。 操作建议 由于一对多场景需要多个DRS任务来配合完成,所以会对源库产生的压力也是成倍的增加,所以为避免多个DRS对同一
资源规划 表1 资源规划 类别 子类 规划 备注 源端VPC VPC名称 vpc-DRSsrc 自定义,易理解可识别。 所属Region 华南-广州 选择和自己业务区最近的Region,减少网络时延。 可用区 可用区二 - 子网网段 10.0.0.0/24 子网选择时建议预留足够的网络资源。
操作流程 创建RDS for MySQL实例,并且将RDS for MySQL数据同步到DDM的主要任务流程如图1所示。 图1 流程图 父主题: RDS for MySQL迁移到DDM
本地Oracle同步到GaussDB分布式版 概述 资源规划 操作流程 创建VPC和安全组 创建GaussDB实例 同步前构造数据 同步数据库 同步后进行数据校验 父主题: 实时同步
DRS实时同步支持使用Online DDL工具吗 使用场景 MySQL为源的迁移或同步任务,在增量阶段使用第三方拷表方式实现的Online DDL工具(如PT-OSC、GH-OST)在源库执行DDL,会先创建临时表,通过临时表做DDL,针对这个情况,使用DRS进行迁移或同步时,可分为以下三种场景:
数据订阅与MySQL到Kafka同步的区别 对比项 MySQL到Kafka同步 数据订阅 支持的源数据库 华为云RDS for MySQL 本地自建MySQL数据库 ECS自建MySQL数据库 其他云MySQL数据库 华为云RDS for MySQL 支持网络 支持公网网络、VPC网络、VPN、专线网络。
配置说明 配置方式 通过修改GaussDB数据库后台pg_hba.conf或者gs_hba.conf文件进行配置。 pg_hba.conf或者gs_hba.conf配置约束 配置文件时,请依次从上到下配置,配置的优先级由高到低。 pg_hba.conf或者gs_hba.conf配置信息格式
DRS已经开始的同步任务如何增删表? 可以使用编辑同步对象功能。 具体参看编辑同步对象章节。 父主题: 实时同步