正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Kafka消息格式 同步到Kafka集群中的数据以Avro、JSON和JSON-C格式存储。不同链路支持的数据格式可参考表1: 表1 支持的数据格式 数据流向 Avro JSON JSON-C MySQL->Kafka 支持 支持 支持 Oracle->Kafka 支持 支持 暂不支持
源数据库binlog格式检查 检查源数据库Binlog格式。MySQL增量迁移时,源数据库的Binlog日志必须打开,且Binlog日志格式必须为row格式。 不通过原因 源数据库的Binlog格式不是row格式。 处理建议 如果源数据库为本地自建MySQL,可通过如下方法,修改源数据库Binlog格式:
方向转换后,需要续传任务使转换生效。 操作步骤 在“实时灾备管理”页面,选择已暂停的双主灾备任务。 此时可看到,子任务1为正向任务。 图1 方向转换前 查看子任务1灾备监控,主2显示禁止执行DDL状态。 图2 转换前灾备监控 单击任务“操作”列的“方向转换”。 在弹出对话框中单击“是”确认转换。 转
这条变更记录对应的每个字段的数据类型。 字段编码 这条变更记录对应的字符集编码。 前镜像 这条变更记录变更之前的各个字段的值。对于insert操作,没有前镜像值。 后镜像 这条变更记录变更之后的各个字段的值。对于delete操作,没有后镜像值。 update操作的前镜像和后镜像都有值。 对于操作类型为DD
审计日志格式说明 创建DRS录制回放任务时,源数据库引擎可选不同来源。不同源数据库来源对应的审计日志格式不同,具体说明可参考如下说明。 表1 审计日志参数说明 参数 说明 quo 包裹符号,一般审计日志中的SQL是会被该符号包裹起来。 column 每行总列数。 separator
例如MySQL中对timestamp类型固定按UTC时区存储,需要使用UTC时区的时间值进行比较才能达到预期效果。 过滤条件不支持使用隐式转换规则,请填写正确的数据类型条件。例如Oracle的c列是字符类型varchar2,过滤条件应该设置为 c > '10',而不是c > 10。
如果单独对目标库进行数据修改操作,可能会导致对比结果不一致。 如果源数据库字符类型存在编码异常的情况,通过DRS迁移或对比时会因数据库驱动转码转换为异常码点,最终可能导致内容对比一致,实际字节不一致。 内容对比功能目前只支持带有主键的表,对于不支持内容对比的表可以使用行数对比功能。所
insert/delete dml=%s, the column size in dictionary=%s 可能原因 源库binlog未开启全镜像。 解决方案 参考常见问题“binlog_row_image参数设置为FULL没有立即生效”。 父主题: MySQL->MySQL实时迁移和同步
DRS实时同步支持使用Online DDL工具吗 使用场景 MySQL为源的迁移或同步任务,在增量阶段使用第三方拷表方式实现的Online DDL工具(如PT-OSC、GH-OST)在源库执行DDL,会先创建临时表,通过临时表做DDL,针对这个情况,使用DRS进行迁移或同步时,可分为以下三种场景:
RDS容灾切换 生产中心数据库故障时,需要手动将灾备数据库实例切换为可读写状态。切换后,将通过灾备实例写入数据,并同步到源库。 操作步骤 生产中心源库发生故障,例如:源库无法连接、源库执行缓慢、CPU占比高。 收到SMN邮件通知。 图1 邮件通知 查看灾备任务时延异常。 图2 时延异常
货币金额格式是否一致 PostgreSQL同步场景 表1 货币金额格式是否一致 预检查项 货币金额格式是否一致。 描述 检验源数据库和目标数据库的货币金额格式是否一致,若不一致,会导致同步失败。 不通过提示及处理建议 不通过原因:源数据库连接失败,导致该项检查无法进行。 处理建议:查看源数据库连接是否成功。
资源。 区域(Region):从地理位置和网络时延维度划分,同一个Region内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。Region分为通用Region和专属Region,通用Region指面向公共租户提供通用云服务的Region;专属Regio
仅支持双向同步任务进行方向转换。 正向、反向任务均为暂停状态时,才能进行方向转换。 方向转换后,需要续传任务使转换生效。 操作步骤 在“实时同步管理”页面,选择已暂停的双向同步任务。 此时子任务1为正向任务。 单击任务“操作”列的“方向转换”。 在弹出对话框中单击“是”确认转换。 转换后,子任务关系发生改变,子任务1成为反向任务。
目前,DRS同步仅支持任务类型为单AZ的同步任务升级实例规格,不支持父子任务升级实例规格,不支持降低规格,具体操作及约束限制可参考同步规格变更。 对于支持内容对比的链路,如果创建任务时可以选择实例规格,那么仅支持大规格及以上规格进行内容对比。 测试模型 在两个RDS for My
弹性云服务器 ECS”。 单击“购买云服务器”。 配置弹性云服务器参数。 选择通用计算型s6.xlarge.2 4vCPUs |8GiB规格。 选择镜像和磁盘规格。 单击“下一步:网络配置”。 选择在创建VPC和安全组创建的VPC和安全组。 选择购买弹性公网IP,公网带宽选择“按流量计费”
变更计费模式概述 在购买DRS后,如果发现当前计费模式无法满足业务需求,您可以变更计费模式。支持变更计费模式的DRS计费项如表1所示。 表1 支持变更计费模式的DRS计费项 计费项 变更说明 相关文档 配置费(必选) DRS任务目前只支持按需转包年/包月,暂不支持包年/包月转为按需。
<Field> 包含了这条变更记录对应表的所有字段的定义及变更前后的镜像值,Field对象的定义详见表7。 表6 属性信息 key 说明 record_id 这条Record的ID,这个ID在订阅过程中不保证递增。 instance 这条Record对应的数据库实例的连接地址,格式为:ip:port。
Content-Type 是 String 发送的实体的MIME类型。推荐用户默认使用application/json,如果API是对象、镜像上传等接口,媒体类型可按照流类型的不同进行确定。 缺省值:application/json X-Auth-Token 是 String 从IAM服务获取的用户Token。
目前仅支持任务状态为全量中、全量失败、增量中、增量失败的同步任务进行规格变更。 规格变更前,请确认当前可用区支持目标规格任务的创建。 建议在业务低峰期操作规格变更。 变更开始后,任务处于暂停阶段,变更完成后,会自动续传。 任务规格变更时间大概需要5-10分钟左右,请耐心等待! 操作步骤 登录管理控制台。
日志读取模块:日志读取模块从源数据库读取原始增量日志数据(例如MySQL为binlog),经过解析转换为标准的日志格式存储在本地。 日志回放模块:日志回放模块根据日志读取模块转换的标准格式增量日志,根据用户的选择策略进行加工过滤,将增量数据同步到目标数据库。 备份迁移基本原理 图3 备份迁移原理