检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
RDS for MySQL同步到Kafka 概述 资源和成本规划 操作流程 创建VPC和安全组 源端RDS for MySQL准备 目标端Kafka准备 创建DRS同步任务 确认同步任务执行结果 父主题: 实时同步
为什么DRS不支持部分他云只读实例的备库做源库 对于DRS的增量或者全量+增量任务,不支持部分他云只读实例的备库做源库进行数据迁移。DRS增量迁移是通过读取源数据库的原始增量日志数据(例如MySQL的Binlog)后解析转换进行 。 以MySQL的Binlog为例,部分他云只读MySQL备库的Binlo
数据加工 数据复制服务支持对同步的对象进行加工,即可以为选择的对象添加规则。各链路支持的加工规则不一样,目前仅部分链路支持数据加工,支持数据加工链路参考表1,具体操作方法可参考对应的内容。 表1 支持数据加工的链路 同步方向 数据流向 数据过滤 附加列 列加工 入云 MySQL->MySQL
您可以通过如下两种方式确保修改后的源库binlog_format格式立即生效。 方法一: 选择一个非业务的时间段,中断当前数据库上的所有业务连接。 通过如下命令查询当前数据库上的所有业务连接(所有的binlog Dump连接及当前连接除外)。 show processlist; 中断上面查出的所有业务连接。
源库性能不足或网络不稳定导致源库数据分片超时。 解决方案 查看任务状态是否正常。 任务状态正常,该报错为日志中显示,无需处理。 任务状态异常,执行2。 在管理控制台右上角,选择“工单 > 新建工单”,联系DRS客服解决。 父主题: MySQL->MySQL实时迁移和同步
可能原因 目标库已经存在此无主键表。 解决方案 联系客户运维工程师将目标库表中的无主键表删除。 修改完成后,在任务列表中,单击任务对应操作列的“续传”,重新提交任务。 父主题: MySQL->MySQL实时迁移和同步
failed: Java heap space。 可能原因 存在超大行记录,单行记录超过50M。 解决方案 联系华为工程师处理。 父主题: MySQL->MySQL实时迁移和同步
单击管理控制台左上角的,选择区域“华北-北京四”。 单击左侧的服务列表图标,选择“网络 > 虚拟私有云 VPC”。 在左侧导航树,选择“访问控制 > 安全组”。 单击“创建安全组”。 图2 创建安全组 单击“立即创建”,完成灾备安全组创建。 父主题: 灾备中心RDS for MySQL实例准备
allowed]。 可能原因 MySQL单表最多允许创建64个二级索引,当前目标库新建索引数量和存量索引数量之和超过64。 解决方案 在目标库手动创建需要的索引后,联系DRS运维人员跳过任务中此表的二级索引迁移。 修改完成后,在任务列表中,单击任务对应操作列的“续传”,重新提交任务。 父主题:
udb的表,读取速度可能下降至10%。 DRS并发读取数据库,会占用大约6-10个session连接数,需要考虑该连接数对业务的影响。 全量阶段读取表数据时,特别是大表的读取,可能会阻塞业务上对大表的独占锁操作。 更多DRS对数据库的影响,可参考DRS对源数据库和目标数据库有什么影响。
可能原因 目标库表文件损坏。 解决方案 请联系客户目标库运维工程师,检查对应的表是否存在且状态正常。 检查完成后在任务列表中,单击任务对应操作列的“续传”,重新提交任务。 父主题: MySQL->MySQL实时迁移和同步
DRS连接源库获取binlog的连接中断,可能是源库的状态发生了改变,或网络出现异常。 解决方案 检查源库运行状态是否正常。 检查DRS实例和源库之间的网络是否能够连通。 确认没有问题后,在任务列表中,单击任务对应操作列的“续传”,重新提交任务。 父主题: MySQL->MySQL实时迁移和同步
联系客户运维人员检查目标库锁占用情况、慢SQL或负载状况。 目标库恢复正常后,在任务列表中,单击任务对应操作列的“续传”,重新提交任务。 父主题: MySQL->MySQL实时迁移和同步
迁移实例创建中,大约需要5-10分钟。 配置源库网络白名单。 源数据库MySQL实例需要将DRS迁移实例的弹性公网IP添加到其网络白名单中,确保源数据库可以与DRS实例互通。 各厂商云数据库添加白名单的方法不同,请参考各厂商云数据库官方文档进行操作。 配置源库信息和目标库数据库密码。 配置源库信息,单击“测试
error code is %s. 可能原因 源库binlog已经被清理,DRS无法从源库获取到和当前同步位点接续的日志。 解决方案 重建DRS任务。 父主题: MySQL->MySQL实时迁移和同步
迁移前构造数据 迁移前需要在源库构造一些数据类型,供迁移完成后验证数据。 前提条件 已知源端数据库的IP地址,端口,账户和密码。 操作步骤 根据源端数据库的IP地址,通过数据库连接工具连接数据库。 根据支持的数据类型,在源库执行语句构造数据。 登录源端数据库。 进入任意一个待迁移的逻辑库。
操作流程 创建RDS for MySQL实例,并且将RDS for MySQL增量同步到Kafka的主要任务流程如图1所示。 图1 流程图 父主题: RDS for MySQL同步到Kafka
MySQL为源实时灾备 灾备阶段失败报错,关键词“A dml without pk write target db fail” 父主题: 失败案例
在目标库更改表结构,导致同步语句报错。 解决方案 请联系目标库运维工程师根据源库表结构在目标库修改为一致的表结构。 修改完成后,单击任务对应操作列的“续传”,重新提交任务。 父主题: MySQL->MySQL实时迁移和同步
确认数据迁移结果 确认升级迁移结果有两种方式: 方式一:(自动)在DRS管理控制台查看迁移结果。DRS会针对迁移对象、用户、数据等维度进行对比,从而给出迁移结果。 方式二:(手工)在TaurusDB管理控制台查看迁移结果。直接登录数据库查看库、表、数据是否迁移完成。手工确认数据迁移情况。