检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
源端RDS for MySQL准备 创建RDS for MySQL实例 构造数据 父主题: RDS for MySQL同步到Kafka
源端RDS for MySQL准备 创建源端VPC和安全组 创建RDS for MySQL实例 父主题: RDS for MySQL迁移到DDM
使用和操作限制 任务启动前须知 源数据库要求: 目前仅支持源数据库为RDS for MySQL。 源数据库已完成SQL流量文件录制,RDS for MySQL录制方式可参考开启SQL审计日志。 目标数据库要求: 目前仅支持目标数据库为TaurusDB。 目前仅支持目标数据库版本等于或高于源数据库版本。
本云指两端均为华为云数据库实例的录制回放场景。 入云指目标数据库为华为云数据库实例且需将数据传入的场景。 源数据库引擎 选择“MySQL”。 源数据库来源 选择源数据库的具体来源。不同源数据库来源对应的审计日志格式不同,具体可参考审计日志格式说明。 目标数据库引擎 选择“TaurusDB”。
本章节介绍创建DRS实例,将RDS for MySQL上的数据库增量同步到Kafka。 同步前检查 在创建任务前,需要针对同步条件进行手工自检,以确保您的同步任务更加顺畅。 本示例中,为RDS for MySQL到Kafka的出云同步,您可以参考出云同步使用须知获取相关信息。 操作步骤 登录华为云控制台。
DRS迁移索引时目标库处于只读状态,一般原因为目标库空间不足引起。 解决方案 请联系数据库运维工程师,检查目标数据库运行状态,修复数据库异常。 待目标库状态正常后,在任务列表中,单击任务对应操作列的“续传”,重新提交任务。 父主题: MySQL->MySQL实时迁移和同步
UTC。 可参考MySQL的官方文档。 YEAR类型,MySQL的支持的范围是:1901 to 2155, 和 0000,可参考MySQL的官方文档。由于GaussDB中没有对应的类型,DRS会将MySQL的YEAR类型映射成SMALLINT类型。 对于MySQL的DATE类型的'0000'通过DRS会转换成0。
可能原因 全量阶段期间,源端数据库执行删除表DDL语句。 解决方案 方法一: DRS全量迁移和同步期间,不能执行删除类型的DDL操作,可参考MySQL迁移使用须知,重建任务。 方法二: 在源数据库按照删除前的表结构创建同样的表后,在任务列表中,单击任务对应操作列的“续传”,重新提交任务。
事务隔离级别一致性校验 MySQL迁移时,源数据库和目标数据库的事务隔离级别需要保持一致。 不通过原因 源数据库和目标数据库的事务隔离级别不一致。 处理建议 修改数据库隔离级别参数(tx_isolation或者transaction_isolation),使源库和目标库的事务隔离级别保持一致。
虚拟私有云 VPC 云数据库 RDS 分布式消息服务Kafka 数据复制服务 DRS 数据管理服务 DAS 部署架构 本示例中,DRS源数据库为华为云RDS for MySQL,目标端为华为云同Region下的分布式消息服务Kafka,通过VPC网络,将源数据库的增量数据同步到目标端,部署架构可参考图1。
单击管理控制台左上角的,选择区域“华南-广州”。 单击左侧的服务列表图标,选择“数据库 > 云数据库 RDS”。 选择RDS实例,单击实例后的“更多 > 登录”。 在弹出的对话框中输入密码后,单击“测试连接”检查。 连接成功后单击“登录”,登录RDS实例。 单击“新建数据库”,创建db_test测试库。 在db_te
创建逻辑库并关联RDS for MySQL实例 单击管理控制台左上角的,选择区域。 单击左侧的服务列表图标,选择“数据库 > 分布式数据库中间件 DDM”,进入DDM管理控制台。 在实例管理页面,单击实例对应操作栏的“创建逻辑库”。 在创建逻辑库页面,选择“逻辑库模式”、“逻辑库
创建DDM实例:创建目标端DDM实例。 创建RDS for MySQL实例:创建DDM下关联的RDS for MySQL实例。 创建DDM账号:创建连接DDM逻辑库的账号。 创建逻辑库并关联RDS for MySQL实例:关联DDM与RDS for MySQL实例。 创建目标库表结构:在目标库创建表结构,供迁移数据使用。
目标数据库是否冲突 MySQL迁移场景 表1 目标数据库是否冲突 预检查项 目标数据库是否冲突。 描述 检查目标数据库是否正在被别的迁移任务使用,当多个迁移任务使用同一个目标数据库,可能会导致迁移失败。 不通过提示及处理建议 不通过原因:RDS实例已经在其他的迁移任务中。 处理建
安全设置global级binlog_format=ROW的步骤 通过MySQL官方客户端或者其它工具登录源数据库。 在源数据库上执行全局参数设置命令。 set global binlog_format = ROW; 在源数据库上执行如下命令确认上面操作已执行成功。 select @@global.binlog_format;
SERVER_UUID的一致性检查 MySQL迁移时,源数据库和目标数据库的SERVER_UUID参数一致,可能会导致迁移失败。 不通过原因 源数据库和目标数据库的参数SERVER_UUID相同。 处理建议 检查源数据库与目标数据库是否设置为同一个MySQL数据库,如果是,请重新修改源或者目标数据库。 父主题:
将MySQL同步到Kafka 支持的源和目标数据库 表1 支持的数据库 源数据库 目标数据库 RDS for MySQL(5.5、5.6、5.7、8.0版本) Kafka 使用建议 DRS任务启动和全量数据同步阶段,请不要在源数据库执行DDL操作,否则可能导致任务异常。 为保证同
dbName = %s 可能原因 全量数据迁移期间用户在源数据库删除database。 源库迁移账户对源库的database没有操作权限。 解决方案 请联系源数据库管理员检查源库database是否删除,如果database被删除,可参考链路使用须知重建任务。 检查迁移使用的账户对源库的表是否有执行SHOW
本章节介绍创建TaurusDB实例,该实例选择和自建MySQL服务器相同的VPC和安全组。 登录华为云管理控制台。 单击管理控制台左上角的,选择区域“华南-广州”。 单击页面左上角,选择“数据库 > 云数据库TaurusDB”。 单击“购买数据库实例”。 配置实例名称和实例基本信息。 选择实例规格。
数据库参数检查 源数据库binlog日志是否开启 源数据库binlog格式检查 源数据库expire_logs_days参数检查 源数据库和目标数据库的字符集是否一致 源数据库参数server_id是否符合增量迁移要求 源数据库和目标数据库表名大小写敏感性检查 源数据库中是否存在非ASCII字符的对象名称