检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
实时同步 其他云PostgreSQL同步到RDS for PostgreSQL ECS自建PostgreSQL同步到RDS for PostgreSQL 本地PostgreSQL同步到RDS for PostgreSQL 本地MySQL同步到GaussDB分布式版 本地Oracle同步到GaussDB分布式版
入云 将MySQL同步到MySQL 将MySQL同步到PostgreSQL 将MySQL同步到GaussDB分布式版 将MySQL同步到GaussDB集中式版 将MySQL同步到GaussDB(DWS) 将MySQL同步到TaurusDB 将MySQL同步到MariaDB 将Po
实例操作 操作指定ID任务 采集数据库位点信息 结束任务 批量操作指定ID任务 批量结束任务 获取指定任务允许操作信息 获取查询数据库位点的结果 任务名称校验 更新增量任务启动位点 上传驱动文件(不再推广) 删除驱动文件(不再推广) 同步驱动文件(不再推广) 查询驱动文件列表(不再推广)
数据库对象检查 源数据库是否存在MyISAM表 源库中是否存在无权限迁移的函数或存储过程 源数据库同名对象检查 源库是否包含无日志表(UNLOGGED TABLE) 源库约束完整性检查 源数据库索引(_id)检查 源数据库索引长度检查 源数据库是否存在使用不支持的存储引擎的表 映射到目标库中的库名是否合法
操作流程 图1 流程图 父主题: 其他云MySQL迁移到TaurusDB
在“任务确认”页面,设置同步任务的启动时间、任务异常通知设置、SMN主题、时延阈值、任务异常自动结束时间,并确认同步任务信息无误后,勾选协议,单击“启动任务”,提交同步任务。 图8 任务启动设置 表10 任务启动设置 参数 描述 启动时间 同步任务的启动时间可以根据业务需求,设置为“立即启动”或“稍后启动”。
目标库中,直到手动任务结束。下面我们通过在源库RDS for MySQL中插入数据,查看Kafka的接收到的数据来验证同步结果。 操作步骤 登录华为云控制台。 单击管理控制台左上角的,选择区域“华南-广州”。 单击左侧的服务列表图标,选择“数据库 > 云数据库 RDS””。 单击RDS实例后的“更多
PostgreSQL->PostgreSQL实时同步 任务启动失败报错,关键词“Initialize logical replication stream failed, the source database may have a long transaction: ****.”
该项为可选参数,开启之后,选择对应的SMN主题。当灾备任务状态、时延指标、数据等异常时,系统将发送通知。 任务异常自动结束时间 14 设置任务异常自动结束天数。设置任务异常自动结束天数后,异常且超时的任务将会自动结束。 确认灾备任务信息无误后,单击“启动任务”,提交灾备任务。 灾备任务提交后,您可在“实时灾备管理”页面,查看任务状态。
同步场景操作参考 Kafka消息格式 Kafka认证方式 GaussDB分布式版为源任务序列值同步 GaussDB分布式版为源强制结束任务 GaussDB集中式版为源强制结束任务 PostgreSQL为源强制结束任务 通过创建事件触发器和函数实现PostgreSQL增量DDL同步
公共接口管理 批量创建任务 批量测试连接 批量测试连接-集群模式 批量修改任务 批量数据库对象选择 批量预检查 批量查询预检查结果 批量设置任务限速 批量获取数据库参数 修改数据库参数 批量启动任务 批量续传/重试 批量暂停任务 批量结束任务或删除任务 批量修改源库/目标库密码 批量设置definer
MySQL的增量数据同步到目标端Kafka,主要包含以下部分内容: 介绍如何在华为云创建RDS for MySQL实例。 介绍如何在华为云创建分布式消息服务Kafka。 介绍如何创建DRS同步任务。 前提条件 拥有华为云实名认证账号。 账户余额大于等于0元。 服务列表 虚拟私有云 VPC 云数据库
展开库进行操作。 选择导入对象文件,具体步骤和说明可参考导入同步对象。 说明: 选择对象的时候支持对展开的库进行搜索,以便您快速选择需要的数据库对象。 如果有切换源数据库的操作或源库同步对象变化的情况,请在选择同步对象前单击右上角的,以确保待选择的对象为最新源数据库对象。 当对象
DRS迁移任务 迁移任务名 DRS-MySQLToDDM 自定义,易理解可识别。 源数据库引擎 MySQL 本示例中源数据库为MySQL,使用的华为云RDS实例。 目标数据库引擎 DDM 本示例中目标数据库为DDM。 网络类型 VPN网络 本示例中采用“VPN网络”。 父主题: RDS for
DRS目前仅支持迁移源端数据到目标DDM,不支持迁移源库表结构及其他数据库对象。用户需要在目标库根据源端逻辑库的表结构,自行在目标库创建对应的表结构及索引。未在目标库创建的对象,视为用户不选择这个对象进行迁移。更对约束限制可参考DRS使用须知。 操作步骤 登录华为云控制台。 单击管理控制台左上角的,选择区域。
Avro、JSON和JSON-C SDK 数据类型 全量+增量数据。 仅增量数据。 同步对象 表数据、表结构。 数据更新和结构更新。 稳定性 有任务告警、监控,任务异常自动重试。 无任务告警、监控,任务异常手动重试 性能 支持多规格,可根据不同性能要求选择。 不支持规格选择,性能为极小规格的性能。
经同步中的任务阻塞一段时间,我们可以选择在创建同步任务最后设置为“稍后启动”,这样设定在业务低峰期后创建任务,从而避免后创建任务的索引创建对已有任务的同步阻塞。 对于多对一同步任务场景,不建议使用内容对比,因为内容对比无法保证一致性。 如果涉及表级汇集的多对一同步任务,则不支持DDL,否则会导致同步全部失败。
GaussDB集中式版同步到Kafka、GaussDB分布式版同步到Kafka和MySQL同步到Kafka任务,支持表名映射和topic映射,详见操作步骤。 操作步骤 在实时同步任务的“设置同步”页面,单击“同步对象”处的 “导入对象文件”。 图1 导入对象文件 单击“下载模板”。 在下载的Excel模板中,填写需要导入的对象信息。
目标数据库是否存在与源数据库同名的对象 MySQL->PostgreSQL同步场景 表1 目标数据库是否存在与源数据库同名的对象 预检查项 目标数据库是否存在与源数据库同名的对象。 描述 校验用户提供的目标数据库是否存在与源数据库同名的表,避免已存在的表被覆盖。若存在,则无法迁移。
不通过原因:需要迁移的表中含有依赖,但是被依赖的表没有被迁移。 处理建议:在对象选择中添加这些表。 不通过原因:迁移列表中含有不允许迁移的视图。 处理建议:检查迁移列表中视图所包含的依赖,并将这些依赖添加到对象选择中。 不通过原因:迁移对象中包含仅大小写不同的重名视图。 处理建议:建议修改视图名或者不迁移这些重名视图。