检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
务,任务配置如下: 数据流动方向:入云 源数据引擎:MySQL 目标数据库引擎:MySQL DRS任务类型:单AZ 规格类型:中 网络类型:公网网络,需要绑定弹性公网IP,公网带宽6Mbit/s。 用了一段时间后,用户发现当前规格无法满足业务需要,于2023/03/20 9:00
不足。 对于以下状态的任务,可以通过续传功能继续同步任务。 同步失败 已暂停 如果因为非网络原因导致同步失败,系统默认进行三次自动续传,若三次续传后仍无法恢复,可手动进行续传。 如果因为网络原因导致同步失败,系统自动续传,直到恢复同步。 前提条件 已登录数据复制服务控制台。 方式一
类并发技术:读写类并发和线程类并发。 读写类并发 为了提升全量阶段历史数据的搬迁,同时对抗网络的不稳定性,DRS实现了数据行级并发抽取效果,从而使得历史数据搬迁速度最大化,同时如果出现网络丢包时,不会大面积重来。 为加快数据写入,DRS实现了表级并发写入,从而大幅提升了数据传输速度,使得同步时延在同城达到毫秒级。
测试连接时需要确保DRS任务与源库、目标库的连通性。 网络连通性:确保源库和目标库允许DRS访问,通常至少需要放通DRS的IP。公网网络的DRS任务放通DRS的公网IP,VPC网络、VPN、专线网络的DRS任务放通DRS的内网IP,可参考网络准备章节进行网络打通。 账号连通性:确保源库和目标库允许DRS通过用户名和密码访问。
器上安装社区版MongoDB。 目标数据库引擎 DDS 本示例中目标数据库为华为云DDS实例。 网络类型 公用网络 本示例中采用公用网络。 网络示意图 图1 VPN网络 图2 公网网络+SSL安全连接 迁移流程 图3 迁移流程图 迁移建议(重要) 数据库迁移与环境多样性和人为操作
创建VPC和安全组 创建VPC和安全组,为创建TaurusDB实例准备好网络资源和安全组。 创建VPC 登录华为云控制台。 单击管理控制台左上角的,选择区域“华北-北京四”。 单击左侧的服务列表图标,选择“网络 > 虚拟私有云 VPC”,进入虚拟私有云信息页面。 单击“创建虚拟私有云”,购买VPC。
支持的网络方式 数据复制服务提供的实时同步功能支持通过多种网络方式进行实时同步,包括:VPC网络、VPN网络、专线网络和公网网络,在正式进行实时同步之前请参考表1了解网络类型的使用场景及准备工作,并参考表2了解具体的网络类型支持情况完成网络设置。 表1 网络类型 网络类型 使用场景
选择“自建-自建”。 源数据库引擎 选择“MySQL”。 目标数据库引擎 选择“Kafka”。 网络类型 此处以“公网网络”为示例。目前支持可选公网网络、VPC网络和VPN、专线网络。 DRS任务类型 选择DRS任务类型,可选“单AZ”和“双AZ”。 双AZ:一主一备的经典高可用
实时灾备链路规格说明 注意事项 文中提供的性能指标仅用于提供参考的测试数据,实际环境会受源或目标数据库性能、网络带宽、数据模型、业务模型等因素影响。 规格说明 实时灾备根据链路的性能上限,定义了四种规格:极小、小、中、大,各个规格的同步性能上限如表1。 表1 规格性能上限 规格名称
对于变更中的任务进行克隆时,如果变更信息已存入数据库,克隆任务与变更后配置保持一致。 克隆任务创建成功后,新任务的节点IP与原任务不同,可能需要调整网络配置,确保克隆后的新任务和源库、目标库网络互通。 前提条件 已创建校验任务。 操作步骤 在“校验任务管理”页面的任务列表中,选择要克隆的任务,单击操作列“克隆任务”。
DRS支持断点续传吗 针对数据库的迁移、同步场景,在迁移、同步过程中由于不可抗拒因素(例如网络波动)导致的任务失败,DRS通过记录当前解析和回放的位点(该位点同时也是数据库内部一致性的依据),下次从该位点开始回放的方式来实现断点续传,以确保数据的完整性。 增量阶段的迁移、同步,D
连接信息创建成功后,DRS支持再次编辑修改,可修改的任务信息如下: 任务名称 描述 数据库IP 数据库端口 数据库用户名 数据库密码 操作步骤 在“连接信息管理”页面的列表中,选择要修改的任务,单击操作列“编辑”按钮。 在“编辑连接信息”页面,修改数据库信息后,单击“保存并返回”。 父主题:
实时同步方案概览 数据订阅使用须知 实时灾备方案概览 网络准备 源数据库部署在本地 参考本地数据库到华为云进行网络准备。 源数据库为其他云数据库 参考其他云数据库到华为云进行网络准备。 源数据库为华为云上数据库 参考华为云数据库到华为云进行网络准备。 源数据库库为华为云ECS自建库 参考华
目标数据库引擎 选择“CSS/ES”。 网络类型 此处以“公网网络”为示例。目前支持可选公网网络、VPC网络和VPN、专线网络。 VPC 选择可用的虚拟私有云。 同步实例所在子网 请选择同步实例所在的子网。也可以单击“查看子网”,跳转至“网络控制台”查看实例所在子网帮助选择。 默认
华为云OBS下载:通过华为云OBS桶获取流量文件。 目标数据库引擎 选择“TaurusDB”。 网络类型 此处以“公网网络”为示例。 可根据业务场景选择“公网网络”、“VPC网络”和“VPN、专线”网络。 目标数据库实例 用户所创建的目标云数据库TaurusDB实例,请确认目标数据库已构建基线数据。
GaussDB - 网络类型 公网网络 本示例中采用公网网络。 操作流程 本实践的主要任务流程如图1所示: 图1 操作流程 创建VPC 创建VPC,为创建GaussDB实例准备网络资源。 登录华为云控制台。 单击管理控制台左上角的,选择区域。 单击左侧的服务列表图标,选择“网络 > 虚拟私有云
实时同步链路规格说明 注意事项 文中提供的性能指标仅用于提供参考的测试数据,实际环境会受源或目标数据库性能、网络带宽、数据模型、业务模型等因素影响。 规格说明 表1 全量同步性能上限 链路名称 全量性能上限(MB/s)参考 MySQL为源链路 50 Oracle为源链路 40 Redis为源链路
介绍如何在华为云创建分布式数据库中间件DDM。 介绍如何通过VPN网络将不同Region的RDS for MySQL数据迁移到DDM。 前提条件 拥有华为云实名认证账号。 账户余额大于等于0元。 服务列表 虚拟私有云 VPC 虚拟专用网络VPN 云数据库 RDS 分布式数据库中间件DDM 数据复制服务
在“实时灾备管理”页面的任务列表中,选择要结束的任务,单击“结束”。 在弹出框中单击“是”,提交结束任务。 当任务状态异常时(例如任务失败、网络异常),DRS会勾选“强制结束任务”优先结束任务,减少等待时间。 “强制结束任务”会直接释放DRS资源,请检查是否存在影响,确认同步情况。
DATAMOVE failed, cause by: read table=`%s`.`%s` failed。 可能原因 源库性能不足或网络不稳定导致从源库读取表数据失败。 解决方案 联系华为工程师调整访问源库超时时间。 调整完成后,在任务列表中,单击任务对应操作列的“续传”,重新提交任务。