检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据恢复到目标数据库。 实时同步基本原理 图4 实时同步原理 实时同步功能实现源数据库和目标数据库的数据长期同步,主要用于OLTP到OLAP、OLTP到大数据组件的数据实时同步。全量和增量的数据同步和实时迁移的技术原理基本一致,但是基于不同的业务使用场景,两个功能还是有些差异。
限速功能的同步链路可参考支持限速的链路。 约束限制 限速模式指的是限制秒级的流量上限,可能因为网络波动原因导致统计值的降低,实际统计的值可能会低于限速值大小。 限速模式只对全量同步阶段生效,增量同步阶段不生效。 增量阶段修改限速后,待任务再次进入全量阶段会生效。如增量中的任务修改
在“对象选择”区域选择需要加工的对象。 图5 列加工 单击右侧已选对象的“编辑”。 在“编辑列”中,勾选需要映射的列,填写映射后的“新列名”。 图6 编辑列 列加工提供列级的查询、映射和过滤能力。 编辑列名后,目标数据库的列名为修改后的名称。 列映射名不能和原列名或已存在的映射名相同。 不支持库名、表名带有换行符的列进行映射。
批量设置任务限速,任务创建成功后默认不限速。 限速:自定义的最大迁移速度,迁移过程中的迁移速度将不会超过该速度。 不限速:对迁移速度不进行限制,通常会最大化使用源数据库的出口带宽。该流速模式同时会对源数据库造成读消耗,消耗取决于源数据库的出口带宽。比如:源数据库的出口带宽为100MB/s,假设高速模式
盖原来的冲突数据。 过滤DROP DATABASE 实时同步过程中,源数据库端执行的DDL操作在一定程度上会影响数据的同步能力,为了降低同步数据的风险,数据复制服务提供了过滤DDL操作的功能,目前支持默认过滤删除数据库的操作。 是,表示过程中不会同步用户在源数据库端执行的删除数据库的操作。
方法二:使用如下SQL命令的方式进行设置。 USE master; ALTER DATABASE database_name SET RECOVERY FULL; 目标数据库磁盘要求 目标数据库的可用磁盘空间至少为待还原数据库总数据量大小的1.5倍。 迁移时间的评估参考 一次完整的备份迁移主要经历以下4个阶段。
行数对比:使用select count方式,查询速度跟数据库性能相关。 内容对比:在数据库没有压力并且网络正常的情况下,对比速度大概是5M/s。 用户对比:与对象对比同时返回结果,如果对象不多的情况下,基本会在几分钟就会返回结果。 父主题: 数据对比
不同规格对数据库的连接数存在差异,仅供参考。 DRS对源数据库的压力及影响 全量(初始化)阶段,DRS需要从源库将所有存量数据查询一次。DRS查询使用简单SQL语句,对源库影响主要体现在IO上,查询速度也受限于源数据库IO相关的性能以及网络带宽。一般在网络无瓶颈的情况下,会对源数
传统数据库性能瓶颈问题,复杂查询性能较差。 如何不中断业务并且平滑的实现数据迁移。 业务架构图 迁移原理 本次实践使用全量+增量同步功能,原理如下: 全量同步阶段,先进行结构迁移,例如表、主键、唯一键的迁移。 结构迁移完成后,启动增量数据抽取,以确保全量数据同步期间的增量数据完整的抽取到DRS实例。 启动全量迁移任务。
ShardIP:Shard节点的IP地址。 Primaryport:Shard节点中的Primary节点的服务端口。 database:鉴权数据库名,即数据库账号所属的数据库。 username:登录数据库的账号。 password:登录数据库的密码。 如果您有多个数据库,您需要重
前提条件 拥有华为云实名认证账号。 账户余额大于等于0元。 实现原理 RDS跨Region容灾实现原理说明: 在两个数据中心独立部署RDS for MySQL实例,通过DRS服务将生产中心RDS for MySQL库中的数据同步到灾备中心RDS for MySQL库中,实现RDS for
不支持源数据库中开启TDE加密的数据库进行备份迁移。 不支持高版本的数据库备份文件在低版本实例数据库上进行还原(例如从2017版本->2016版本的还原)。 企业版->标准版->Web版的还原存在一定失败的风险(取决于是否开启高版本的特性)。 迁移过程中,实例显示处于迁移状态,当前正在迁移的目标数据库
DRS支持DDM灾备任务的源端通过输入IP方式进行连接,如图1。DDM灾备的原理是源端和目标端DDM中的DN一一对应灾备,因此需要正确填写源端和目标端的DN的对应关系。关于DDM逻辑库和逻辑库下的DN实例说明可参考DDM产品文档。 在创建DDM灾备任务前,建议在DDM实例目标端的控制台上,导
DRS产品架构 目前,DRS支持的网络类型有公网网络、VPC网络、VPN网络和专线网络,不同场景下,用户可根据情况进行选择。 原理上DRS采用JDBC连接,无需在用户的源数据库、目标数据库节点部署程序,只需用户的源数据库和目标数据库允许DRS实例节点通过所选择的网络访问和连接即可。 例如
地主备倒换的效果。 图1 实时灾备倒换 图2 双主灾备原理 防回环同步原理概述(DML) 从源库解析日志时,解析到的数据中可能包含某种标记,包含这种标记的数据是通过DRS写到源库的,应用写入的数据无标记,解析后过滤掉不符合标记条件的数据。 回放数据到目标库时,对要回放的数据打上特殊标记,这个标记会记录到数据库日志中。
源端是否存在触发器或事件 预检查项 源端是否存在触发器或事件。 描述 为了避免触发器或事件的自动触发机制导致非预期数据操作,从而引起两边数据的不一致,DRS任务将在用户结束任务时启动触发器或事件的迁移,如果您在任务运行中,关闭或断开了源数据库连接,则会导致触发器或事件未迁移。 待确认提示及处理建议
源数据库存在加密的数据库对象 Microsoft SQL Server为源场景 表1 源数据库存在加密的数据库对象 预检查项 源数据库存在加密的数据库对象。 描述 检查源数据库存在加密的数据库对象。 不通过提示及处理建议 不通过原因:源数据库存在加密的数据库对象。 处理建议:返回
原因1:DRS在全量迁移阶段,为了保证迁移性能和传输的稳定性,采用了行级并行的迁移方式。当源数据库数据紧凑的情况下,通过DRS迁移到上云后,可能会出现数据膨胀现象,导致目标数据库磁盘空间使用量大于源数据库磁盘空间使用量。 并行时顺序插入原理可参考图1。 图1 顺序插入 当并行后有非顺序
难度大。 传统数据库性能瓶颈问题,复杂查询性能较差。 如何不中断业务并且平滑的实现数据同步。 迁移原理 本次实践中UGO负责异构数据库结构对象迁移,DRS仅同步数据,原理如下: 使用UGO先完成基本对象的同步。 DRS进行全量同步,进入增量阶段后暂停任务。 UGO进行普通索引同步。
单击“下一步:确认配置”。 选择“企业项目”,勾选“协议”,确认配置信息后,单击“立即购买”。 返回弹性云服务器列表页面,查看弹性云服务器的创建进度。 当弹性云服务器的状态为“运行中”时,表示创建完成。 父主题: 自建MySQL服务器