检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
行导入命令将数据恢复到目标数据库。 实时同步基本原理 图4 实时同步原理 实时同步功能实现源数据库和目标数据库的数据长期同步,主要用于OLTP到OLAP、OLTP到大数据组件的数据实时同步。全量和增量的数据同步和实时迁移的技术原理基本一致,但是基于不同的业务使用场景,两个功能还是有些差异。
分片集群MongoDB迁移前清除孤儿文档 什么是孤儿文档 MongoDB负载均衡器(Balancer)会根据集合的分片键(Shard key)均衡数据。Balancer的工作原理是:需要Balancer的数据块(Chunk)先复制到目标Shard,成功后再删除原Shard上的Ch
支持设置主DC,可填写数据中心名称,该配置影响源端读取的负载均衡策略和一致性级别。可通过以下命令查询获取数据中心名称: select data_center from system.local; 或 select data_center from system.peers; 默认的读取负载均衡策略为RoundRob
for MySQL实例如何通过DRS服务搭建异地单主灾备。 前提条件 拥有华为云实名认证账号。 账户余额大于等于0元。 实现原理 RDS跨Region容灾实现原理说明: 在两个数据中心独立部署RDS for MySQL实例,通过DRS服务将生产中心RDS for MySQL库中的数据同步到灾备中心RDS
待还原数据库支持重命名,最大配额为100个。 在“信息确认”页面核对配置详情后,勾选协议,单击“下一步”。 SQL Server自身的工作原理是备份文件恢复到新的数据库后,非聚集索引表的索引信息将会失效需要立即重建。如果源数据库里存在大量非聚集索引表,备份迁移后请在目标库进行索引
DDM灾备任务源库填写说明 DRS支持DDM灾备任务的源端通过输入IP方式进行连接,如图1。DDM灾备的原理是源端和目标端DDM中的DN一一对应灾备,因此需要正确填写源端和目标端的DN的对应关系。关于DDM逻辑库和逻辑库下的DN实例说明可参考DDM产品文档。 在创建DDM灾备任务
数据灾备支持两地三中心、两地四中心灾备架构。单边灾备可以利用灾备场景的升主、降备功能从而实现异地主备倒换的效果。 图1 实时灾备倒换 图2 双主灾备原理 防回环同步原理概述(DML) 从源库解析日志时,解析到的数据中可能包含某种标记,包含这种标记的数据是通过DRS写到源库的,应用写入的数据无标记,解析后过滤掉不符合标记条件的数据。
DRS支持跨账号云数据库迁移吗 图1 DRS产品架构 目前,DRS支持的网络类型有公网网络、VPC网络、VPN网络和专线网络,不同场景下,用户可根据情况进行选择。 原理上DRS采用JDBC连接,无需在用户的源数据库、目标数据库节点部署程序,只需用户的源数据库和目标数据库允许DRS实例节点通过所选择的网络访问和连接即可。
数据紧凑的情况下,通过DRS迁移到上云后,可能会出现数据膨胀现象,导致目标数据库磁盘空间使用量大于源数据库磁盘空间使用量。 并行时顺序插入原理可参考图1。 图1 顺序插入 当并行后有非顺序插入数据时,如图2,当最后数据4插入时,会导致数据3、5叶子节点分裂,分裂后的叶子节点存在磁盘空余空间。
如何关闭集合均衡器Balancer 使用DRS服务进行MongoDB数据库分片集群到分片集群的迁移,必须关闭要迁移集合的均衡器Balancer。 DDS集群关闭集合均衡器Balancer需调用API接口,参考设置集群均衡开关,具体方法可咨询DDS技术支持。自建MongoDB设置可参考如下步骤。
本高、难度大。 传统数据库性能瓶颈问题,复杂查询性能较差。 如何不中断业务并且平滑的实现数据同步。 迁移原理 本次实践中UGO负责异构数据库结构对象迁移,DRS仅同步数据,原理如下: 使用UGO先完成基本对象的同步。 DRS进行全量同步,进入增量阶段后暂停任务。 UGO进行普通索引同步。
成本高、难度大。 传统数据库性能瓶颈问题,复杂查询性能较差。 如何不中断业务并且平滑的实现数据迁移。 业务架构图 迁移原理 本次实践使用全量+增量同步功能,原理如下: 全量同步阶段,先进行结构迁移,例如表、主键、唯一键的迁移。 结构迁移完成后,启动增量数据抽取,以确保全量数据同步期间的增量数据完整的抽取到DRS实例。
数据库新名称不能与源库中除本库以外的其它库同名。 在“信息确认”页面核对配置详情后,勾选协议,单击“下一步”。 SQL Server自身的工作原理是备份文件恢复到新的数据库后,非聚集索引表的索引信息将会失效需要立即重建。如果源数据库里存在大量非聚集索引表,备份迁移后请在目标库进行索引
源数据库的均衡器状态检查 MongoDB迁移场景 表1 源数据库的均衡器状态检查 预检查项 源数据库的均衡器状态检查。 描述 源数据库若存在均衡器打开的集合,则会导致迁移失败。 待确认提示及处理建议 不通过原因:源数据库存在均衡器打开的集合。 处理建议:请关闭集合均衡器。 父主题:
IP地址的子网。为确保同步实例创建成功,仅显示已经开启DHCP的子网。 同步模式 DRS任务支持的同步模式。DRS增量底层实现原理可参考产品架构和功能原理。 增量。 增量同步通过解析日志等技术,将源端产生的增量数据同步至目标端。 无需中断业务,实现同步过程中源业务和数据库继续对外提供访问。
IP地址的子网。为确保同步实例创建成功,仅显示已经开启DHCP的子网。 同步模式 DRS任务支持的同步模式。DRS增量底层实现原理可参考产品架构和功能原理。 增量。 增量同步通过解析日志等技术,将源端产生的增量数据同步至目标端。 无需中断业务,实现同步过程中源业务和数据库继续对外提供访问。
数据复制服务提供的JAVA版本SDK支持的开发环境为JDK1.6以上版本,推荐使用JDK1.8版本。 网络类型 目前仅支持VPC网络。 SDK运行原理 SDK的拉取和确认消息是两个异步的线程,拉取按照事务顺序拉取,两个线程分别独立并且遵循因果序。拉取到的消息会顺序的调用用户注册的noti
定、高效、用于数据库在线迁移和数据库实时同步的云服务。 产品介绍 什么是数据复制服务 图解数据复制服务 支持的数据库 产品优势 产品架构和原理 计费说明 更多 03 方案 DRS实时迁移、备份迁移、实时同步、实时灾备、录制回放支持的方案概览。 方案概览 实时迁移方案概览 备份迁移方案概览
影响DRS任务速度的因素有哪些以及如何进行耗时预估 影响因素 源库的读取吞吐能力 读取吞吐能力越高,迁移速度越快,耗时越少。影响吞吐的因素包括但不限于服务器规格、负载、磁盘IO性能、数据库限流等。 目标库的写入吞吐能力 写入吞吐能力越高,迁移速度越快,耗时越少。影响吞吐的因素包括
成功,仅显示已经开启DHCP的子网。 同步模式 DRS任务支持的同步模式,此处以“全量+增量”为示例。DRS全量、增量底层实现原理可参考产品架构和功能原理。 “全量+增量”: 该模式为数据持续性实时同步,通过全量过程完成目标端数据库的初始化后,增量同步阶段通过解析日志等技术,将源端和目标端数据保持数据持续一致。