检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
分片集群MongoDB迁移前清除孤儿文档 什么是孤儿文档 MongoDB负载均衡器(Balancer)会根据集合的分片键(Shard key)均衡数据。Balancer的工作原理是:需要Balancer的数据块(Chunk)先复制到目标Shard,成功后再删除原Shard上的Ch
数据对比(对比迁移项) 对比迁移项可以清晰反馈出源数据库和目标数据库的数据是否存在差异。为了尽可能减少业务的影响和业务中断时间,数据库实时迁移场景提供了完整的迁移对比流程,帮助您确定合适的业务割接时机。 图1 迁移对比流程 对比使用场景 迁移对比功能支持以下几种对比方式: 对象级
支持设置主DC,可填写数据中心名称,该配置影响源端读取的负载均衡策略和一致性级别。可通过以下命令查询获取数据中心名称: select data_center from system.local; 或 select data_center from system.peers; 默认的读取负载均衡策略为RoundRob
源数据库的SSL状态检查。 描述 检查源数据库的SSL是否开启。 不通过提示及处理建议 不通过原因:源数据库的SSL连接关闭了。 处理建议:建议打开源数据库的SSL连接,指定配置文件中受信任的根证书地址ssl_ca_file,修改postgresql.conf中的ssl参数为on,重启数据库生效。
如下状态下的任务可以结束: 创建中 配置 等待启动 全量同步 全量同步失败 增量同步 增量同步失败 已暂停 故障恢复 建议您先结束任务,再做断开源库与同步实例的网络等其他操作,避免产生无法连接源库的告警。 对于“配置”状态的任务,配置失败的任务无法结束。 对于“故障恢复”状态的任务,正在进行故障恢复的任务无法结束。
如下状态下的任务可以结束迁移: 创建中 配置 等待启动 全量迁移 全量迁移失败 增量迁移 增量迁移失败 已暂停 故障恢复 建议您先结束任务,再做断开源库与迁移实例的网络等其他操作,避免产生无法连接源库的告警。 对于“配置”状态的任务,配置失败的任务无法结束。 对于“故障恢复”状态的任务,正在进行故障恢复的任务无法结束。
DRS实时同步支持使用Online DDL工具吗 使用场景 MySQL为源的迁移或同步任务,在增量阶段使用第三方拷表方式实现的Online DDL工具(如PT-OSC、GH-OST)在源库执行DDL,会先创建临时表,通过临时表做DDL,针对这个情况,使用DRS进行迁移或同步时,可分为以下三种场景:
GaussDB(for MySQL)产品优势 性能强悍:采用计算与存储分离,日志即数据架构,RDMA网络。对于某些业务负载,吞吐量最高可提升至开源MySQL7倍。 弹性扩展:1写15只读节点,分钟级添加只读实例,规格升降级。 高可靠性:跨AZ部署,数据三副本,共享分布式存储,RPO为0,秒级故障倒换。
将MySQL分库分表迁移到DDM 本地自建官方开源单机或主备Redis数据库 ECS自建官方开源单机或主备Redis数据库 GeminiDB Redis 全量数据迁移 全量+增量数据迁移 将Redis迁移到GeminiDB Redis 本地自建官方Redis开源集群 ECS自建官方Redis开源集群 GeminiDB
GeminiDB Redis 自建开源Codis 3.0及以上版本 自建开源Redis单机 2.8.x、3.0.x、3.2.x、4.0.x、5.0.x版本 自建开源Redis主备 4.0.x、5.0.x版本 全量+增量数据迁移 GeminiDB Redis 自建开源Redis集群 4.0及以上版本
触发器或事件未迁移。 待确认提示及处理建议 待确认原因:源数据库存在触发器或事件。 处理建议:此警告仅为迁移操作提示,请您先结束任务后再断开源端网络,则可确保迁移完整性。 父主题: 数据库对象检查
DRS同步阶段2:增量同步 选择DRS同步阶段1:全量同步的DRS任务,单击“续传”。 任务进入增量阶段。当任务界面“时延”指标在30s以内时,说明数据即将追平;断开源端Oracle的业务系统连接,确保不再有数据写入源端Oracle,断开后等待约1min。 进行数据对比。单击任务名称,选择“同步对比”页面。
目标库使用gsloader等工具创建相关系统表(如 public.pgxc_copy_error_log,public.gs_copy_summary)时,DRS访问相关系统表需要有系统表的all privilege权限,详细信息可参考《GaussDB工具参考》。 建议创建单独用于
MySQL数据同步对源数据库和目标数据库有什么影响 以下数据以MySQL2MySQL大规格实时同步任务为例,不同规格对数据库的连接数存在差异,仅供参考。 DRS对源数据库的压力及影响 全量(初始化)阶段,DRS需要从源库将所有存量数据查询一次。DRS查询使用简单SQL语句,对源库
ine ddl,默认不同步。 是,表示表级同步支持同步online ddl,可勾选PT-OCS,GH-OST,DMS三种onlineDDL工具,其中PT-OSC和GH-OST支持配置影子表和无用表的正则表达式(已提供默认值,无特殊场景不建议修改正则表达式)。 图9 Online DDL
本地MySQL迁移到RDS for MySQL 数据复制服务(Data Replication Service,简称DRS)支持将本地MySQL数据库的数据迁移至云数据库 RDS for MySQL实例。通过DRS提供的实时迁移任务,实现在数据库迁移过程中业务和数据库不停机,业务中断时间最小化。
nt为binary,可能导致乱码。 表级同步时,增量同步过程支持使用Online DDL,可参考DRS实时同步支持使用Online DDL工具吗。 支持任务再编辑追加同步对象。 支持断点续传功能,在主机系统崩溃的情况下,对于非事务性的无主键的表可能会出现重复插入数据的情况。 支持部分DDL语句。
支持的源和目标数据库 表1 支持的数据库 源数据库 目标数据库 GeminiDB Redis ECS自建Redis集群(开源Redis 4.0版本以上) 本地自建Redis集群(开源Redis 4.0版本以上) 支持的迁移对象范围 在使用DRS进行迁移时,不同类型的迁移任务,支持的迁移对象范
将Redis集群迁移到GeminiDB Redis 支持的源和目标数据库 表1 支持的数据库 源数据库 目标数据库 本地自建官方Redis开源集群(3.0.x、4.0.x、5.0.x版本) ECS自建官方Redis开源集群(3.0.x、4.0.x、5.0.x版本) GeminiDB Redis 说明: 仅支持目标库版本等于或高于源库版本。
出云同步的目标数据库如果是集群,则建议填写多个mongos信息,以防单个mongos节点故障影响同步任务,并且多个mongos信息还可以实现负载均衡。如果填写多个mongos信息,注意所有所填的信息必须属于同一个集群实例。 同步过程中,不允许修改、删除连接源和目标数据库的用户的用户名