检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
分片集群MongoDB迁移前清除孤儿文档 什么是孤儿文档 MongoDB负载均衡器(Balancer)会根据集合的分片键(Shard key)均衡数据。Balancer的工作原理是:需要Balancer的数据块(Chunk)先复制到目标Shard,成功后再删除原Shard上的Ch
如何关闭集合均衡器Balancer 使用DRS服务进行MongoDB数据库分片集群到分片集群的迁移,必须关闭要迁移集合的均衡器Balancer。 DDS集群关闭集合均衡器Balancer需调用API接口,参考设置集群均衡开关,具体方法可咨询DDS技术支持。自建MongoDB设置可参考如下步骤。
源数据库的均衡器状态检查 MongoDB迁移场景 表1 源数据库的均衡器状态检查 预检查项 源数据库的均衡器状态检查。 描述 源数据库若存在均衡器打开的集合,则会导致迁移失败。 待确认提示及处理建议 不通过原因:源数据库存在均衡器打开的集合。 处理建议:请关闭集合均衡器。 父主题:
读取吞吐能力越高,迁移速度越快,耗时越少。影响吞吐的因素包括但不限于服务器规格、负载、磁盘IO性能、数据库限流等。 目标库的写入吞吐能力 写入吞吐能力越高,迁移速度越快,耗时越少。影响吞吐的因素包括但不限于服务器规格、负载、磁盘IO性能、数据库限流等。 可用的网络吞吐量 可用的网络吞吐越高,
由于一对多场景需要多个DRS任务来配合完成,所以会对源库产生的压力也是成倍的增加,所以为避免多个DRS对同一个源库造成的压力影响到源库业务,需要客户提前对源库的负载情况进行分析。如果源库负载已经很沉重,建议减少同步任务。 建议该场景一个一个任务逐步创建。 实例级一对多实时同步 用户需要用户创建多个同步任务来实现一对
源库Oracle为RAC集群时,建议使用SCAN IP+ SERVICE_NAMES方式创建任务,因为SCAN IP具有更强的容错性,更好的负载能力,更快的同步体验。 如果需要使用SCAN IP,需要保证SCAN IP与源库的所有VIP互通,否则无法通过测试连接检查。 若不使用SCAN
您可参考以下方法,确认任务是否可以结束。结束之前您需要确认完成以下几点: 请您确认至少在业务低峰期有过一次完整的数据对比。 完成业务割接。 先中断业务(如果业务负载非常轻,也可以尝试不中断业务)。 在源数据库端执行如下语句(此处以MySQL为例),并观察在1-5分钟内若无任何新会话执行SQL ,则可认为业务已经完全停止。
ALWAYS AS (price - price * discount) STORED ); - - 多表归一场景注意事项 DRS支持多表对一的数据聚合场景,最佳实践是推荐只选择同步加列DDL,其他大部分DDL同步都可能会因目标表修改而导致其他任务失败或数据不一致的情况发生,常见情况有:同
支持设置主DC,可填写数据中心名称,该配置影响源端读取的负载均衡策略和一致性级别。可通过以下命令查询获取数据中心名称: select data_center from system.local; 或 select data_center from system.peers; 默认的读取负载均衡策略为RoundRob
unexpectedly lost. 可能原因 DRS迁移实例和源数据库之间的网络带宽太小或不稳定。 源数据库负载太高。 解决方案 请联系源数据库运维人员检查源数据库负载,同时检查源数据库和迁移实例的网络是否有丢包。 父主题: MySQL->MySQL实时迁移和同步
restarting transaction。 可能原因 目标库有客户业务连接长时间持有锁。 目标库性能不足或负载较大执行较慢。 解决方案 联系客户运维人员检查目标库锁占用情况、慢SQL或负载状况。 目标库恢复正常后,在任务列表中,单击任务对应操作列的“续传”,重新提交任务。 父主题: MySQL->MySQL实时迁移和同步
选中表在目标库是否已存在、是否已有数据等。 DRS任务规格过低,受物理资源限制也可能出现预检查超时的情况。 处理建议 排查源及目标库负载情况,若负载较高,建议在业务低峰时段再进行DRS任务预检查操作。 重试预检查,如果检查结果仍然显示超时,可在管理控制台右上角,选择“工单 > 新
对集合进行分片时,您需要选择一个片键 , 片键是每条记录都必须包含的,且建立了索引的单个字段或复合字段,MongoDB数据库按照片键将数据划分到不同的数据块中,并将数据块均衡地分布到所有分片中。为了按照片键划分数据块,MongoDB数据库使用基于范围的分片方式或者基于哈希的分片方式。 表1 分片键分类 分片键类型
restarting transaction 可能原因 访问目标库存在锁等待超时。 解决方案 请联系目标库运维工程师检查目标库状态和目标库运行负载。 完成后在任务列表中,单击任务对应操作列的“续传”,重新提交任务。 父主题: MySQL->MySQL实时迁移和同步
lock; try restarting transaction 可能原因 目标库发生死锁。 解决方案 请联系目标库运维工程师检查目标库状态和负载情况。 检查完成后,在任务列表中,单击任务对应操作列的“续传”,重新提交任务。 父主题: MySQL->MySQL实时迁移和同步
源数据库信息检查 检查分片节点是否和mongos节点属于同一个集群 源数据库的均衡器状态检查 源库的实例类型检查 父主题: 预检查不通过项修复方法
低版本迁移至MySQL 8.0,应该注意哪些问题 MongoDB数据库迁移过程中,源数据库出现内存溢出(OOM)是什么原因 如何关闭集合均衡器Balancer 如何批量导出、导入事件(event)和触发器(trigger) 源库参数lower_case_table_names=
不同VPC场景的部署架构 GaussDB(for MySQL)产品优势 性能强悍:采用计算与存储分离,日志即数据架构,RDMA网络。对于某些业务负载,吞吐量最高可提升至开源MySQL7倍。 弹性扩展:1写15只读节点,分钟级添加只读实例,规格升降级。 高可靠性:跨AZ部署,数据三副本,
出云同步的目标数据库如果是集群,则建议填写多个mongos信息,以防单个mongos节点故障影响同步任务,并且多个mongos信息还可以实现负载均衡。如果填写多个mongos信息,注意所有所填的信息必须属于同一个集群实例。 同步过程中,不允许修改、删除连接源和目标数据库的用户的用户名
oplog:支持MongoDB 3.2及以上版本,DRS直接连接源数据库实例的每一个Shard进行数据抽取。选择此方式时,必须关闭源库实例集合均衡器Balancer,测试连接时需要填写源数据库每一个Shard的连接信息。 changeStream:支持MongoDB 4.0及以上版本