检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
分片集群MongoDB迁移前清除孤儿文档 什么是孤儿文档 MongoDB负载均衡器(Balancer)会根据集合的分片键(Shard key)均衡数据。Balancer的工作原理是:需要Balancer的数据块(Chunk)先复制到目标Shard,成功后再删除原Shard上的Ch
DRS数据对比 父主题: 图解数据复制服务
内容对比不支持哪些数据类型 DRS提供的数据比对功能可以清晰反馈出源数据库和目标数据库的数据是否存在差异。 目前对于以下数据类型,DRS不支持内容对比,进行内容对比时会自动跳过。 表1 不支持内容对比的数据类型 源数据库类型 数据类型 MySQL TINYBLOB、BLOB、ME
进行对比,相较于行对比,内容对比较慢。 抽样对比:当数据量过大时,行数对比和内容对比需要较长时间,推荐使用抽样对比,设置适当的抽样比例可以在较短时间内获取到对比结果。 用户对比:对源库和目标库的账号名称、权限进行对比。 周期性对比:定时对源数据库与目标数据库表的行数或对象进行对比
数据对比 内容对比不支持哪些数据类型 DRS对比任务对数据库有什么影响 DRS对比任务耗时预估 DRS对比任务取消后,数据库有对比任务的查询进程未结束
多对一的场景约束及操作建议 因业务需要,不同实例、不同表的数据需要进行合并时,数据复制服务提供的数据迁移和实时同步均支持多对一的场景。 多对一场景分为实例级多对一和库表级多对一。其中实例级多对一可创建多个同步任务实现;库表级多对一仅实时同步支持,通过实时同步的对象名映射功能,实现库级或者表级数据多对一同步。
接数,正常的select count语句基本不会对数据库产生影响。但是如果表数据量巨大(亿级)会对数据库产生一定的查询压力,返回查询结果会比较慢。 内容对比:会查询源库及目标库的全部数据,涉及每个字段都会对比,所以会对数据库产生一定的查询压力,主要体现在IO上,查询速度受限于源库
比对hash:采用源端和目标端的内置函数获取LOB数据哈希值进行数据比对,Oracle使用DBMS_CRYPTO包中的HASH函数来获取LOB哈希值,使用DBMS_CRYPTO包需要SYSDBA对用户赋权,赋权语句参考: GRANT EXECUTE ON DBMS_CRYPTO TO USER; 比对内容:源端采用流
ka。 前提条件 拥有华为云实名认证账号。 账户余额大于等于0元。 已登录数据复制服务控制台。 服务列表 虚拟私有云 VPC 云数据库GaussDB集中式版 分布式消息服务Kafka 数据复制服务 DRS GaussDB主备数据库架构说明 图1 GaussDB主备逻辑架构图 Ga
ka。 前提条件 拥有华为云实名认证账号。 账户余额大于等于0元。 已登录数据复制服务控制台。 服务列表 虚拟私有云 VPC 云数据库GaussDB分布式版 分布式消息服务Kafka 数据复制服务 DRS GaussDB分布式数据库架构说明 图1 GaussDB分布式逻辑架构图
内容对比:在数据库没有压力并且网络正常的情况下,对比速度大概是5M/s。 用户对比:与对象对比同时返回结果,如果对象不多的情况下,基本会在几分钟就会返回结果。 前提条件 已登录数据复制服务控制台。 已启动灾备任务。 操作步骤 在“实时灾备管理”界面,选中指定灾备任务,单击任务名称,进入“基本信息”页签。
target database, exceeds the max size 200000”。 图1 对比失败 问题分析 由于对比的表数据模型比较特殊,对比任务无法自动分片对比,导致任务失败。 解决方案 重新创建内容对比任务,对比对象不勾选报错的表。 单击任务名称,进入基本信息页面。
成之后数据的一致性。 由于目标库不支持压缩参数的设置,DRS不迁移压缩参数,迁移任务不报错。 如果源数据库的MongoDB服务不是单独部署的,而是和其他的服务部署在同一台机器,则必须要给源数据库的wiredTiger引擎加上cacheSizeGB的参数配置,建议值设为最小空闲内存的一半。
指定类型为application/json。 缺省值:application/json X-Auth-Token 是 String 从IAM服务获取的用户Token。 X-Language 否 String 请求语言类型。 缺省值:en-us 取值: en-us zh-cn 表3 请求Body参数
支持设置主DC,可填写数据中心名称,该配置影响源端读取的负载均衡策略和一致性级别。可通过以下命令查询获取数据中心名称: select data_center from system.local; 或 select data_center from system.peers; 默认的读取负载均衡策略为RoundRob
行数对比:使用select count方式,查询速度跟数据库性能相关。 内容对比:在数据库没有压力并且网络正常的情况下,对比速度大概是5M/s。 用户对比:与对象对比同时返回结果,如果对象不多的情况下,基本会在几分钟就会返回结果。 父主题: 数据对比
的技术背景,步骤复杂,技术门槛比较高。 周期短 仅需分钟级就能搭建完成迁移任务,让整个环境搭建“高效快速”。传统场景下需要人工部署,短则几天,长则上周或上月。 低成本 通过服务化迁移,免去了传统的DBA人力成本和硬件成本,并允许按需购买,实现了服务“人人都能用上”。 低风险 通过
DRS任务启动和全量数据同步阶段,请不要在源数据库执行DDL操作,否则可能导致任务异常。 为保证同步前后数据一致性,确保同步期间目标数据库无业务写入。 数据库同步与环境多样性和人为操作均有密切关系,为了确保同步的平顺,建议您在进行正式的数据库同步之前进行一次演练,可以帮助您提前发现问题并解决问题。 建议
测试连接”,分别测试并确定与源库和目标库连通后,勾选协议,单击“下一步”。 入云和出云场景中源库和目标库需要填选的信息不同,具体以界面为准。 自建DNS服务配置(选填) 图6 自建DNS服务器 表10 自建DNS信息 参数 描述 是否配置自建DNS服务器 当用户需要填写自建的内网
在任务未结束前,不能修改源库和目标库的所有用户、密码和用户权限等。 全量、增量完成不代表任务结束,如果存在触发器和事件将会进行迁移。 前提条件 已登录数据复制服务控制台。 已启动迁移任务。 操作步骤 在“实时迁移管理”界面,选中指定迁移任务,单击任务名称,进入“基本信息”页面。 单击“迁移进度”页签,查看迁移进度。