华为云计算 云知识 V3数据比对系统-

V3数据比对系统-

某股份制银行数据库读写分离场景应用
背景:XX银行业务部门在推出新的信用卡套餐后,往往需要针对该套餐带来的业务增长情况做审计工作。但内部的审计往往会导致信用卡 数据库 巨大压力,为此需要将用户的操作和银行内部的审计分开,故XX行决定对信用卡数据库采用读写分离方案。 方案: 该读写分离方案中,将真实用户的操作放到写数据库,而业务审计用的查询类操作全部放到读数据库;利用复制工具将写库 数据复制 到读库,并同时使用V3校验软件对写库和读库进行数据一致性校验。
某行数据库升级过程数据最终一致性保障方案
在数据库发展过程中,基本保持每半年对外发行一个正式的Release版本。并且每个新版本相对老版本而言,性能方面都有很大的提高,而且加入很多新的功能,希望能够提高数据库开发的易用性。 客户要求在决定将数据库升级使用的同时,也必须要求数据库提供7*24对的外服务,即满足数据库服务不停机的技术要求。需求:如何保证不停机更新过程中数据库一致性? 解决方案 : 1.低版本生产库采用rman备份恢复到高版本备用库,期间使用V3来进行比对校验 2.通过V3比对确认无误后,再使用rman将高版本备用库备份恢复到升级后的待投产高版本数据库 3.再通过V3比对校验,确认无误后,升级后的高版本可投产上线,应用即可切换到待投产高版本数据库
某股份制银行AS400 DB2迁移到分布式MYSQL数据库的全量数据比对
背景:某行需将原DB2数据库超18T的数据,在48小时之内,100%正确率要求下全量移植到新核心 分布式数据库 。并在 数据迁移 的过程中完成全量 迁移 数据的字段级比对校验。 客户痛点: 1)如何做到全库全表、全数据、全面覆盖的快速比对 2)表结构复杂:大对象字段固定结构(含中文、P类型、S类型等)和可变结构(按交易码选择结构类型) 3)如何避免对生产环境造成影响 4)如何做到全字段级的数据比对 5)如何对比对失败的记录进行数据补录 解决方案: 采用V3全量比对,高速的将两套异构数据库进行全量的比对,覆盖全库全表全字段,涉及两百亿行记录数据。 方案优势: 1)迁移护航:通过对迁移数据正确性的校验,可以快速的排查迁移隐患 2)无侵入:只对备库进行操作,对生产环境无影响,极大的保证了生产环境的安全 3)数据迁移与比对同时进行,最大程度上节约时间,大大降低降低迁移风险 4)水平扩展:根据比对需求可将比对应用进行水平扩展,多机部署,并发比对,提高效率 5)高性能可视化分析:程序内置的高性能数据引擎可以快速对数据进行比对、分析,并将比对和分析的结果保存在引擎库中,方便相关人员使用 6)支持 自动化 编排:可以自定义需要比对的数据表及数据,可以对特定的表、字段及数据进行过滤
某股份制银行AS400 DB2迁移到分布式MYSQL数据库的增量数据比对
某行需将原生产核心系统超4T,积压3-6天内的DB2/400数据库日志,在48小时之内,100%正确率要求下同步到新核心分布式MYSQL数据库,同步过程中,需要校验增量同步的数据正确性,保障数据移植的最终一致性,完整性。 解决方案: 在系统切换之前,AS/400核心系统与X86分布式数据库持续同步数据,通过V3不停机滚动比较,验证数据同步的一致性,降低系统切换期间的全量数据检核压力,减少切换时间窗口。 方案优势: 1)保驾护航:解决下移方案可行性、可靠性、安全性、正确性问题及可靠的技术保证,为切换保驾护航 2)风险降低:大大降低切换风险,达成一次性平滑切换投产的目标 3)窗口缩短:缩短了预期停业切换窗口,降低业务影响 4)用技术方案、技术实现、技术运营方式降本增效 5)降低迁移门槛:对运维人员屏蔽了分布式 数据库迁移 细节,实现数据“零错误、零丢失” 6)自愈能力 :整个异常切换恢复过程无需人工干预,全流程自愈,自动化完成,降低运维难度与管理成本 7)水平扩容:通过用户界面可实现比对应用的扩容。
查看详情

云商店免费试用中心

立即体验
人脸识别 免费体验