V3数据比对系统-
某股份制银行数据库读写分离场景应用
某行数据库升级过程数据最终一致性保障方案
在数据库发展过程中,基本保持每半年对外发行一个正式的Release版本。并且每个新版本相对老版本而言,性能方面都有很大的提高,而且加入很多新的功能,希望能够提高数据库开发的易用性。
客户要求在决定将数据库升级使用的同时,也必须要求数据库提供7*24对的外服务,即满足数据库服务不停机的技术要求。需求:如何保证不停机更新过程中数据库一致性?
解决方案 :
1.低版本生产库采用rman备份恢复到高版本备用库,期间使用V3来进行比对校验
2.通过V3比对确认无误后,再使用rman将高版本备用库备份恢复到升级后的待投产高版本数据库
3.再通过V3比对校验,确认无误后,升级后的高版本可投产上线,应用即可切换到待投产高版本数据库
某股份制银行AS400 DB2迁移到分布式MYSQL数据库的全量数据比对
背景:某行需将原DB2数据库超18T的数据,在48小时之内,100%正确率要求下全量移植到新核心 分布式数据库 。并在 数据迁移 的过程中完成全量 迁移 数据的字段级比对校验。
客户痛点:
1)如何做到全库全表、全数据、全面覆盖的快速比对
2)表结构复杂:大对象字段固定结构(含中文、P类型、S类型等)和可变结构(按交易码选择结构类型)
3)如何避免对生产环境造成影响
4)如何做到全字段级的数据比对
5)如何对比对失败的记录进行数据补录
解决方案:
采用V3全量比对,高速的将两套异构数据库进行全量的比对,覆盖全库全表全字段,涉及两百亿行记录数据。
方案优势:
1)迁移护航:通过对迁移数据正确性的校验,可以快速的排查迁移隐患
2)无侵入:只对备库进行操作,对生产环境无影响,极大的保证了生产环境的安全
3)数据迁移与比对同时进行,最大程度上节约时间,大大降低降低迁移风险
4)水平扩展:根据比对需求可将比对应用进行水平扩展,多机部署,并发比对,提高效率
5)高性能可视化分析:程序内置的高性能数据引擎可以快速对数据进行比对、分析,并将比对和分析的结果保存在引擎库中,方便相关人员使用
6)支持 自动化 编排:可以自定义需要比对的数据表及数据,可以对特定的表、字段及数据进行过滤
某股份制银行AS400 DB2迁移到分布式MYSQL数据库的增量数据比对
某行需将原生产核心系统超4T,积压3-6天内的DB2/400数据库日志,在48小时之内,100%正确率要求下同步到新核心分布式MYSQL数据库,同步过程中,需要校验增量同步的数据正确性,保障数据移植的最终一致性,完整性。
解决方案:
在系统切换之前,AS/400核心系统与X86分布式数据库持续同步数据,通过V3不停机滚动比较,验证数据同步的一致性,降低系统切换期间的全量数据检核压力,减少切换时间窗口。
方案优势:
1)保驾护航:解决下移方案可行性、可靠性、安全性、正确性问题及可靠的技术保证,为切换保驾护航
2)风险降低:大大降低切换风险,达成一次性平滑切换投产的目标
3)窗口缩短:缩短了预期停业切换窗口,降低业务影响
4)用技术方案、技术实现、技术运营方式降本增效
5)降低迁移门槛:对运维人员屏蔽了分布式 数据库迁移 细节,实现数据“零错误、零丢失”
6)自愈能力 :整个异常切换恢复过程无需人工干预,全流程自愈,自动化完成,降低运维难度与管理成本
7)水平扩容:通过用户界面可实现比对应用的扩容。