智能数据专业服务包(HCS版)-
某证券登记结算-数据仓库迁移
客户背景
客户原 数据仓库 平台为TERADATA平台,现有存储空间已达70TB,随着业务发展和数据量的增长,现有平台以无法从时效性上保障批处理顺利按时完成,同时考虑后期扩容成本高,客户以无力承担高额的扩容成本,想通过性价比更高的DWS平台替换现有数据平台。
业务挑战
存量数据量大,高达70TB
异构数据平台存在技术对接难题
缺乏完善的 迁移 解决方案
迁移时间紧迫,客户要求6个月内完成全部搬迁工作
解决方案
充分分析客户需求,结合我方多年实施经验,结合实际情况快速完善定制解决方案,定制迁移工具帮助客户在规定时间内完成迁移: 通过高斯数据表建表转换工具转换约98%的建表语句为整体迁移赢得时间; 通过封装 数据库 内部批量接口开发 自动化 数据迁移程序高效准确的实现历史数据海量数据;迁移。将TD 数据迁移 (包含建表,数据文件校验,GBK转码UTF8)至高斯数据库中,保障了迁移进度,缩短了迁移周期为整个迁移工作按时完成提供了巨大帮助; TD宏通过手动对照关系迁移为高斯函数。
取得成果
顺利将TD数据库中贴源层、基础层历史数据全部迁移到高斯数据库中;
两库之间每日批量自动化增量数据同步,保障了客户数据核对难题;
如期(6个月)完成客户整个迁移工作,收到客户一致好评;
上线后系统平稳运行,对于数据不一致问题能够及时阻断并预警,避免后续作业返工,解决了客户因数据不一致带来的困扰。