六个月！光大银行数仓平台全量迁移至华为云GaussDB(DWS)
业务挑战
-
数据分散在多个业务系统
多厂商多平台导致数据仓库体系复杂，数据分析技术准入门槛高
多厂商多平台导致数据仓库体系复杂，数据分析技术准入门槛高
-
数据加工链路长
数据处理复杂度高，监管报送时效性无法得到保障
数据处理复杂度高，监管报送时效性无法得到保障
-
原平台扩展性不足
原平台无法满足业务数据快速膨胀，应用快速发展的诉求
原平台数据处理复杂度高，批量作业时效性无法得到保障
解决方案
光大银行数据仓库平台采用集中化建设模式，降低系统管理成本、技术复杂度，提升资源配置效率、数据一致性，承载30000多个数据模型，每日运行30000多个代码脚本，数百万行代码，数据规模2.3PB。
为了确保业务数据100%准确，提升迁移效率，采用代码转换工具、代码扫描工具、数据比对工具、ETL工具等自动化工具箱，覆盖数据量检查、结果比对、自适应调度、批量自愈等场景，迁移效率提升3倍，6个月完成全量数据迁移。
