主要负责将中国电信重庆分公司各数据源系统及平台的源数据,通过数据汇聚流程,加载到
大数据 中心的不同的目标库中。
数据汇聚的方式分为离线与实时两种,数据汇聚流程涉及的环节主要包括:数据抽取、数据采集、数据转换、数据加载、数据稽核。不同的源数据,会根据实际情况选用合适的汇聚方式,构建适合的汇聚流程进行数据汇聚。本平台将数据汇聚流程的各环节均抽象为任务,每个数据汇聚(接口)单元通过数据汇聚管理,进行任务内环节信息的配置与任务间依赖关系的配置,以完成各自汇聚流程的构建,平台根据汇聚流程的配置信息对涉及的所有任务进行统一调度与监控。