煤矿数据集成设计服务-HCS版-产品介绍
版本: V1.0 | 交付方式: 人工服务 |
适用于: 其他 | 上架日期: 2023-04-04 07:12:07.0 |
数据湖 集成方案设计:
包括数据调研、数据湖功能架构设计、用户权限适配、集成方案设计、集成实施指南编制、集成方案汇报、服务验收等工作。
根据调研得到结果,包括组织、流程和人员现状以及数据接入数据资源、接入协议(文件、 数据库 、消息队列、数据服务接口)、接入方式(全量、增量、变更更新等等)、接入时效(实时、批处理、流式)等情况,一方面明确、细化相关部门的业务需求以及建设目标,确定 数据治理 的业务目标和需求范围。另一方面细化数据分层设计、数据存储设计。即涵盖了从源业务库到湖、仓的各个层级系统全面的细化设计,以及数据库表命名规范、增量按天建表、增量汇总按月建表等设计方案等。
数据治理方案设计:
包括数据指标设计,数据模型设计,数据服务设计等。
数据治理实现数据从源到目标的过程,包括数据清洗和标准化、数据整合加工的环节,按照业务目标实现数据准备到数据生成。数据清洗和标准化是按照数据架构、数据治理规范对数据进行业务字典转换处理、业务数据标准化处理等。标准化处理类型包括:表名标准化、字段名称类型、长度标准化、字典标准化、重复、无效数据过滤、冗余关键数据、数据拆分、数据合并、数据转换等。数据整合加工是按照逻辑模型和业务应用需求进行物理化建模,对数据按照一定规则和方法对源和目标进行映射和加工,产生符合业务目标需求的数据。数据处理涉及到处理流程设计,即根据数据架构分层和数据存储模式,对数据按照业务目标进行处理流程总体和分层设计,体现数据流向和数据处理过程。