智能数据湖运营平台(DAYU)是为了应对上述挑战、针对企业 数字化 运营诉求提供的数据全生命周期管理、具有智能 数据管理 能力的一站式治理运营平台,包含 数据集 成、规范设计、数据开发、数据质量监控、数据资产管理、数据服务等功能,支持行业知识库智能化建设,支持 大数据 存储、大数据计算分析引擎等数据底座,帮助企业快速构建从数据接入到数据分析的端到端智能数据系统,消除数据孤岛,统一数据标准,加快数据变现,实现数字化转型。
产品架构如图1所示。
图1产品架构
数据集成
支持批量 数据迁移 、实时数据集成和 数据库 实时同步,支持20+异构数据源,全向导式配置和管理,支持单表、整库、增量、周期性数据集成。
规范设计
作为 数据治理 的一个核心模块,承担数据治理过程中的数据加工并业务化的功能,提供智能数据规划、自定义主题数据模型、统一数据标准、可视化数据建模、标注数据标签等功能,有利于改善数据质量,有效支撑经营决策。
数据开发
大数据开发环境,降低用户使用大数据的门槛,帮助用户快速构建大数据处理中心。支持数据建模、数据集成、脚本开发、工作流编排等操作,轻松完成整个数据的处理分析流程。
数据质量
数据全生命周期管控,数据处理全流程质量监控,异常事件实时通知。
数据资产
提供企业级的元数据管理,厘清信息资产。通过 数据地图 ,实现数据资产的数据血缘和数据全景可视,提供数据智能搜索和运营监控。
数据服务
标准化的数据服务平台,提供一站式数据服务开发、测试部署能力,实现数据服务敏捷响应,降低数据获取难度,提升数据消费体验和效率,最终实现数据资产的变现。
智能数据湖
DAYU集成了丰富的数据引擎,支持对接所有华为云的数据湖与数据库 云服务 ,例如DLI、DWS等,也支持对接企业传统 数据仓库 ,例如Oracle、Greenplum等。