数据湖 工厂服务(简称数据开发模块)是华为云 大数据 重要的平台产品,它可管理多种大数据服务,提供一站式的大数据开发环境、全托管的大数据调度能力,极大降低用户使用大数据的门槛,帮助用户快速构建大数据处理中心。
支持管理DWS、DLI、MRS Hive等多种 数据仓库 。
支持可视化和DDL方式管理 数据库 表。
数据集 成
与 云数据迁移 服务( CDM )无缝集成,依托CDM的强力支撑,支持20多种异构数据源之间可靠高效的数据传输,轻松实现多数据源集成到数据仓库。
脚本开发
提供在线脚本编辑器,支持多人协作进行SQL、Shell脚本在线代码开发和调测。
支持使用变量和函数。
作业开发
提供图形化设计器,支持拖拉拽方式快速构建数据处理工作流。
预设数据集成、SQL、MR、Spark、Shell、机器学习等多种任务类型,通过任务间依赖完成复杂数据分析处理。
支持导入和导出作业。
资源管理
支持统一管理在脚本开发和作业开发使用到的file、jar、archive类型的资源。
作业调度
支持单次调度、周期调度和事件驱动调度,周期调度支持分钟、小时、天、周、月多种调度周期。
运维监控
支持对作业进行运行、暂停、恢复、终止等多种操作。
支持查看作业和其内各任务节点的运行详情。
支持配置多种方式报警,作业和任务发生错误时可及时通知相关人,保证业务正常运行。