华为云计算 云知识 数据湖工厂服务的功能
数据湖工厂服务的功能

数据湖 工厂服务(简称数据开发模块)是华为云 大数据 重要的平台产品,它可管理多种大数据服务,提供一站式的大数据开发环境、全托管的大数据调度能力,极大降低用户使用大数据的门槛,帮助用户快速构建大数据处理中心。

数据管理

支持管理DWS、DLI、MRS Hive等多种 数据仓库

支持可视化和DDL方式管理 数据库 表。

数据集

云数据迁移 服务( CDM )无缝集成,依托CDM的强力支撑,支持20多种异构数据源之间可靠高效的数据传输,轻松实现多数据源集成到数据仓库。

脚本开发

提供在线脚本编辑器,支持多人协作进行SQL、Shell脚本在线代码开发和调测。

支持使用变量和函数。

作业开发

提供图形化设计器,支持拖拉拽方式快速构建数据处理工作流。

预设数据集成、SQL、MR、Spark、Shell、机器学习等多种任务类型,通过任务间依赖完成复杂数据分析处理。

支持导入和导出作业。

资源管理

支持统一管理在脚本开发和作业开发使用到的file、jar、archive类型的资源。

作业调度

支持单次调度、周期调度和事件驱动调度,周期调度支持分钟、小时、天、周、月多种调度周期。

运维监控

支持对作业进行运行、暂停、恢复、终止等多种操作。

支持查看作业和其内各任务节点的运行详情。

支持配置多种方式报警,作业和任务发生错误时可及时通知相关人,保证业务正常运行。

上一篇:修改函数的metadata信息UpdateFunctionConfig 下一篇:IAM是否要收费