应用场景
场景描述
数据湖建设和持续运营,是指数据湖的初始化建设及后续日常的海量元数据及权限管理,因此客户需要便捷高效的建设和管理方式。
传统方式的弊端
· 仅支持通过计算引擎(Hive、Spark等)执行SQL实现元数据的定义、修改、查询,对客户有一定的技能要求,缺少提升易用性的可视化界面。
· 一个完整的授权活动,需要针对计算引擎、对象存储执行两次授权操作,对客户操作带来不便,易用性差。
服务优势
· 一站式可视化数据湖构建:提供数据湖元数据统一定义和授权的可视化界面,支持客户便捷操作,快速构建。
· 联动授权:支持在元数据授权的同时,自动化完成元数据所映射的文件目录的授权,使客户授权操作更便捷和高效。
· 细粒度访问控制:实现针对数据湖的库、表、列级元数据的细粒度访问控制,为业务数据的安全性提供有力保障。
场景描述
多计算引擎共享元数据,是客户的多种计算引擎(Hive、Spark等)均使用统一的元数据,最大化实现数据的共享,避免不必要的数据拷贝,更大程度释放业务数据价值。
本服务的优势
· 兼容Hive元数据模型:提供兼容Hive元数据模型的SDK客户端,使计算引擎对接LakeFormation更轻松和高效。
· 兼容Ranger权限模型:提供兼容Ranger权限模型的接口,具备良好的生态扩展性。
产品优势
生态开放
- 遵循开源事实标准,支撑存量业务平滑演进
— 提供兼容Hive/Spark/Flink/Trino社区的元数据接口,支持计算引擎平滑对接。
— 提供兼容Ranger的权限接口,一次授权,统一生效。
— 提供迁移工具,支持存量集群相关元数据的平滑迁移。
数智融合
- 打通大数据的数据壁垒,实现真正数智融合
—支持数据库、表、UDF模型、非结构化数据集等统一管理。
— 实现统一的细粒度数据权限管理,支持跨服务/跨集群的数据共享。
大规格高可靠
- 支撑超大规模大数据业务的高可靠
— 超大规模元数据管理能力。
— 统一权限管理能力,支持海量细粒度权限管理。
—支持多AZ的容灾能力。
简单易用
- 提供基于元数据的增值管理能力
—Serverless架构,开箱即用 。
—提供数据湖管理、元数据统计等管理能力。
功能描述
-
LakeFormation提供了共享、独享实例类别,满足不同场景下客户对性能和成本的不同诉求。共享型侧重性价比要求较高的场景。
LakeFormation提供了共享、独享实例类别,满足不同场景下客户对性能和成本的不同诉求。
具体介绍请参考:5.1 共享型(推荐)、5.2 独享型。
-
LakeFormation提供实例的创建、总览、删除等基本功能,帮助您便捷的进行实例管理,加速实现数据湖承载的业务的规划和部署。
LakeFormation提供实例的创建、总览、删除等基本功能,帮助您便捷的进行实例管理,加速实现数据湖承载的业务的规划和部署。
-
LakeFormation提供数据湖元数据Catalog、Database、Table的创建、修改、删除、查看等生命周期管理的功能。帮助您便捷的进行数据湖初始化构建以及持续运营,集中式的统一管理LakeFormation实例下所有的元数据,加速实现数据湖承载的业务的规划和部署。
LakeFormation提供数据湖元数据Catalog、Database、Table的创建、修改、删除、查看等生命周期管理的功能。帮助您便捷的进行数据湖初始化构建以及持续运营,集中式的统一管理LakeFormation实例下所有的元数据,加速实现数据湖承载的业务的规划和部署。
-
LakeFormation提供针对Catalog、Database、Table等数据资源的授权、取消、查看等功能。帮助您对数据湖实现便捷的统一的数据权限管理。
LakeFormation提供针对Catalog、Database、Table等数据资源的授权、取消、查看等功能。帮助您对数据湖实现便捷的统一的数据权限管理。