-
什么是LakeFormation - 湖仓构建 LakeFormation
Formation,简称LakeFormation)是企业级数据湖一站式构建服务,在存算分离架构基础上提供数据湖元数据统一管理的可视化界面及API,兼容Hive元数据模型以及Ranger权限模型,支持对接MapReduce服务(MRS)、数据仓库服务 GaussDB(DWS)、数据湖探索(DLI)、AI开发平台ModelArts、数据治理中心
-
什么是LakeFormation - 湖仓构建 LakeFormation
LakeFormation是企业级数据湖一站式构建服务,在存算分离架构基础上提供数据湖元数据统一管理的可视化界面及API,兼容Hive元数据模型以及Ranger权限模型,支持对接MapReduce服务(MRS)、数据仓库服务 GaussDB(DWS)、数据湖探索(DLI)、AI开发平台ModelArts、数据治理中心
-
与其他服务的关系 - 湖仓构建 LakeFormation
LakeFormation服务的元数据所映射的实际业务数据,存储在OBS并行文件系统的目录和文件。 MapReduce服务(MapReduce Service,MRS) LakeFormation与MRS集群中的Ranger、Hive、Spark对接,实现湖、仓元数据统一管理。 数据仓库服务 GaussDB(DWS)
-
多服务/多集群共享元数据 - 湖仓构建 LakeFormation
多服务/多集群共享元数据 场景描述 多服务/多集群均使用统一的元数据,最大化实现数据的共享,避免不必要的重复数据,更大程度释放业务数据价值。 本服务的优势 兼容Hive元数据模型:提供兼容Hive元数据模型的SDK客户端,使计算引擎对接LakeFormation更轻松和高效。 兼
-
数据湖建设和持续运营 - 湖仓构建 LakeFormation
力保障。 建议搭配服务 MapReduce服务(MRS) 数据仓库服务 GaussDB(DWS) 数据治理中心 DataArts Studio 数据湖探索(DLI) 支持情况请咨询对应服务。 父主题: 应用场景
-
湖仓构建 LakeFormation - 湖仓构建 LakeFormation
创建LakeFormation实例 删除LakeFormation实例 管理元数据 管理Catalog 管理数据库 管理数据表 管理函数 数据权限授权 数据权限授权简介 新增授权 取消授权 查询授权 角色授权 创建接入管理客户端 接入管理 管理数据迁移 元数据迁移 权限迁移 常见问题 了解更多常见问题、案例和解决方案
-
元数据发现 - 湖仓构建 LakeFormation
元数据发现 操作场景 当数据存储在OBS并行文件系统中,而在LakeFormation还未与对应的元数据关联时,可以通过元数据发现,来构造这些数据对应的元数据信息,从而支撑SQL引擎或者用户的应用程序的计算与分析。 当前元数据发现特性属于公测阶段,公测期产品完全免费,商业化后会根据元数据发现消耗资源收取资源费用。
-
创建函数 - 湖仓构建 LakeFormation
catalog名称。 catalog_id String catalogID。 database_name String 数据库名称。 database_id String 数据库ID。 function_name String 函数名称。只能包含字母、数字和下划线,且长度为1~256个字符。
-
LakeFormation使用流程简介 - 湖仓构建 LakeFormation
LakeFormation使用流程简介 该LakeFormation入门教程介绍了如何创建一个LakeFormation实例并与MRS集群对接,实现统一的数据湖元数据及权限管理。 使用流程简介 MRS与LakeFormation对接的使用流程如下图所示: 图1 LakeFormation使用流程 约束说明 MRS对接
-
角色授权 - 湖仓构建 LakeFormation
某个角色拥有资源(比如数据库)的某些权限,则拥有这个角色的用户或者用户组也拥有了对应的资源操作权限。 如果与LakeFormation实例对接的服务需要使用角色授权,则在创建对接LakeFormation权限的委托时必须包含角色的相关权限。 例如,LakeFormation与MRS集群对接
-
环境准备 - 湖仓构建 LakeFormation
master_dev 配置maven源,详细操作请参考获取SDK并配置maven。 获取以下jar包以及对应的pom文件,并将文件放入maven本地仓库。 例如本地仓库地址为“D:\maven\repository”,则放入“D:\maven\repository\com\huaweicloud\
-
环境准备 - 湖仓构建 LakeFormation
master_dev 配置maven源,详细操作请参考获取SDK并配置maven。 获取以下jar包及对应的pom文件,并将文件放入maven本地仓库。 例如本地仓库地址为“D:\maven\repository”,则放入“D:\maven\repository\com\huaweicloud\
-
安全 - 湖仓构建 LakeFormation
安全 资产识别与管理 身份认证与访问控制 数据保护技术 审计 更新管理
-
准备开发程序环境 - 湖仓构建 LakeFormation
支持7-Zip 16.04版本。 准备依赖信息 准备LakeFormation Java SDK依赖 参考Maven SDK地址,在Maven仓库中查看LakeFormation Java SDK最新版本Jar包,并获取文件内容,例如: <dependency>
-
约束与限制 - 湖仓构建 LakeFormation
约束与限制 IAM用户组被删除后,LakeFormation云服务数据权限中的相关权限策略,需要用户手动清理删除。 建库时路径不能为所在Catalog父路径或相同路径,不能为同一Catalog下其他数据库(除default外)路径的父路径、子路径或相同路径。 创建数据库的存储位置
-
资产识别与管理 - 湖仓构建 LakeFormation
资产识别与管理 资产识别 资产信息:元数据信息、数据权限策略信息。 账号信息:不涉及,用户在LakeFormation不感知具体账号信息。 API映射表:请参见API参考。 LakeFormation云服务需要访问的租户资源包括:租户的用户组和用户信息的读取,对象存储文件目录的创
-
共享型与独享型LakeFormation对比 - 湖仓构建 LakeFormation
LakeFormation提供数据湖元数据Catalog的创建、修改、删除、查看等功能。 √ √ 数据库管理 LakeFormation提供数据湖元数据数据库的创建、修改、删除、查看等功能。 √ √ 表管理 LakeFormation提供数据湖元数据数据表的创建、修改、删除、查看等功能。
-
基本概念 - 湖仓构建 LakeFormation
基本概念 元数据 数据权限 区域与可用区
-
管理数据表 - 湖仓构建 LakeFormation
管理数据表 用户在数据目录(Catalog)中可对元数据库和元数据表进行管理,按照业务规划创建对应数据表。 前提条件 已创建LakeFormation实例,且实例处于正常运行状态。 已创建待创建数据表的数据库及其所属Catalog。 已参考创建元数据存储路径提前创建了用于存储数据表的OBS并行文件系统。
-
数据权限概述 - 湖仓构建 LakeFormation
DESCRIBE 查看数据库的元数据信息或切换数据库。 LIST_TABLE 查看数据库下资源列表。 LIST_FUNC 查看某一数据库下的函数。 CREATE_TABLE 在数据库中创建表。 CREATE_FUNC 在数据库中创建函数。 表 ALL 表的所有操作权限。 ALTER 修改表。