检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
功能总览 功能总览 全部 LakeFormation 实例管理 元数据管理 数据权限授权 数据迁移 接入客户端管理 LakeFormation LakeFormation是企业级湖仓一站式构建服务,提供湖仓元数据统一管理的可视化界面及API,兼容Hive元数据模型以及Ranger
可以在客户端详情中获取接入IP等信息,用于多种服务接入LakeFormation实例。 操作步骤 登录管理控制台。 在左上角单击“”,选择“大数据 > 湖仓构建 LakeFormation”进入LakeFormation控制台。 在左侧下拉框中选择待操作的LakeFormation实例,在左侧导航栏选择“接入管理”。
按需收费:按照LakeFormation实例实际使用时长计费。 按需收费 项目 选择实例所属的项目。 xxx 名称 自定义LakeFormation实例名称。 lakeformation-test QPS 每秒最大请求数。如果“实例类型”为“共享型”,则无需配置该参数。 LakeForm
对接LakeFormation实例时,没有指定具体的实例ID,该操作将会修改服务对接的实例。 变更实例规格 登录管理控制台。 在左上角单击“”,选择“大数据 > 湖仓构建 LakeFormation”进入LakeFormation控制台。 在左侧下拉框中选择待操作的LakeFormation实例。
删除LakeFormation实例 登录管理控制台。 在左上角单击“”,选择“大数据 > 湖仓构建 LakeFormation”进入LakeFormation控制台。 在左侧下拉框中选择待操作的LakeFormation实例。 单击页面右上角“删除当前实例”。 在弹出的确认窗口中
全管控要求。多数细粒度策略以API接口为粒度进行权限拆分,LakeFormation的自定义IAM策略操作可参考创建LakeFormation自定义IAM策略。 表1 LakeFormation系统策略 系统角色/策略名称 描述 类别 依赖关系 LakeFormation FullAccess
下参数: Access Key:联系DLF服务运维人员获取AK信息。 Secret Key:联系DLF服务运维人员获取SK信息。 源Catalog 待迁移元数据所属Catalog名称。 迁移至Catalog 元数据迁移至LakeFormation中Catalog的名称。 冲突解决策略
CommonOperations LakeFormation ReadOnlyAccess 查询LakeFormation实例 √ √ √ 创建LakeFormation实例 √ x x 变更LakeFormation实例 √ √ x 删除LakeFormation实例 √ x x 恢复LakeFormation实例
使用“lakeformation:*:create”(即LakeFormation所有元数据的创建权限),而不是使用“lakeformation:table:create”(即LakeFormation数据表的创建权限)来控制用户对于表的创建权限,同时使用“细粒度”LakeFor
MRS对接LakeFormation实例 MRS对接前准备 MRS对接LakeFormation实例前准备请参考准备工作章节创建委托、配置LakeFormation数据连接等操作。 MRS对接LakeFormation实例 当前仅MRS 3.3.0-LTS版本集群支持对接LakeFormation。
LakeFormation适用哪些场景 LakeFormation适用于以下场景: 数据湖建设和持续运营:数据湖建设和持续运营,是指数据湖的初始化建设及后续日常的海量元数据及权限管理,因此客户需要便捷高效的建设和管理方式。 多计算引擎共享元数据:多计算引擎共享元数据,是指客户的多
路径下文件的写权限。 隐式LakeFormation权限 尽管没有在LakeFormation中进行显式的授权,但是LakeFormation管理员、数据库创建者、表创建者拥有隐式LakeFormation权限。 LakeFormation管理员: LakeFormation管理员指的是拥有LakeFormation
LakeFormation使用流程简介 该LakeFormation入门教程介绍了如何创建一个LakeFormation实例并与MRS集群对接,实现统一的数据湖元数据及权限管理。 使用流程简介 MRS与LakeFormation对接的使用流程如下图所示: 图1 LakeFormation使用流程
独享型实例 Catalog管理 LakeFormation提供数据湖中Catalog的元数据创建、修改、删除、查看等功能。 √ √ 数据库管理 LakeFormation提供数据湖中数据库的元数据创建、修改、删除、查看等功能。 √ √ 表管理 LakeFormation提供数据湖中
删除LakeFormation实例时报错实例不可删除 问: 在LakeFormation管理控制台删除实例,报错“实例不可删除。请先删除该xx实例下的所有客户端后重试。”该如何处理? 答: 当前实例包含客户端时,将无法进行删除。请先删除所有接入管理客户端后再执行删除实例操作。详细操作如下:
在“服务列表”中,选择“网络 > 云解析服务DNS”进入云解析控制台。 在左侧选择“内网域名”,进入内网域名界面。 在搜索框中搜索“lakeformation.lakecat.com”,查找“已关联的VPC”列为创建的客户端对应的虚拟私有云的域名所在的行,单击对应“操作”列的“管理解析”。
创建LakeFormation实例及客户端连接 准备用户 如果您是第一次使用LakeFormation,请参考LakeFormation准备工作章节,完成用户创建并授权使用LakeFormation等准备工作。 本入门示例,是为了演示使用LakeFormation的全流程,用户还需提前完成以下准备工作:
jar包上传到接入LakeFormation客户端所在节点。 java -cp lakeformation-lakecat-opensource-1.0.0-jar-with-dependencies.jar com.huawei.cloud.dalf.lakecat.examples
JSON格式的策略内容。 具体创建步骤请参见:创建自定义策略。 本章为您介绍常用的LakeFormation自定义策略样例。 LakeFormation自定义策略样例 示例1:授权用户批量LakeFormation只读权限 { "Version": "1.1", "Statement":
None 操作指导 湖仓构建 LakeFormation 创建LakeFormation实例 02:31 创建LakeFormation实例 湖仓构建 LakeFormation 创建LakeFormation元数据并授权 06:36 创建LakeFormation元数据并授权