检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
tion)是企业级数据湖一站式构建服务。 在存算分离架构基础上提供数据湖元数据统一管理的可视化界面及API,兼容Hive元数据模型以及Ranger权限模型,支持对接多种计算引擎及大数据云服务 本文档提供LakeFormation服务应用开发流程、环境准备及程序编写介绍,供需要进行业务应用开发的开发人员使用。
更大程度释放业务数据价值。 本服务的优势 兼容Hive元数据模型:提供兼容Hive元数据模型的SDK客户端,使计算引擎对接LakeFormation更轻松和高效。 兼容Ranger权限模型:提供兼容Ranger权限模型的接口,具备良好的生态扩展性。 建议搭配服务 MapReduce服务(MRS)
tion)是企业级数据湖一站式构建服务。 在存算分离架构基础上提供数据湖元数据统一管理的可视化界面及API,兼容Hive元数据模型以及Ranger权限模型,支持对接MapReduce服务(MRS)、数据仓库服务 GaussDB(DWS)、数据湖探索(DLI)、AI开发平台ModelArts、数据治理中心
ation)是企业级数据湖一站式构建服务,在存算分离架构基础上提供数据湖元数据统一管理的可视化界面及API,兼容Hive元数据模型以及Ranger权限模型,支持对接MapReduce服务(MRS)、数据仓库服务 GaussDB(DWS)、数据湖探索(DLI)、AI开发平台ModelArts、数据治理中心
on权限,向各个主体(包括用户、用户组、角色等)授予对于元数据、OBS路径以及其中的数据的访问权限。 IAM权限模型由IAM策略组成。LakeFormation权限模型使用LakeFormation定义的权限主体、授权对象、权限组成,详细介绍请参考基本概念。 当用户请求访问元数据
特殊字符,且长度为1~767个字符。 uri 否 String URI columns 否 Array of strings 列名称列表。 model 否 String 模型名称。 dataset 否 String 数据集名称。 表6 Principal 参数 是否必选 参数类型 描述 principal_type
子数据库信息。 name 是 String catalog名。 models 否 Array of ModelInfo objects 子模型信息。 datasets 否 Array of DatasetInfo objects 子数据集信息。 表7 DatabaseInfo 参数
lakeformation:model:describe 查询LakeFormation元数据的模型的权限。 read - - lakeformation:model:create 授予权限以创建模型。 write lakeformation:<region>:<account-id>:
LakeFormation 湖仓构建 LakeFormation提供数据湖元数据统一管理的可视化界面及API,兼容Hive元数据模型以及Ranger权限模型,支持对接多种计算引擎及大数据云服务。 产品介绍 立即使用 成长地图 由浅入深,带您玩转LakeFormation 01 了解
建子项目,并在子项目中购买资源,然后以子项目为单位进行授权,使得用户仅能访问特定子项目中资源,使得资源的权限控制更加精确。 图1 项目隔离模型 同样在获取项目ID下,您可以查看项目ID。 企业项目 企业项目是项目的升级版,针对企业不同项目间资源的分组和管理,是逻辑隔离。企业项目中
objects 子数据库信息。 name String catalog名。 models Array of ModelInfo objects 子模型信息。 datasets Array of DatasetInfo objects 子数据集信息。 表9 DatabaseInfo 参数 参数类型
LakeFormation LakeFormation是企业级湖仓一站式构建服务,提供湖仓元数据统一管理的可视化界面及API,兼容Hive元数据模型以及Ranger权限模型,支持无缝对接多种计算引擎及大数据云服务,使客户便捷高效地构建湖仓和运营相关业务,加速释放业务数据价值。 LakeFormat
子数据库信息。 name 是 String catalog名。 models 否 Array of ModelInfo objects 子模型信息。 datasets 否 Array of DatasetInfo objects 子数据集信息。 表7 DatabaseInfo 参数
lakeformation:job:drop 删除任务。 lakeformation:job:exec 执行任务。 lakeformation:model:create 创建模型元数据。 lakeformation:metadata:restore 恢复元数据。 lakeformation:part:alter 修改分区。
E、DROP、ALTER、READ、WRITE、INDEX、NULL中。 500 00000109 Ranger授权主体转换为授权主体领域模型失败。 请检查输入。 500 00000110 没有定义Ranger资源类型的名称。 请定义Ranger资源类型对应的名称。 500 00000111
(%),取值范围为 0到100,100表示百分之百全量扫描,0表示每个文件夹下只扫描一个文件。 table_depth 否 Integer 表深度。假设有路径obs://a/b/c/d/e=1/f=99,用户设置了数据存储路径为obs://a/b,则分组层级2代表以d为分界,d为ta
STATS_GENERATED:记录本次更新的发起者。可填:TASK/USET。具体作用未明确。 table 是 UpdateTableInput object 表输入模型。 表4 UpdateTableInput 参数 是否必选 参数类型 描述 table_name 是 String 表名称。只能包含中文、
(%),取值范围为 0到100,100表示百分之百全量扫描,0表示每个文件夹下只扫描一个文件。 table_depth 否 Integer 表深度。假设有路径obs://a/b/c/d/e=1/f=99,用户设置了数据存储路径为obs://a/b,则分组层级2代表以d为分界,d为ta
lakeformation:job:drop 删除任务。 lakeformation:job:exec 执行任务。 lakeformation:model:create 创建模型元数据。 lakeformation:metadata:restore 恢复元数据。 lakeformation:part:alter 修改分区。
(%),取值范围为 0到100,100表示百分之百全量扫描,0表示每个文件夹下只扫描一个文件。 table_depth Integer 表深度。假设有路径obs://a/b/c/d/e=1/f=99,用户设置了数据存储路径为obs://a/b,则分组层级2代表以d为分界,d为ta