检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
LakeFormation提供数据湖中函数的元数据创建、修改、删除、查看等功能。 √ √ 元数据生命周期管理 LakeFormation支持配置数据的删除策略,节省空间及成本,提升系统的灵活性。 √ √ 元数据权限管理 提供针对元数据的授权、取消、查看等功能。 √ √ 元数据迁移管理 支持将外部服务的元数据全量
待迁移的权限策略文件在OBS并行文件系统中的存储位置。 权限策略文件名 待迁移权限策略的文件名称。 Catalog ID 填写权限来源的Catalog名称。 “权限策略类型”选择“DLF”时配置该参数。 授权主体转换关系 手动指定对应的权限策略的授权主体的转换关系,前、后缀值会为最终授权主体名称添加对应的前缀、后缀。
行创建。 必须与所属的Catalog存储路径(即创建Catalog时配置的“选择位置”参数)不同。 如果所属Catalog配置了“数据库存储位置”参数,则此处该参数必须选择为所属Catalog“选择位置”的子路径、或“数据库存储位置”的子路径。 描述 所创建数据库的描述信息。 长
MRS对接LakeFormation仅支持对接LakeFormation实例的数据目录名称为“hive”的Catalog,名称为“default”的数据库。 LakeFormation实例创建成功后,用户可按照业务规划创建相关Catalog及内部的数据库、表等元数据。 例如参考以下步骤,创建Catal
以通过控制台、API实现对数据湖的元数据进行统一的生命周期管理,无需再通过大数据集群的SQL引擎来管理。 您可以使用本文档提供API对LakeFormation进行相关操作,如创建删除LakeFormation实例、元数据库、元数据表等。 支持的主要操作请参见API概览。 父主题:
加元数据的分区键,单击“确定”。支持添加多条。 分区键:分区键是一个或多个表列的有序集合。表分区键列中的值用来确定每个表行所属的数据分区。 (可选)单击“表属性”区域中的“添加表属性”。按照需求添加元数据的表属性,单击“确定”。支持添加多条。 表属性:使您能够使用自己的元数据键/值对来标记表定义。
DELETE 删除表的数据。 列 SELECT 查询表内的列数据。 函数 ALL 函数的所有操作权限。 ALTER 修改函数。 DROP 删除函数。 DESCRIBE 查看函数的元数据信息。 EXEC 执行函数。 路径 READ 路径下文件的读权限。 WRITE 路径下文件的写权限。 权
传输加密(HTTPS) 为保证数据传输的安全性,LakeFormation的API接口为HTTPS协议。 Console或其他云服务需要采用HTTPS协议访问LakeFormation。 数据备份 LakeFormation支持基于其数据备份能力实现LakeFormation实例的数据备份。 父主题:
number_of_buckets Integer 分桶的桶数量。默认值为0。 bucket_columns Array of strings 分桶字段。 sort_columns Array of Order objects 指定表中的每个存储桶的排序顺序的列表。 serde_info SerDeInfo
og下的数据库位置必须选择为该Catalog“数据库存储位置”的子路径、或该Catalog“选择位置”的子路径。 单击“提交”。 创建完成后,即可在“Catalog”页面查看Catalog相关信息。 单击“操作”列的“编辑”可以修改Catalog配置信息。 单击“操作”列的“数据
任务授权 操作场景 LakeFormation支持将外部服务的元数据及其权限全量或增量迁移至当前LakeFormation实例中,对元数据及权限进行统一管理。 进行任务管理操作前,需要为当前用户委托访问LakeFormation的相关权限,用于元数据、权限迁移时写入相关数据。 前提条件
函数(FUNC):LakeFormation管理的函数。 权限 使用户具备针对某数据资源的具体访问/操作权限,如“ALTER”、“DROP”、“ALL”等。每种资源允许被授予的权限请参考表1。 授权权限 在用户已具备针对某数据资源的某些访问/操作权限的前提下,“授权权限”使该用户能够将已具备权限再次授予给其他用户。
创建元数据存储路径 LakeFormation元数据映射的数据文件和目录存储在OBS并行文件系统中。在创建LakeFormation元数据之前,需要提前创建数据存储使用的OBS并行文件系统。 如果已存在可用的OBS并行文件系统,可跳过该章节操作。 操作步骤 登录管理控制台。 在页面左上角单击,选择“存储
mation控制台。 在左侧下拉框中选择待操作的LakeFormation实例,选择“元数据 > 函数”。在右上角“Catalog”和“数据库”后的下拉框中分别选择待创建函数的Catalog、数据库的名称。可以查看当前数据库中包含的函数。 单击“创建函数”,配置相关参数。 在“基本信息”区域配置以下信息。
在存算分离架构基础上提供数据湖元数据统一管理的可视化界面及API,兼容Hive元数据模型以及Ranger权限模型,支持对接多种计算引擎及大数据云服务 本文档提供LakeFormation服务应用开发流程、环境准备及程序编写介绍,供需要进行业务应用开发的开发人员使用。 父主题: 服务介绍
可以向任何用户、用户组、角色授予或撤销任何元数据的访问权限。 数据库创建者:拥有其创建的数据库的所有数据库权限,拥有其在数据库中创建表的权限,并且可以向同一IAM账号中的其他用户授予在数据库中创建表的权限。数据库创建者对其他人在数据库中创建的表不具有隐式权限。 表创建者: 具有其创建的表的所有权限。 可以向同
LakeFormation对于元数据权限和数据权限的管理,使用“粗粒度”的Identity and Access Management(简称IAM)权限和“细粒度”的LakeFormation权限的组合,实现精细访问控制。 “粗粒度”的IAM权限:对于各项操作有更广泛的权限。例如,推荐用户使用“la
委托查询 功能介绍 委托查询,查询委托是否创建及委托中的action与配置的是否完全一致。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v2/agency
数据目录(Catalog) LakeFormation实例的元数据资源中的最顶层资源,即在一个LakeFormation实例下可以创建多个Catalog,包含名称、描述、位置等信息,支持创建、修改、删除等操作。 其中位置是Catalog所映射的OBS并行文件系统的文件目录。 数据库(Database)
本文介绍了LakeFormation服务提供的SDK语言版本,列举了最新版本SDK的获取地址。 在线生成SDK代码 API Explorer能根据需要动态生成SDK代码功能,降低您使用SDK的难度,推荐使用。 您可以在API Explorer中具体API页面的“代码示例”页签查看对应编程语言类型的SDK代码,如图1所示。