检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
LakeFormation适用于以下场景: 数据湖建设和持续运营:数据湖建设和持续运营,是指数据湖的初始化建设及后续日常的海量元数据及权限管理,因此客户需要便捷高效的建设和管理方式。 多计算引擎共享元数据:多计算引擎共享元数据,是指客户的多种计算引擎(Hive、Spark等)均使用统一的元数据,最大化实现数据的共享,
推荐的安全配置 不涉及。 基础设施安全性 LakeFormation实例运行在跨AZ部署集群,单AZ故障不影响LakeFormation实例的运行。 LakeFormation实例使用跨AZ高可靠的存储介质来持久化数据,单AZ故障不造成LakeFormation实例的数据丢失。 父主题:
objects 表元数据列表。 page_info PagedInfo object 分页返回信息。 表5 TableMeta 参数 参数类型 描述 catalog_name String catalog名称。 database_name String 数据库名称。 table_name
答: LakeFormation不会自动创建OBS桶。 LakeFormation元数据映射的数据文件和目录存储在OBS并行文件系统中。在创建LakeFormation元数据之前,需要提前创建数据存储使用的OBS并行文件系统。
批量删除分区信息 功能介绍 非事务表:如果设置删除数据,立刻删除分区数据路径下的数据。 事务表:如果设置删除数据,保留数据在原路径下但对外不可见,待数据超期后统一删除。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SD
创建LakeFormation实例 在使用LakeFormation时,您首先需要创建一个实例,后续的操作,如管理元数据、设置元数据权限等,都是基于您创建的实例进行的。 操作步骤 登录管理控制台。 在左上角单击“”,选择“大数据 > 湖仓构建 LakeFormation”进入LakeFormation控制台。
符。 表2 Query参数 参数 是否必选 参数类型 描述 delete_data 否 Boolean 是否删除表中的数据,该参数只针对内表生效,外表不会删除数据。默认为false。 请求参数 表3 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是
data_statistic_enable 否 Boolean 数据概况统计开关。默认状态为开,修改table开关状态后,还需检查所属database的开关状态。例如:table与所属database开关同时打开,则数据概况统计开启。否则关闭 表4 StorageDescriptor
catalog名称。 catalog_id String catalogID。 database_name String 数据库名称。 database_id String 数据库ID。 table_name String 表名称。 table_id String 表ID。 table_status
data_statistic_enable 否 Boolean 数据概况统计开关。默认状态为开,修改table开关状态后,还需检查所属database的开关状态。例如:table与所属database开关同时打开,则数据概况统计开启。否则关闭 version_id 否 String
实例,您可以通过控制台、API实现对数据湖的元数据进行统一的生命周期管理,无需再通过大数据集群的SQL引擎来管理。 您可以使用本文档提供API对LakeFormation进行相关操作,如创建删除LakeFormation实例、元数据库、元数据表等。 支持的主要操作请参见API概览。
列举库下所有表名 功能介绍 查询数据库下的所有表名称列表。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v1/{project_id}/instance
根据条件分页列举表信息 功能介绍 返回数据库下符合查询条件的表的元数据信息,不支持事务操作。 当表名通配符或表类型不为空时,优先根据表名和类型筛选过滤。 当表名通配符或表类型为空时,再根据属性筛选过滤。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API
MRS集群仅支持对接LakeFormation实例中名称为hive的Catalog。 MRS存量集群需要先完成元数据库和权限策略向LakeFormation实例上迁移,再配置对接。 如果需要迁移多个MRS集群中的元数据到同一个LakeFormation实例,MRS集群之间的Database名称不能重复。
catalog名称。 catalog_id String catalogID。 database_name String 数据库名称。 database_id String 数据库ID。 table_name String 表名称。 table_id String 表ID。 table_status
是 String catalog名称。只能包含字母、数字和下划线,且长度为1~256个字符。 database_name 是 String 数据库名称。只能包含中文、字母、数字、下划线、中划线,且长度为1~128个字符。 table_name 是 String 表名称。只能包含中文
是 String catalog名称。只能包含字母、数字和下划线,且长度为1~256个字符。 database_name 是 String 数据库名称。只能包含中文、字母、数字、下划线、中划线,且长度为1~128个字符。 table_name 是 String 表名称。只能包含中文
00000136 元数据未被删除,无法恢复。 请检查输入的元数据信息。 403 00000137 当前实例不支持元数据恢复。 请尝试其他实例。 400 00000138 存在同名元数据。 请清理同名元数据后重试。 400 00000139 元数据删除中,无法恢复。 请等待元数据删除完成后重试。
创建Catalog 功能介绍 创建Catalog,会在Catalog下创建默认数据库,默认数据库名称为:default。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI
对于其账号下的所有元数据具有读写权限。 可以向任何用户、用户组、角色授予或撤销任何元数据的访问权限。 数据库创建者:拥有其创建的数据库的所有数据库权限,拥有其在数据库中创建表的权限,并且可以向同一IAM账号中的其他用户授予在数据库中创建表的权限。数据库创建者对其他人在数据库中创建的表不具有隐式权限。