检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
欢迎使用LakeFormation。使用LakeFormation实例,您可以通过控制台、API实现对数据湖的元数据进行统一的生命周期管理,无需再通过大数据集群的SQL引擎来管理。 您可以使用本文档提供API对LakeFormation进行相关操作,如创建删除LakeFormation实例、元数据库、元数据表等。
Name,总长度不能超过1000字符。 元数据的参数描述中,1个中文字符对应3个字节。 LakeFormation依赖OBS服务的并行文件系统,OBS需要基于大数据存算分离场景进行分离部署;LakeFormation元数据的存储位置对应OBS路径,与存算分离架构的MRS等大数据集群对接。OBS并行文件系统需要支持AccessLabel特性。
datasets 否 Array of DatasetInfo objects 子数据集信息。 表7 DatabaseInfo 参数 是否必选 参数类型 描述 name 是 String 数据库名称。只能包含中文、字母、数字、下划线、中划线,且长度为1~128个字符。 tables 否 Array
String 数据库名称。只能包含中文、字母、数字、下划线、中划线,且长度为1到128个字符。 function 否 String 函数名称。只能包含字母、数字和下划线,且长度为1~256个字符。 table 否 String 表名称。只能包含中文、字母、数字、下划线、中划线,且长度为1~256个字符。
datasets 否 Array of DatasetInfo objects 子数据集信息。 表7 DatabaseInfo 参数 是否必选 参数类型 描述 name 是 String 数据库名称。只能包含中文、字母、数字、下划线、中划线,且长度为1~128个字符。 tables 否 Array
lakeformation:dataset:describe 查询LakeFormation元数据的数据集的权限。 read - - lakeformation:dataset:create 授予权限以创建数据集。 write lakeformation:<region>:<account-id
子模型信息。 datasets Array of DatasetInfo objects 子数据集信息。 表9 DatabaseInfo 参数 参数类型 描述 name String 数据库名称。只能包含中文、字母、数字、下划线、中划线,且长度为1~128个字符。 tables Array
单击“创建数据库”,配置相关参数。 在“基本信息”区域配置以下信息。 表1 创建数据库 参数 参数说明 库名称 填写待创建数据库名称。 只能包含中文、字母、数字、下划线,长度为1~128个字符。 所属Catalog 待创建数据库所属Catalog。 选择位置 数据库信息存储在OBS并行文件系统中的位置。
单击“创建表”,配置相关参数。 在“基本信息”区域配置以下信息。 表1 基本信息配置参数 参数 参数说明 表名称 填写待创建的元数据表名称。 只能包含中文、字母、数字、下划线,长度为1~256个字符。 所属Catalog 待创建表所属的Catalog。 所属数据库 待创建表所属的数据库。 表类型
提供迁移工具,支持存量MRS集群相关元数据的平滑迁移。 数智融合 打通大数据的数据壁垒,实现真正数智融合。 支持数据库、表、函数、模型、非结构化数据集等统一管理。 实现统一的细粒度数据权限管理,支持跨服务/跨集群的数据共享。 大规格高可靠 支撑超大规模大数据业务的高可靠。 超大规模元数据管理能力。
catalog名称。只能包含字母、数字和下划线,且长度为1~256个字符。 database_name 是 String 数据库名称。只能包含中文、字母、数字、下划线、中划线,且长度为1~128个字符。 表2 Query参数 参数 是否必选 参数类型 描述 version_id 否 String
catalog名称。只能包含字母、数字和下划线,且长度为1~256个字符。 database_name 是 String 数据库名称。只能包含中文、字母、数字、下划线、中划线,且长度为1~128个字符。 表2 Query参数 参数 是否必选 参数类型 描述 delete_data 否
catalog名称。只能包含字母、数字和下划线,且长度为1~256个字符。 database_name 是 String 数据库名称。只能包含中文、字母、数字、下划线、中划线,且长度为1~128个字符。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token
catalog名称。只能包含字母、数字和下划线,且长度为1~256个字符。 database_name 是 String 数据库名称。只能包含中文、字母、数字、下划线、中划线,且长度为1~128个字符。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token
租户token。 表3 请求Body参数 参数 是否必选 参数类型 描述 database_name 是 String 数据库名称。只能包含中文、字母、数字、下划线、中划线,且长度为1~128个字符。 external_database_id 否 String 用户端数据库id,创建时指定,不可修改。
符。 表2 Query参数 参数 是否必选 参数类型 描述 database_pattern 否 String 数据库名称通配符。只能包含中文、字母、数字和_-|*.特殊字符,且长度为1~128个字符。 请求参数 表3 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token
6个字符。 database_name 是 String 数据库名称。只能包含中文、字母、数字、下划线、中划线,且长度为1~128个字符。 table_name 是 String 表名称。只能包含中文、字母、数字、下划线、中划线,且长度为1~256个字符。 表2 Query参数 参数
lakeformation:database:drop 删除数据库元数据。 lakeformation:dataset:create 创建数据集元数据。 lakeformation:file:create 创建文件。 lakeformation:file:drop 删除文件。 la
表2 Query参数 参数 是否必选 参数类型 描述 database_name_pattern 否 String 数据库名称通配符。只能包含中文、字母、数字和_|*.-特殊字符,且长度为1~128个字符。 limit 否 Integer 查询返回条数。默认值为1000。最小值为0,最大值为1000。
元数据 数据目录(Catalog) LakeFormation实例的元数据资源中的最顶层资源,即在一个LakeFormation实例下可以创建多个Catalog,包含名称、描述、位置等信息,支持创建、修改、删除等操作。 其中位置是Catalog所映射的OBS并行文件系统的文件目录。