检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
xxx 描述 当前实例的描述信息。 - 标签 在标签键/值输入框输入内容后单击“添加”,即可添加标签。 - 单击“立即购买”,确认配置的相关信息并支付。 单击“返回控制台”,在控制台即可查看新创建的LakeFormation实例信息。 创建实例时需要注意配额提醒。
数据目录(CATALOG):LakeFormation管理的数据目录,可以包含多个数据库。 数据库(DATABASE):LakeFormation管理的数据库,可以包含多个数据表或函数。 数据表(TABLE):LakeFormation管理的数据表,可以包含多个列。
databases_count Long 数据库数量。 tables_count Long 表数量。 partitions_count Long 分区数量。 indexes_count Long 索引数量。
您可以使用本文档提供API对LakeFormation进行相关操作,如创建删除LakeFormation实例、元数据库、元数据表等。 支持的主要操作请参见API概览。 父主题: 使用前必读
列举库下所有表名 功能介绍 查询数据库下的所有表名称列表。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。
管理角色 某个角色拥有资源(比如数据库)的某些权限,则拥有这个角色的用户或者用户组也拥有了对应的资源操作权限。 如果与LakeFormation实例对接的服务需要使用角色授权,则在创建对接LakeFormation权限的委托时必须包含角色的相关权限。
函数:在左侧导航栏选择“元数据 > 函数”,在右上角“Catalog”和“数据库”后的下拉框中分别选择待授权函数所属的Catalog、数据库的名称,单击待操作函数“操作”列的“授权”。 参考表1配置相关信息后,单击“确定”。
database_name 是 String 数据库名称。只能包含中文、字母、数字、下划线、中划线,且长度为1~128个字符。 table_name 是 String 表名称。只能包含中文、字母、数字、下划线、中划线,且长度为1~256个字符。
LakeCat 函数管理 目录管理 数据库管理 数据表管理 数据表统计 分区管理 分区统计信息 授权管理 用户组管理 元数据统计 角色管理 凭证管理 配置管理 User 元数据事件管理 父主题: API
数据表(Table) LakeFormation实例的数据库(Database)的下级资源,即在一个Database下可以创建多个Table,包含基本信息、格式与序列化信息、字段信息、属性信息,支持创建、修改、删除以及授权和查看权限等操作。
数据表管理 分页获取表的描述信息 根据表名列举表信息 根据条件分页列举表信息 创建表 获取表信息 修改表信息 删除表 列举库下所有表名 父主题: LakeCat
管理元数据 创建元数据存储路径 管理Catalog 管理数据库 管理数据表 管理函数
数据表统计 获取表的列统计信息 更新表的列统计信息 删除表的指定列统计信息 父主题: LakeCat
接入管理 LakeFormation提供统一的接入管理能力,用户可以通过创建接入客户端的方式为指定的客户端环境建立网络连接通道,同时可以在客户端详情中查看接入IP、接入域名等信息,用于其他云服务接入LakeFormation实例。
表1 计费项信息 实例规格 计费项 计费说明 独享型 元数据对象数量 按照元数据对象使用量收费,元数据对象数量为Catalog、数据库、表、分区、索引、函数数量之和。 按照万个/小时计费,不足万个按照万个计算。 每秒查询率(QPS) 按照用户购买时选择的QPS上限进行计费。
--访问lakeformation IAM认证AK信息,可选参数,如果为自定义认证信息获取类可忽略--> <property> <name>lakeformation.authentication.access.key</name> <value>AK信息</value> </property
环境准备 在配置开源Spark组件对接LakeFormation前,需要提前准备以下信息: 准备可用的开源Spark环境、开源Hive环境。并安装Git环境。 目前仅支持对接Spark 3.1.1以及Spark 3.3.1两个版本。对应使用Hive内核版本为2.3。
操作步骤 登录管理控制台。 在页面左上角单击,选择“存储 > 对象存储服务”,进入对象存储服务页面。 选择“并行文件系统 > 创建并行文件系统”,进入创建页面,配置相关参数后单击“立即创建”。
database_name String 数据库名称。 database_id String 数据库ID。 function_name String 函数名称。只能包含字母、数字和下划线,且长度为1~256个字符。
lakeformation:credential:describe 查询认证信息。 lakeformation:database:describe 查询数据库元数据。 lakeformation:file:describe 查询文件。