检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ql为例: 切换数据库(切换时需要指定catalog名称,database_name对应数据库需要在LakeFormation中存在): use spark_catalog_name.database_name; 查看表信息: show tables; 创建数据库(无法直接创建与
Formation,简称LakeFormation)是企业级数据湖一站式构建服务。 在存算分离架构基础上提供数据湖元数据统一管理的可视化界面及API,兼容Hive元数据模型以及Ranger权限模型,支持对接多种计算引擎及大数据云服务 本文档提供LakeFormation服务应用开发流
数,单位是次,前100万次调用免费,计费标准是5元每100万次,这里返回200万,元数据个数,单位是万个,前100万个免费,计费标准是5元每10万个,这里返回110。 free_usage_value Integer 免费使用额度,例如api调用次数,单位是次,前100万次调用免
共享型 元数据对象数量 按照元数据对象使用量收费,元数据对象数量为Catalog、数据库、表、分区、索引、函数数量之和。 前100万个不计费,后续按照万个/小时计费,不足万个按照万个计算。 API调用次数 按照元数据相关API的调用次数收费,每个月前100万次不收费,后续按每次计费。
查看历史任务 功能介绍 查看任务ID指定的历史任务。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v1/{project_id}/instances/{
列举全量分区值列表 功能介绍 遍历分区名称列表信息,返回全量的数据。 对于事务表,支持基于表的特定版本遍历分区名称列表。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI
escribe 查询认证信息。 lakeformation:database:describe 查询数据库元数据。 lakeformation:file:describe 查询文件。 lakeformation:function:describe 查询函数元数据。 lakefor
查询租户是否注册协议 功能介绍 查询租户当前协议 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v2/agreement 请求参数 表1 请求Header参数
Catalog下其他数据库(除default外)路径的父路径、子路径或相同路径。 创建数据库的存储位置必须在所属Catalog的存储位置之下。 用户自定义创建的Catalog对象及其子元数据对象,暂不支持授权和细粒度权限控制。 LakeFormation数据权限单次授权,授权主体
ame> * - lakeformation:database:describe 查询LakeFormation元数据的数据库的权限。 read - - lakeformation:database:create 授予权限以创建数据库。 write lakeformation:<
描述 limit 否 Integer 查询返回条数。默认值为1000。最小值为1,最大值为2000。 marker 否 String 查询的起始记录ID。最小长度为0,最大长度为256。 reverse_page 否 Boolean 是否倒序查询。 请求参数 表3 请求Header参数
MRS对接LakeFormation实例 MRS对接前准备 MRS对接LakeFormation实例前准备请参考准备工作章节创建委托、配置LakeFormation数据连接等操作。 MRS对接LakeFormation实例 当前仅MRS 3.3.0-LTS版本集群支持对接LakeFormation。
OBS管理 查询OBS桶列表 查询OBS桶对象列表 父主题: Console
查询配额 功能介绍 查询用户的配额信息。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v1/{project_id}/quotas 表1 路径参数 参数
String catalog名称。 catalog_id String catalogID。 database_name String 数据库名称。 database_id String 数据库ID。 function_name String 函数名称。只能包含字母、数字和下划线,且长度为1~256个字符。
y,则遵循Deny优先原则。 如果您给用户授予Admin的系统策略,但不希望用户拥有删除LakeFormation的Catalog、数据库、表的权限,您可以创建一条拒绝删除云服务的自定义策略,然后同时将Admin和拒绝策略授予用户,根据Deny优先原则,则用户可以对LakeFor
资产识别 资产信息:元数据信息、数据权限策略信息。 账号信息:不涉及,用户在LakeFormation不感知具体账号信息。 API映射表:请参见API参考。 LakeFormation云服务需要访问的租户资源包括:租户的用户组和用户信息的读取,对象存储文件目录的创建/删除等,对象存储标签权限接口的访问。
通过这些接口,您可以创建目录、删除目录等。 数据库管理 数据库管理接口,包括创建、删除数据库等接口。 通过这些接口,您可以创建数据库、删除数据库等。 数据表管理 数据表管理接口,包括创建、删除数据表等接口。 通过这些接口,您可以创建数据表、删除数据表等。 数据表统计 数据表统计接口,包括获取数据表的列统计信息、删除指定列统计信息等接口。
LakeFormation服务的元数据所映射的实际业务数据,存储在OBS并行文件系统的目录和文件。 MapReduce服务(MapReduce Service,MRS) LakeFormation与MRS集群中的Ranger、Hive、Spark对接,实现湖、仓元数据统一管理。 数据仓库服务 GaussDB(DWS)
委托查询 功能介绍 委托查询。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v1/{project_id}/agency 表1 路径参数 参数 是否必选