检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
元数据统计 元数据数量统计 父主题: LakeCat
配置开源Spark组件对接LakeFormation 环境准备 配置Spark对接LakeFormation 对接后二次开发
权限管理 创建用户并授权使用LakeFormation 创建LakeFormation自定义IAM策略 父主题: 准备工作
管理元数据 创建元数据存储路径 管理Catalog 管理数据库 管理数据表 管理函数
管理数据迁移 任务授权 元数据迁移 权限迁移 元数据发现
权。API的调用方法请参见如何调用API。 前提条件 已获取以下信息: endpoint:通过地区和终端节点查询服务的终端节点获取。 project_id:参考获取项目ID获取。 操作步骤 调用创建实例接口,创建LakeFormation实例,同时记录接口返回的实例Id。 请求示例:
待接入服务所在的虚拟私有云。 所属子网 待接入服务所在的子网。 单击“操作”列“查看详情”,打开详细信息页面。 “基本信息”区域可以查看ID、客户端名称、状态、接入模式、虚拟私有云、所属子网等信息。 “接入连接列表”区域可以查看终端节点ID、接入IP等信息。 根据获取的接入IP等信息,完成其他
Service,CTS) 云审计服务记录LakeFormation服务相关的操作事件,方便用户日后的查询、审计和回溯。 对象存储服务(Object Storage Service,OBS) LakeFormation服务的元数据所映射的实际业务数据,存储在OBS并行文件系统的目录和文件。
表所映射的OBS并行文件系统的文件目录。 单击“”,选择表存储在OBS并行文件系统中的位置,单击“确定”。 可选参数,如果不配置,则数据表存储路径为“上层数据库存储路径/表名” 如果配置该参数,则所选位置只能以“obs://”开头,且必须包含一个存储对象,例如选择“obs://la
<name>fs.obs.impl</name> <value>org.apache.hadoop.fs.obs.OBSFileSystem</value> </property> <property> <name>fs.AbstractFileSystem.obs.impl</name>
用户组(GROUP):华为云IAM用户组 角色(ROLE):LakeFormation角色 授权对象 LakeFormation中管理的元数据对象,包含Catalog、Database、Table等数据资源,如某一数据库、某些数据表的列等。允许授权的资源类型包括“CATALOG”、“DA
参数类型 描述 filter 否 String 权限策略过滤表达式,暂不支持。 obs_authorized_location 否 String obs路径权限策略作为查询条件, 查询所有包含该obs路径的元数据权限。 resource_name 否 String 元数据资源全名。长度为1~1000个字符。
-特殊字符,且长度为1~255个字符。 limit 否 Integer 查询返回条数。默认值为100。最小值为1,最大值为1000。 marker 否 String 查询的起始记录ID。最小长度为0,最大长度为1024。 reverse_page 否 Boolean 是否倒序查询。 user_source 否 String
-特殊字符,且长度为1~49个字符。 limit 否 Integer 查询返回条数。默认值为100。最小值为1,最大值为1000。 marker 否 String 查询的起始记录ID。最小长度为0,最大长度为1024。 reverse_page 否 Boolean 是否倒序查询。 请求参数 表3 请求Header参数
如果当前资源配额限制无法满足使用需要,您可以申请扩大配额。 怎样查看我的配额? 登录管理控制台。 单击管理控制台左上角的,选择区域和项目。 在页面右上角,选择“资源 > 我的配额”。 系统进入“服务配额”页面。 图1 我的配额 您可以在“服务配额”页面,查看各项资源的总配额及使用情况。 如果当前配额不
取消授权 本章节主要为您说明如何取消已有授权权限。 操作步骤 登录管理控制台。 在左上角单击“”,选择“大数据 > 湖仓构建 LakeFormation”进入LakeFormation控制台。 在左侧下拉框中选择待操作的LakeFormation实例,选择“数据权限 > 数据授权”。
查询OBS桶列表 功能介绍 查询OBS桶列表。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v1/{project_id}/obs/buckets 表1
计费说明 计费项 华为云湖仓构建服务LakeFormation根据您选择的实例规格和使用时长计费。 详细的计费项及说明请参考表1。 您也可以通过LakeFormation提供的价格计算器,选择您需要的实例规格和使用时长等,来快速计算出购买LakeFormation实例的参考价格。
项目ID表示租户的资源,账号ID对应当前账号。用户可在对应页面下查看不同Region对应的项目ID和账号ID。 登录管理控制台。 单击用户名,在下拉列表中单击“我的凭证”。 在“API凭证”页面的项目列表中查看项目ID。 图1 查看项目ID 多项目时,展开“所属区域”,从“项目ID”列获取子项目ID。
在调用接口的时候,部分URL中需要填入账号ID,所以需要先在管理控制台上获取到账号ID。账号ID获取步骤如下: 登录管理控制台。 单击用户名,在下拉列表中单击“我的凭证”。 在“API凭证”页面中查看账号ID。 图1 获取账号ID 父主题: 附录