检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
的元数据创建、修改、删除、查看等功能。 √ √ 元数据生命周期管理 LakeFormation支持配置数据的删除策略,节省空间及成本,提升系统的灵活性。 √ √ 元数据权限管理 提供针对元数据的授权、取消、查看等功能。 √ √ 元数据迁移管理 支持将外部服务的元数据全量或增量迁移
应用开发简介 湖仓构建(DataArts Lake Formation,简称LakeFormation)是企业级数据湖一站式构建服务。 在存算分离架构基础上提供数据湖元数据统一管理的可视化界面及API,兼容Hive元数据模型以及Ranger权限模型,支持对接多种计算引擎及大数据云服务
Failed 未满足前提条件,服务器未满足请求者在请求中设置的其中一个前提条件。 413 Request Entity Too Large 由于请求的实体过大,服务器无法处理,因此拒绝请求。为防止客户端的连续请求,服务器可能会关闭连接。如果只是服务器暂时无法处理,则会包含一个Retry-After的响应信息。
IAM用户:选择待授权的IAM用户。 委托用户:选择待授权的委托用户。 授权类型 资源:表示对LakeFormation实例中的资源进行授权。 路径:表示对OBS文件系统中的路径进行授权。该授权类型用于给外表或函数授权。 资源类型 选择待授权资源类型。“授权类型”选择“资源”时配置该参数。 并需要根据实际需
授权主体支持IAM用户和用户组以及LakeFormation角色。 授权对象支持Catalog、数据库、表及列、函数等元数据对象,也支持OBS并行文件系统路径。 授权操作包含元数据对象的相关操作,以及OBS路径的读写操作。 Console支持实例管理、元数据管理、数据权限管理、接入管理、任务管理等操作。
参数 是否必选 参数类型 描述 agency_type 是 String 委托类型:JOB_TRUST-任务委托、ADMIN_TRUST-系统委托。 枚举值: JOB_TRUST ADMIN_TRUST 响应参数 状态码: 400 表3 响应Body参数 参数 参数类型 描述 error_code
参数 是否必选 参数类型 描述 agency_type 是 String 委托类型:JOB_TRUST-任务委托、ADMIN_TRUST-系统委托。 枚举值: JOB_TRUST ADMIN_TRUST 响应参数 状态码: 200 表3 响应Header参数 参数 参数类型 描述
参数 是否必选 参数类型 描述 agency_type 是 String 委托类型:JOB_TRUST-任务委托、ADMIN_TRUST-系统委托。 枚举值: JOB_TRUST ADMIN_TRUST 响应参数 状态码: 400 表4 响应Body参数 参数 参数类型 描述 error_code
参数 是否必选 参数类型 描述 agency_type 是 String 委托类型:JOB_TRUST-任务委托、ADMIN_TRUST-系统委托。 枚举值: JOB_TRUST ADMIN_TRUST 响应参数 状态码: 200 表4 响应Header参数 参数 参数类型 描述
繁调用。 使用Token前请确保Token离过期有足够的时间,防止调用API的过程中Token过期导致调用API失败。 Token在计算机系统中代表令牌(临时)的意思,拥有Token就代表拥有某种权限。Token认证就是在调用API的时候将Token加到请求消息头,从而通过身份认证,获得操作API的权限。
ormation的服务授权。API的调用方法请参见如何调用API。 前提条件 已获取以下信息: endpoint:通过地区和终端节点查询服务的终端节点获取。 project_id:参考获取项目ID获取。 操作步骤 调用创建实例接口,创建LakeFormation实例,同时记录接口返回的实例Id。
任务管理 任务管理接口,包括创建任务、列举任务信息等接口。 通过这些可口,您可以创建并管理任务。 服务授权管理 协议授权管理接口,包括系统协议查询、已授权协议查询、协议授权等接口。 用户开通使用LakeFormation服务前,需要提前了解并接受相关的协议与授权。 OBS管理
开发流程 开发流程如下: 表1 开发流程 阶段 说明 参考文档 环境准备 准备LakeFormation开发环境 环境准备 根据场景编写程序 使用LakeFormation SDK编写程序 使用LakeFormation Java SDK开发程序 父主题: 服务介绍
项目编号。获取方法,请参见获取项目ID。 表2 Query参数 参数 是否必选 参数类型 描述 spec_code 否 String 规格编码。由系统自动生成,例如lakeformation.unit.basic.qps。 offset 否 Integer 偏移量。取值在0-100之间,默认值为0。
可选参数,关闭OBS文件系统缓存,长任务需要增加该配置,避免缓存中的临时AKSK失效 spark.hadoop.fs.obs.impl.disable.cache=true Endpoint:不同服务不同区域的Endpoint不同。您可以从地区和终端节点中获取。 将上述配置添加到core-site
单击“操作”列“查看详情”,打开详细信息页面。 “基本信息”区域可以查看ID、客户端名称、状态、接入模式、虚拟私有云、所属子网等信息。 “接入连接列表”区域可以查看终端节点ID、接入IP等信息。 根据获取的接入IP等信息,完成其他云服务与LakeFormation的对接。 详细操作请参考对应云服务对接LakeF
execute_hour 否 String 元数据发现调度执行的小时时间点,当execute_frequency为MONLY每月执行时或WEEKLY每周执行时或DAILY每日执行时,该选项表示选定的天内的执行时间点,范围为0~23;当execute_frequency为HOURLY每
使用前必读 概述 调用说明 终端节点 基本概念
获取项目ID的接口为“GET https://{Endpoint}/v3/projects”,其中{Endpoint}为IAM的终端节点,可以从地区和终端节点获取。接口的认证鉴权请参见认证鉴权。 响应示例如下,其中projects下的“id”即为项目ID。 { "projects":
minimum_value 否 Double 列中浮点数最小值。 maximum_value 否 Double 列中浮点数最大值。 number_of_null 是 Long 列中空值个数。 number_of_distinct_value 是 Long 列中去重后浮点数个数。 bit_vector 否