检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如果对接的环境为Spark 3.1.1,则需使用Hive 2.3.7版本。对接的环境为Spark 3.3.1,则需使用Hive 2.3.9版本。 Windows系统下需要在WSL开发环境下进行maven相关操作。 根据Hive版本下载Hive源码。 例如Hive内核版本号为2.3.9,则下载链接为https://github
IAM用户:选择待授权的IAM用户。 委托用户:选择待授权的委托用户。 授权类型 资源:表示对LakeFormation实例中的资源进行授权。 路径:表示对OBS文件系统中的路径进行授权。该授权类型用于给外表或函数授权。 资源类型 选择待授权资源类型。“授权类型”选择“资源”时配置该参数。 并需要根据实际需
繁调用。 使用Token前请确保Token离过期有足够的时间,防止调用API的过程中Token过期导致调用API失败。 Token在计算机系统中代表令牌(临时)的意思,拥有Token就代表拥有某种权限。Token认证就是在调用API的时候将Token加到请求消息头,从而通过身份认证,获得操作API的权限。
任务管理 任务管理接口,包括创建任务、列举任务信息等接口。 通过这些可口,您可以创建并管理任务。 服务授权管理 协议授权管理接口,包括系统协议查询、已授权协议查询、协议授权等接口。 用户开通使用LakeFormation服务前,需要提前了解并接受相关的协议与授权。 OBS管理
构造请求 本节介绍REST API请求的组成,并以调用IAM服务的获取用户Token接口说明如何调用API,该API获取用户的Token,Token可以用于调用其他API时鉴权。 您还可以通过视频教程了解如何构造请求调用API:https://bbs.huaweicloud.com/videos/102987
参数 是否必选 参数类型 描述 agency_type 是 String 委托类型:JOB_TRUST-任务委托、ADMIN_TRUST-系统委托。 枚举值: JOB_TRUST ADMIN_TRUST 请求参数 表3 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token
计费说明 计费项 华为云湖仓构建服务LakeFormation根据您选择的实例规格和使用时长计费。 详细的计费项及说明请参考表1。 您也可以通过LakeFormation提供的价格计算器,选择您需要的实例规格和使用时长等,来快速计算出购买LakeFormation实例的参考价格。
参数 是否必选 参数类型 描述 agency_type 是 String 委托类型:JOB_TRUST-任务委托、ADMIN_TRUST-系统委托。 枚举值: JOB_TRUST ADMIN_TRUST 响应参数 状态码: 400 表3 响应Body参数 参数 参数类型 描述 error_code
参数 是否必选 参数类型 描述 agency_type 是 String 委托类型:JOB_TRUST-任务委托、ADMIN_TRUST-系统委托。 枚举值: JOB_TRUST ADMIN_TRUST 响应参数 状态码: 200 表3 响应Header参数 参数 参数类型 描述
参数 是否必选 参数类型 描述 agency_type 是 String 委托类型:JOB_TRUST-任务委托、ADMIN_TRUST-系统委托。 枚举值: JOB_TRUST ADMIN_TRUST 响应参数 状态码: 400 表4 响应Body参数 参数 参数类型 描述 error_code
参数 是否必选 参数类型 描述 agency_type 是 String 委托类型:JOB_TRUST-任务委托、ADMIN_TRUST-系统委托。 枚举值: JOB_TRUST ADMIN_TRUST 响应参数 状态码: 200 表4 响应Header参数 参数 参数类型 描述
lakecat.client.obs.LakeFormationObsCredentialProvider # 可选参数,关闭OBS文件系统缓存,长任务需要增加该配置,避免缓存中的临时AKSK失效 spark.hadoop.fs.obs.impl.disable.cache=true
项目编号。获取方法,请参见获取项目ID。 表2 Query参数 参数 是否必选 参数类型 描述 spec_code 否 String 规格编码。由系统自动生成,例如lakeformation.unit.basic.qps。 offset 否 Integer 偏移量。取值在0-100之间,默认值为0。
创建函数 功能介绍 创建函数。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v1/{project_id}/instances/{instance_i
列举函数 功能介绍 列举函数。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v1/{project_id}/instances/{instance_id
列举Catalog下所有的函数 功能介绍 获取Catalog下所有的函数。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v1/{project_id}/
列举数据库信息 功能介绍 列举数据库信息。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v1/{project_id}/instances/{insta
修改函数属性 功能介绍 修改函数属性。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v1/{project_id}/instances/{instan
修改Catalog信息 功能介绍 修改Catalog信息。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI PUT /v1/{project_id}/instance
创建Catalog 功能介绍 创建Catalog,会在Catalog下创建默认数据库,默认数据库名称为:default。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI