检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置开源Hive组件对接LakeFormation 环境准备 配置Hive对接LakeFormation 对接后二次开发
配置开源Spark组件对接LakeFormation 环境准备 配置Spark对接LakeFormation 对接后二次开发
//返回IAM认证信息 } } 集成配置。 代码通过Maven打包后将jar包放置在“spark/jars”目录下。 根据对接方式不同,补充以下配置: 使用SparkCatalogPlugin方式对接时,在spark-default.conf配置文件中补充以下配置: # 认证信息获取类,根据实现类路径填写,此处配置值仅作为参考
generateIdentity() { //返回IAM认证信息 } } 集成配置。 代码通过Maven打包后将jar包放置在“hive-xxx/lib”目录下。xxx为Hive内核版本号。 并在hive-site.xml补充以下配置: <!--认证信息获取类,此处配置值仅作为参考--> <property> <name>lakecat
static void main(String[] args) { // getAk(),getSk()方法需自行实现,可以从配置项或其他位置获取AK/SK // 请勿在代码中硬编码AK/SK String ak = getAk();
调用说明 LakeFormation提供了REST(Representational State Transfer)风格API,支持您通过HTTPS请求调用。 详细调用方法请参见如何调用API。 同时LakeFormation还提供多种编程语言的SDK供您使用,SDK的使用方法请参见API
common_error_code String CBC公共错误码。 solution_msg String 解决方案描述。 请求示例 POST https://{endpoint}/v1/{project_id}/instances { "name" : "lakeformation-instance"
除等基本功能,帮助您便捷地进行实例管理,加速实现数据湖承载的业务的规划和部署。 元数据管理 LakeFormation提供数据湖元数据Catalog、数据库、数据表等的创建、修改、查看、删除等功能,并支持配置元数据生命周期。帮助您便捷地进行数据湖初始化构建以及持续运营,集中式的统
何调用API,该API获取用户的Token,Token可以用于调用其他API时鉴权。 您还可以通过视频教程了解如何构造请求调用API:https://bbs.huaweicloud.com/videos/102987 。 请求URI 请求URI由如下部分组成。 {URI-scheme}
”列获取子项目ID。 调用API获取项目ID 项目ID还可通过调用查询指定条件下的项目列表API获取。 获取项目ID的接口为“GET https://{Endpoint}/v3/projects”,其中{Endpoint}为IAM的终端节点,可以从地区和终端节点获取。接口的认证鉴权请参见认证鉴权。
框中分别选择待创建函数的Catalog、数据库的名称。可以查看当前数据库中包含的函数。 单击“创建函数”,配置相关参数。 在“基本信息”区域配置以下信息。 表1 基本信息配置参数 参数 参数说明 函数名称 填写待创建的元数据函数名称。 只能包含字母、数字、下划线,长度为1~256个字符。
参考准备工作章节创建委托、配置LakeFormation数据连接等操作。 MRS对接LakeFormation实例 当前仅MRS 3.3.0-LTS版本集群支持对接LakeFormation。 MRS对接LakeFormation实例,相关操作请参考配置MRS 3.3.0-LTS
common_error_code String CBC公共错误码。 solution_msg String 解决方案描述。 请求示例 GET https://{endpoint}/v1/{project_id}/agreement-rule 响应示例 状态码: 200 系统协议响应体 {
拉框中分别选择待创建表的Catalog、数据库的名称。可以查看当前数据库中包含的数据表。 单击“创建表”,配置相关参数。 在“基本信息”区域配置以下信息。 表1 基本信息配置参数 参数 参数说明 表名称 填写待创建的元数据表名称。 只能包含中文、字母、数字、下划线,长度为1~256个字符。
数据权限概述 数据湖权限支持配置数据库、数据表、函数等维度的权限。 云服务管理员可针对不同的管理对象配置不同用户组的权限,统一对数据湖资源进行管理。 用户可通过LakeFormation管理控制台对数据湖内的资源进行统一权限管理,对于IAM用户/用户组,也可以通过关联LakeFo
请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 否 String 租户token。 响应参数 无 请求示例 DELETE https://{endpoint}/v1/{project_id}/instances/{instance_id}/access-clients/{client_id}
请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 否 String 租户token。 响应参数 无 请求示例 DELETE https://{endpoint}/v1/{project_id}/instances/{instance_id}/metadata-event
name 是 String 客户端名称。只能包含字母、数字、下划线和中划线,且长度为4到32个字符。 响应参数 无 请求示例 PUT https://{endpoint}/v1/{project_id}/instances/{instance_id}/access-clients/{client_id}
String 订阅者名称:DATAARTS_STUDIO-数据治理中心 枚举值: DATAARTS_STUDIO 请求示例 POST https://{endpoint}/v1/{project_id}/instances/{instance_id}/metadata-event/subscribers
调测程序 配置完样例代码后,参考该章节操作导出Jar包并将jar包上传到接入LakeFormation客户端所在节点。 导出Jar包。 选择“Maven > 样例工程名称 > Lifecycle > clean”,双击“clean”运行maven的clean命令。 选择“Maven