检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
LakeFormation入门教程,介绍如何创建一个LakeFormation实例并与MRS集群对接,实现统一的数据湖权限管理。 快速入门 使用流程简介 创建LakeFormation实例 规划数据湖 MRS对接LakeFormation实例 03 使用 通过使用LakeFormation可以实现跨AZ部署及高可
配置云服务授权 首次使用LakeFormation服务需要进行服务授权,授权相关云资源的权限。 云服务授权操作 使用注册华为云账号创建的用户登录管理控制台。 在服务列表中选择“大数据 > 湖仓构建 LakeFormation”,进入“服务授权”页面。 IAM ReadOnlyAc
配置LakeFormation实例 LakeFormation实例创建完成后,可以在实例“总览”页面对LakeFormation实例进行变更实例规格、设置默认实例等操作。 变更实例规格:对当前实例的QPS规格进行变更。仅独享型实例支持该操作。 设置默认实例:设置当前实例为默认实例
删除LakeFormation实例时报错实例不可删除 问: 在LakeFormation管理控制台删除实例,报错“实例不可删除。请先删除该xx实例下的所有客户端后重试。”该如何处理? 答: 当前实例包含客户端时,将无法进行删除。请先删除所有接入管理客户端后再执行删除实例操作。详细操作如下: 登录LakeForma
配置开源Hive组件对接LakeFormation 环境准备 配置Hive对接LakeFormation 对接后二次开发
配置开源Spark组件对接LakeFormation 环境准备 配置Spark对接LakeFormation 对接后二次开发
删除元数据事件订阅者 功能介绍 根据名称删除元数据事件订阅者 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI DELETE /v1/{project_id}/inst
//返回IAM认证信息 } } 集成配置。 代码通过Maven打包后将jar包放置在“spark/jars”目录下。 根据对接方式不同,补充以下配置: 使用SparkCatalogPlugin方式对接时,在spark-default.conf配置文件中补充以下配置: # 认证信息获取类,根据实现类路径填写,此处配置值仅作为参考
generateIdentity() { //返回IAM认证信息 } } 集成配置。 代码通过Maven打包后将jar包放置在“hive-xxx/lib”目录下。xxx为Hive内核版本号。 并在hive-site.xml补充以下配置: <!--认证信息获取类,此处配置值仅作为参考--> <property> <name>lakecat
数据权限概述 数据湖权限支持配置数据库、数据表、函数等维度的权限。 云服务管理员可针对不同的管理对象配置不同用户组的权限,统一对数据湖资源进行管理。 用户可通过LakeFormation管理控制台对数据湖内的资源进行统一权限管理,对于IAM用户/用户组,也可以通过关联LakeFo
LakeFormation权限概述 LakeFormation对于元数据权限和数据权限的管理,使用“粗粒度”的Identity and Access Management(简称IAM)权限和“细粒度”的LakeFormation权限的组合,实现精细访问控制。 “粗粒度”的IAM权
新增元数据事件订阅者 功能介绍 新增元数据事件订阅者。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v1/{project_id}/instances
图1 我的配额 您可以在“服务配额”页面,查看各项资源的总配额及使用情况。 如果当前配额不能满足业务要求,请参考后续操作,申请扩大配额。 如何申请扩大配额? 登录管理控制台。 在页面右上角,选择“资源 > 我的配额”。 系统进入“服务配额”页面。 图2 我的配额 单击“申请扩大配额”。
框中分别选择待创建函数的Catalog、数据库的名称。可以查看当前数据库中包含的函数。 单击“创建函数”,配置相关参数。 在“基本信息”区域配置以下信息。 表1 基本信息配置参数 参数 参数说明 函数名称 填写待创建的元数据函数名称。 只能包含字母、数字、下划线,长度为1~256个字符。
参考准备工作章节创建委托、配置LakeFormation数据连接等操作。 MRS对接LakeFormation实例 当前仅MRS 3.3.0-LTS版本集群支持对接LakeFormation。 MRS对接LakeFormation实例,相关操作请参考配置MRS 3.3.0-LTS
图2 设置输入参数 SDK列表 表1提供了LakeFormation服务支持的SDK列表,您可以在GitHub仓库查看SDK更新历史、获取安装包以及查看指导文档。 表1 SDK列表 编程语言 Github地址 参考文档 Java huaweicloud-sdk-java-v3 Java
IP。 此外还需配置以下参数: 用户名:访问数据源所使用的用户。 密码:访问数据源所使用的用户密码。 如果所使用用户存在密码,则必须填写;如果用户无密码,则为空即可。 服务接入点 配置待迁移元数据服务接入点。 “数据源类型”为“DLF”时配置该参数。此外还需配置以下参数: Access
static void main(String[] args) { // getAk(),getSk()方法需自行实现,可以从配置项或其他位置获取AK/SK // 请勿在代码中硬编码AK/SK String ak = getAk();
拉框中分别选择待创建表的Catalog、数据库的名称。可以查看当前数据库中包含的数据表。 单击“创建表”,配置相关参数。 在“基本信息”区域配置以下信息。 表1 基本信息配置参数 参数 参数说明 表名称 填写待创建的元数据表名称。 只能包含中文、字母、数字、下划线,长度为1~256个字符。
调测程序 配置完样例代码后,参考该章节操作导出Jar包并将jar包上传到接入LakeFormation客户端所在节点。 导出Jar包。 选择“Maven > 样例工程名称 > Lifecycle > clean”,双击“clean”运行maven的clean命令。 选择“Maven