检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用LakeFormation Java SDK开发程序 准备开发程序环境 参考样例 调测程序
//返回IAM认证信息 } } 集成配置。 代码通过Maven打包后将jar包放置在“spark/jars”目录下。 根据对接方式不同，补充以下配置： 使用SparkCatalogPlugin方式对接时，在spark-default.conf配置文件中补充以下配置： # 认证信息获取类，根据实现类路径填写，此处配置值仅作为参考
对接后二次开发 用户可根据需要进行二次开发，当前提供以下样例： 自定义认证信息获取类：用于获取访问LakeFormation服务的IAM认证信息。 自定义用户信息获取类：用于获取当前访问LakeFormation的用户。 自定义认证信息获取类 认证信息获取类（IdentityGe
MRS对接LakeFormation实例 MRS对接前准备 MRS对接LakeFormation实例前准备请参考准备工作章节创建委托、配置LakeFormation数据连接等操作。 MRS对接LakeFormation实例 当前仅MRS 3.3.0-LTS版本集群支持对接LakeFormation。
enabled</name> <value>false</value> </property> <!--需要对接的LakeFormation Catalog名称，可选配置，如果不配置则对接到hive catalog中，此处配置值仅作为参考--> <property> <name>lakecat
环境准备 在配置开源Hive组件对接LakeFormation前，需要提前准备以下信息： 准备可用的开源Hive环境，目前支持Hive 2.3以及Hive 3.1两个版本，并安装Git环境。 准备LakeFormation实例，详细操作请参考创建LakeFormation实例。
配置开源Hive组件对接LakeFormation 环境准备 配置Hive对接LakeFormation 对接后二次开发
环境准备 在配置开源Spark组件对接LakeFormation前，需要提前准备以下信息： 准备可用的开源Spark环境、开源Hive环境。并安装Git环境。 目前仅支持对接Spark 3.1.1以及Spark 3.3.1两个版本。对应使用Hive内核版本为2.3。 准备Lake
maven工具clean和install 使用maven命令打包后，执行以下命令将jar包上传到接入LakeFormation客户端所在节点。 java -cp lakeformation-lakecat-opensource-1.0.0-jar-with-dependencies.jar
hadoop”前缀。 对接LakeFormation元数据 Spark对接LakeFormation有以下两种对接方式，建议根据需要选择其中一种方式进行对接。 使用SparkCatalogPlugin方式对接：SparkCatalogPlugin方式对接基于Spark Sess
准备开发程序环境 准备开发环境 在进行LakeFormation Java SDK开发程序前，要准备的开发环境如表1所示。 表1 开发环境 准备项 说明 安装Java和JDK环境 已安装Java环境，Java版本要求使用JDK1.8或更高版本。 安装和配置IntelliJ IDEA
配置开源Spark组件对接LakeFormation 环境准备 配置Spark对接LakeFormation 对接后二次开发
sdk.lakeformation.v1.model.ListCatalogsResponse; import java.util.ArrayList; import java.util.List; public class LakeFormationExample { public
建一个LakeFormation实例并与MRS集群对接，实现统一的数据湖元数据及权限管理。 使用流程简介 MRS与LakeFormation对接的使用流程如下图所示： 图1 LakeFormation使用流程 约束说明 MRS对接LakeFormation前，需要注意以下约束限制：
规划数据湖 MRS对接LakeFormation仅支持对接LakeFormation实例的数据目录名称为“hive”的Catalog，名称为“default”的数据库。 LakeFormation实例创建成功后，用户可按照业务规划创建相关Catalog及内部的数据库、表等元数据。
外部服务接入LakeFormation 概述 本文指导用户通过调用API的方式，介绍外部服务对接LakeFormation的完整流程。 本流程假设终端租户已经在Console界面完成LakeFormation的服务授权。API的调用方法请参见如何调用API。 前提条件 已获取以下信息：
湖一站式构建服务。 在存算分离架构基础上提供数据湖元数据统一管理的可视化界面及API，兼容Hive元数据模型以及Ranger权限模型，支持对接MapReduce服务（MRS）、数据仓库服务 GaussDB（DWS）、数据湖探索（DLI）、AI开发平台ModelArts、数据治理中心
nger社区的权限同步接口，以便于MRS、DWS等服务的集成对接。 产品优势 生态开放 遵循开源事实标准，支撑存量业务平滑演进。 提供兼容Hive/Spark/Flink/Trino社区的元数据接口，支持计算引擎平滑对接。 提供兼容Ranger的权限接口，一次授权，统一生效。 提
变更实例规格：对当前实例的QPS规格进行变更。仅独享型实例支持该操作。 设置默认实例：设置当前实例为默认实例。如果其他服务对接LakeFormation实例时，没有指定具体的实例ID，该操作将会修改服务对接的实例。 变更实例规格 登录管理控制台。 在左上角单击“”，选择“大数据 > 湖仓构建 LakeF
拥有了对应的资源操作权限。 如果与LakeFormation实例对接的服务需要使用角色授权，则在创建对接LakeFormation权限的委托时必须包含角色的相关权限。 例如，LakeFormation与MRS集群对接后，需要使用角色的查询权限，则在准备工作创建LakeFormat
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
