检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置开源Hive组件对接LakeFormation 环境准备 配置Hive对接LakeFormation 对接后二次开发
配置管理 获取所有用户可见的租户面配置 父主题： LakeCat
Deployment > Maven”，选择“Maven home directory”为本地安装的Maven版本。 然后根据实际情况设置好“User settings file”和“Local repository”参数，依次单击“Apply > OK”。 图7 选择本地Maven安装目录 设置IntelliJ
MRS对接LakeFormation实例 03 使用 通过使用LakeFormation可以实现跨AZ部署及高可靠、弹性伸缩、元数据统一管理、元数据与文件目录联动授权、对接多计算引擎等功能。 准备操作 注册华为云帐号 授权用户使用LakeFormation 创建自定义IAM策略 管理LakeFormation实例
配置开源Spark组件对接LakeFormation 环境准备 配置Spark对接LakeFormation 对接后二次开发
checkout master_dev 配置maven源，详细操作请参考获取SDK并配置maven。 获取以下jar包及对应的pom文件，并将文件放入maven本地仓库。 例如本地仓库地址为“D:\maven\repository”，则放入“D:\maven\repository\com\
checkout master_dev 配置maven源，详细操作请参考获取SDK并配置maven。 获取以下jar包以及对应的pom文件，并将文件放入maven本地仓库。 例如本地仓库地址为“D:\maven\repository”，则放入“D:\maven\repository\com
配置云服务授权 首次使用LakeFormation服务需要进行服务授权，授权相关云资源的权限。 云服务授权操作 使用注册华为云账号创建的用户登录管理控制台。 在服务列表中选择“大数据 > 湖仓构建 LakeFormation”，进入“服务授权”页面。 IAM ReadOnlyAc
配置Spark对接LakeFormation 使用pyspark时，需要将以下配置中“spark.hadoop”开头的参数去掉“spark.hadoop”后配置到hive-site.xml配置文件中。 对接通用配置 在“spark/conf/spark-defaults.conf”中添加以下配置：
<value>false</value> </property> <!--需要对接的LakeFormation Catalog名称，可选配置，如果不配置则对接到hive catalog中，此处配置值仅作为参考--> <property> <name>lakecat.catalogname.default</name>
调测程序 配置完样例代码后，参考该章节操作导出Jar包并将jar包上传到接入LakeFormation客户端所在节点。 导出Jar包。 选择“Maven > 样例工程名称 > Lifecycle > clean”，双击“clean”运行maven的clean命令。 选择“Maven
配置LakeFormation实例 LakeFormation实例创建完成后，可以在实例“总览”页面对LakeFormation实例进行变更实例规格、设置默认实例等操作。 变更实例规格：对当前实例的QPS规格进行变更。仅独享型实例支持该操作。 设置默认实例：设置当前实例为默认实例
注册华为云账号 在使用华为云服务之前您需要申请华为云账号。通过此账号，您可以使用所有华为云服务，并且只需为您所使用的服务付费。 如果您已有一个华为云账户，请跳到下一个任务。如果您还没有华为云账户，请参考以下步骤创建。 操作步骤 打开华为云网站。 单击“注册”，根据提示信息完成注册。详情请参考注册华为账号并开通华为云。
objects 配置项。 page_info PagedInfo object 分页信息。 表5 LakeCatConfiguration 参数 参数类型 描述 key String 配置项的key。 value String 配置项的值。 description String 配置项描述。
generateIdentity() { //返回IAM认证信息 } } 集成配置。 代码通过Maven打包后将jar包放置在“hive-xxx/lib”目录下。xxx为Hive内核版本号。 并在hive-site.xml补充以下配置： <!--认证信息获取类，此处配置值仅作为参考--> <property> <name>lakecat
//返回IAM认证信息 } } 集成配置。 代码通过Maven打包后将jar包放置在“spark/jars”目录下。 根据对接方式不同，补充以下配置： 使用SparkCatalogPlugin方式对接时，在spark-default.conf配置文件中补充以下配置： # 认证信息获取类，根据实现类路径填写，此处配置值仅作为参考
右侧代码示例栏会自动拼装参数到代码中供您进行使用。 图2 设置输入参数 SDK列表 表1提供了LakeFormation服务支持的SDK列表，您可以在GitHub仓库查看SDK更新历史、获取安装包以及查看指导文档。 表1 SDK列表 编程语言 Github地址 参考文档 Java huaweicloud-sdk-java-v3
兼容Ranger权限模型：提供兼容Ranger权限模型的接口，具备良好的生态扩展性。 建议搭配服务 MapReduce服务（MRS） 数据仓库服务 GaussDB（DWS） 数据湖探索（DLI） 支持情况请咨询对应服务。 父主题： 应用场景
在存算分离架构基础上提供数据湖元数据统一管理的可视化界面及API，兼容Hive元数据模型以及Ranger权限模型，支持对接MapReduce服务（MRS）、数据仓库服务 GaussDB（DWS）、数据湖探索（DLI）、AI开发平台ModelArts、数据治理中心 DataArts Studio等多种计
除等基本功能，帮助您便捷地进行实例管理，加速实现数据湖承载的业务的规划和部署。 元数据管理 LakeFormation提供数据湖元数据Catalog、数据库、数据表等的创建、修改、查看、删除等功能，并支持配置元数据生命周期。帮助您便捷地进行数据湖初始化构建以及持续运营，集中式的统
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
