检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
LakeFormation使用流程简介 该LakeFormation入门教程介绍了如何创建一个LakeFormation实例并与MRS集群对接，实现统一的数据湖元数据及权限管理。 使用流程简介 MRS与LakeFormation对接的使用流程如下图所示： 图1 LakeFormation使用流程 约束说明 MRS
基于策略授权的服务授权项 云服务在IAM预置了常用授权项，称为系统策略。如果IAM系统策略无法满足授权要求，管理员可以根据各服务支持的授权项，创建IAM自定义策略来进行精细的访问控制，IAM自定义策略是对系统策略的扩展和补充。 除IAM服务外，Organizations服务中的服务控制策略（Service
湖仓构建（DataArts Lake Formation，简称LakeFormation）是企业级数据湖一站式构建服务。 在存算分离架构基础上提供数据湖元数据统一管理的可视化界面及API，兼容Hive元数据模型以及Ranger权限模型，支持对接多种计算引擎及大数据云服务 本文档提供LakeFormati
湖仓构建（DataArts Lake Formation，简称LakeFormation）是企业级数据湖一站式构建服务。 在存算分离架构基础上提供数据湖元数据统一管理的可视化界面及API，兼容Hive元数据模型以及Ranger权限模型，支持对接MapReduce服务（MRS）、数据仓库服务 GaussD
可以创建多少台弹性云服务器、多少块云硬盘。 如果当前资源配额限制无法满足使用需要，您可以申请扩大配额。 怎样查看我的配额？ 登录管理控制台。 单击管理控制台左上角的，选择区域和项目。 在页面右上角，选择“资源 > 我的配额”。 系统进入“服务配额”页面。 图1 我的配额 您可以在
lakeformation-test），在左侧导航栏选择“接入管理”。 单击“创建客户端”，在弹出的窗口中填写以下参数后，单击“确定”。 如果没有合适的虚拟私有云或子网，可以单击“前往VPC创建”。 表2 创建接入管理客户端参数 参数 说明 客户端名称 自定义接入客户端的名称。 虚拟私有云
修改DNS信息 登录华为云管理控制台。 在“服务列表”中，选择“网络 > 云解析服务DNS”进入云解析控制台。 在左侧选择“内网域名”，进入内网域名界面。 在搜索框中搜索“lakeformation.lakecat.com”，查找“已关联的VPC”列为创建的客户端对应的虚拟私有云
从控制台获取项目ID 项目ID表示租户的资源，账号ID对应当前账号。用户可在对应页面下查看不同Region对应的项目ID和账号ID。 登录管理控制台。 单击用户名，在下拉列表中单击“我的凭证”。 在“API凭证”页面的项目列表中查看项目ID。 图1 查看项目ID 多项目时，展开“
LakeFormation与MRS集群中的Ranger、Hive、Spark对接，实现湖、仓元数据统一管理。 数据仓库服务 GaussDB（DWS） LakeFormation与DWS对接，实现湖、仓元数据统一管理。
t”（固定名称，不可自定义），数据库内包含两个数据表“table_A”、“table_B”，并进行授权。 创建存储元数据的OBS路径 登录管理控制台。 在页面左上角单击，选择“存储 > 对象存储服务”，进入对象存储服务页面。 选择“并行文件系统 > 创建并行文件系统”，进入创建页面，配置相关参数后单击“立即创建”。
准备工作 注册华为云账号 配置云服务授权 权限管理
LakeFormation中，总分区数量不超过1,000,000,000。 LakeFormation不支持跨Region的元数据和权限统一管理。 LakeFormation不支持跨实例的元数据和权限统一管理。 一个数据表中，每个分区所对应的Partition Value组合必须在全表唯一。 由Partition
如何获取LakeFormation实例ID 登录管理控制台。 在左上角单击“”，选择“大数据 > 湖仓构建 LakeFormation”进入LakeFormation控制台。 在左侧下拉框中选择待操作的LakeFormation实例。 在实例的“基本信息”中查看“实例ID”参数值，即为当前实例的ID。
迎体验。 2022年11月 序号 功能名称 功能描述 阶段 相关文档 1 LakeFormation公测上线 支持基于IAM用户组统一授权管理。 元数据统一，支持与MRS集群Hive和Spark对接。 商用 LakeFormation使用流程简介
在LakeFormation控制台创建实例，或者使用已有LakeFormation实例。 创建客户端 在LakeFormation控制台接入管理界面创建客户端。 修改DNS信息 在云解析服务中，修改linux环境所在子网的内网域名信息。 父主题： 环境准备
根据对接方式不同，补充以下配置： 使用SparkCatalogPlugin方式对接时，在spark-default.conf配置文件中补充以下配置： # 可选参数，认证管理器实现类，用于获取当前用户，此处配置值仅作为参考 spark.sql.catalog.catalog_name.lakeformation
"create_time": "2023-06-29T12:12:12.000+00:00" } 参考目录管理相关接口，使用上述步骤获取的接入IP与实例ID访问元数据管理相关接口，获取目录列表。 请求示例： GET https://{endpoint}/v1/{project_
JDK。 不同的IntelliJ IDEA不要使用相同的workspace和相同路径下的示例工程。 安装Maven 开发环境的基本配置。用于项目管理，贯穿软件开发生命周期。 7-zip 用于解压“*.zip”和“*.rar”文件。 支持7-Zip 16.04版本。 准备依赖信息 准备LakeFormation
代码通过Maven打包后将jar包放置在“hive-xxx/lib”目录下。xxx为Hive内核版本号。 并在hive-site.xml补充以下配置： <!--可选参数，认证管理器实现类，用于获取当前用户，此处配置值仅作为参考--> <property> <name>lakeformation.authentication
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
