检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
什么是项目 云的每个区域默认对应一个项目，这个项目由系统预置，用来隔离物理区域间的资源（计算资源、存储资源和网络资源），以区域默认单位为项目进行授权，IAM用户可以访问您账号中该区域的所有资源。 如果您希望进行更加精细的权限控制，可以在区域默认的项目中创建子项目，并在子项目中购买
什么是LakeFormation 湖仓构建（DataArts Lake Formation，简称LakeFormation）是企业级数据湖一站式构建服务。 在存算分离架构基础上提供数据湖元数据统一管理的可视化界面及API，兼容Hive元数据模型以及Ranger权限模型，支持对接M
LakeFormation使用流程简介 该LakeFormation入门教程介绍了如何创建一个LakeFormation实例并与MRS集群对接，实现统一的数据湖元数据及权限管理。 使用流程简介 MRS与LakeFormation对接的使用流程如下图所示： 图1 LakeFormation使用流程
什么是LakeFormation 湖仓构建（DataArts Lake Formation，简称LakeFormation）是企业级数据湖一站式构建服务，在存算分离架构基础上提供数据湖元数据统一管理的可视化界面及API，兼容Hive元数据模型以及Ranger权限模型，支持对接Ma
应用开发简介 湖仓构建（DataArts Lake Formation，简称LakeFormation）是企业级数据湖一站式构建服务。 在存算分离架构基础上提供数据湖元数据统一管理的可视化界面及API，兼容Hive元数据模型以及Ranger权限模型，支持对接多种计算引擎及大数据云服务
规划数据湖 MRS对接LakeFormation仅支持对接LakeFormation实例的数据目录名称为“hive”的Catalog，名称为“default”的数据库。 LakeFormation实例创建成功后，用户可按照业务规划创建相关Catalog及内部的数据库、表等元数据。
获取项目ID 从控制台获取项目ID 项目ID表示租户的资源，账号ID对应当前账号。用户可在对应页面下查看不同Region对应的项目ID和账号ID。 登录管理控制台。 单击用户名，在下拉列表中单击“我的凭证”。 在“API凭证”页面的项目列表中查看项目ID。 图1 查看项目ID 多
功能总览 功能总览 全部 LakeFormation 实例管理 元数据管理 数据权限授权 数据迁移 接入客户端管理 LakeFormation LakeFormation是企业级湖仓一站式构建服务，提供湖仓元数据统一管理的可视化界面及API，兼容Hive元数据模型以及Ranger
共享型与独享型LakeFormation对比 LakeFormation提供了不同实例类别，满足不同场景下用户对性能和成本的不同诉求。 独享型特性当前仅针对白名单用户开放。 计费对比 共享型与独享型实例的计费项及计费说明详细介绍请参考计费说明章节中表1。 性能对比 表1 性能对比
创建LakeFormation实例及客户端连接 准备用户 如果您是第一次使用LakeFormation，请参考LakeFormation准备工作章节，完成用户创建并授权使用LakeFormation等准备工作。 本入门示例，是为了演示使用LakeFormation的全流程，用户还需提前完成以下准备工作：
与其他服务的关系 LakeFormation服务与其他服务的关系如下表所示。 表1 LakeFormation服务与其他服务的关系 服务名称 LakeFormation服务与其他服务的关系 统一身份认证（Identity and Access Management，IAM） 通过
错误码 调用接口出错后，将不会返回结果数据。调用方可根据每个接口对应的错误码来定位错误原因。 当调用出错时，HTTP 请求返回一个 4xx 或 5xx 的 HTTP 状态码。返回的消息体中是具体的错误代码及错误信息。在调用方找不到错误原因时，可以联系运维人员，并提供错误码。 错误响应Body体格式说明
环境准备 在配置开源Hive组件对接LakeFormation前，需要提前准备以下信息： 准备可用的开源Hive环境，目前支持Hive 2.3以及Hive 3.1两个版本，并安装Git环境。 准备LakeFormation实例，详细操作请参考创建LakeFormation实例。
环境准备 在配置开源Spark组件对接LakeFormation前，需要提前准备以下信息： 准备可用的开源Spark环境、开源Hive环境。并安装Git环境。 目前仅支持对接Spark 3.1.1以及Spark 3.3.1两个版本。对应使用Hive内核版本为2.3。 准备Lake
认证鉴权 调用接口有如下两种认证方式，您可以选择其中一种进行认证鉴权。 Token认证：通过Token认证调用请求。 AK/SK认证：通过AK（Access Key ID）/SK（Secret Access Key）加密调用请求。推荐使用AK/SK认证，其安全性比Token认证要高。
最新动态 本文介绍了湖仓构建LakeFormation服务各特性版本的功能发布和对应的文档动态，欢迎体验。 2022年11月 序号 功能名称 功能描述 阶段 相关文档 1 LakeFormation公测上线 支持基于IAM用户组统一授权管理。 元数据统一，支持与MRS集群Hive和Spark对接。
简介 在进行湖仓构建应用开发时，要准备的环境如表1所示。 同时需要准备运行调测的环境，用于验证应用程序运行正常。 表1 准备项 准备项 说明 准备LakeFormation实例 在LakeFormation控制台创建实例，或者使用已有LakeFormation实例。 创建客户端
对接后二次开发 用户可根据需要进行二次开发，当前提供以下样例： 自定义认证信息获取类：用于获取访问LakeFormation服务的IAM认证信息。 自定义用户信息获取类：用于获取当前访问LakeFormation的用户。 自定义认证信息获取类 认证信息获取类（IdentityGe
外部服务接入LakeFormation 概述 本文指导用户通过调用API的方式，介绍外部服务对接LakeFormation的完整流程。 本流程假设终端租户已经在Console界面完成LakeFormation的服务授权。API的调用方法请参见如何调用API。 前提条件 已获取以下信息：
配置Spark对接LakeFormation 使用pyspark时，需要将以下配置中“spark.hadoop”开头的参数去掉“spark.hadoop”后配置到hive-site.xml配置文件中。 对接通用配置 在“spark/conf/spark-defaults.conf”中添加以下配置：
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
