检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
更大程度释放业务数据价值。 本服务的优势 兼容Hive元数据模型：提供兼容Hive元数据模型的SDK客户端，使计算引擎对接LakeFormation更轻松和高效。 兼容Ranger权限模型：提供兼容Ranger权限模型的接口，具备良好的生态扩展性。 建议搭配服务 MapReduce服务（MRS）
tion）是企业级数据湖一站式构建服务。 在存算分离架构基础上提供数据湖元数据统一管理的可视化界面及API，兼容Hive元数据模型以及Ranger权限模型，支持对接MapReduce服务（MRS）、数据仓库服务 GaussDB（DWS）、数据湖探索（DLI）、AI开发平台ModelArts、数据治理中心
ation）是企业级数据湖一站式构建服务，在存算分离架构基础上提供数据湖元数据统一管理的可视化界面及API，兼容Hive元数据模型以及Ranger权限模型，支持对接MapReduce服务（MRS）、数据仓库服务 GaussDB（DWS）、数据湖探索（DLI）、AI开发平台ModelArts、数据治理中心
tion）是企业级数据湖一站式构建服务。 在存算分离架构基础上提供数据湖元数据统一管理的可视化界面及API，兼容Hive元数据模型以及Ranger权限模型，支持对接多种计算引擎及大数据云服务 本文档提供LakeFormation服务应用开发流程、环境准备及程序编写介绍，供需要进行业务应用开发的开发人员使用。
LakeFormation 湖仓构建 LakeFormation提供数据湖元数据统一管理的可视化界面及API，兼容Hive元数据模型以及Ranger权限模型，支持对接多种计算引擎及大数据云服务。 产品介绍 立即使用 成长地图 由浅入深，带您玩转LakeFormation 01 了解
管理的可视化界面及API，兼容Hive元数据模型以及Ranger权限模型，支持无缝对接多种计算引擎及大数据云服务，使客户便捷高效地构建湖仓和运营相关业务，加速释放业务数据价值。 LakeFormation产品通过底层资源实现跨AZ部署及高可靠、弹性伸缩、元数据统一管理、缓存加速元
on权限，向各个主体（包括用户、用户组、角色等）授予对于元数据、OBS路径以及其中的数据的访问权限。 IAM权限模型由IAM策略组成。LakeFormation权限模型使用LakeFormation定义的权限主体、授权对象、权限组成，详细介绍请参考基本概念。 当用户请求访问元数据
计费对比 共享型与独享型实例的计费项及计费说明详细介绍请参考计费说明章节中表1。 性能对比 表1 性能对比 类型 共享型实例 独享型实例 部署模式 物理资源共享，实例间逻辑隔离。 物理资源独占，实例的性能不受其他实例的影响，可根据业务需要选择不同规格的实例。 每秒请求数（QPS）
SSL证书采用SSL协议进行通信，SSL证书部署到服务器后，服务器端的访问将启用HTTPS协议。您的网站将会通过HTTPS加密协议来传输数据，可帮助服务器端和客户端之间建立加密链接，从而保证数据传输的安全。 SSL证书存在有效期限制，证书过期后不被信任，已安装证书的网站业务会受到影响（提示访问不安全或无法访问）。
建子项目，并在子项目中购买资源，然后以子项目为单位进行授权，使得用户仅能访问特定子项目中资源，使得资源的权限控制更加精确。 图1 项目隔离模型 同样在获取项目ID下，您可以查看项目ID。 企业项目 企业项目是项目的升级版，针对企业不同项目间资源的分组和管理，是逻辑隔离。企业项目中
户的用户组和用户信息的读取，对象存储文件目录的创建/删除等，对象存储标签权限接口的访问。 推荐的安全配置 不涉及。 基础设施安全性 LakeFormation实例运行在跨AZ部署集群，单AZ故障不影响LakeFormation实例的运行。 LakeFormation实例使用跨AZ
lakeformation:model:describe 查询LakeFormation元数据的模型的权限。 read - - lakeformation:model:create 授予权限以创建模型。 write lakeformation:<region>:<account-id>:
子数据库信息。 name 是 String catalog名。 models 否 Array of ModelInfo objects 子模型信息。 datasets 否 Array of DatasetInfo objects 子数据集信息。 表7 DatabaseInfo 参数
子数据库信息。 name 是 String catalog名。 models 否 Array of ModelInfo objects 子模型信息。 datasets 否 Array of DatasetInfo objects 子数据集信息。 表7 DatabaseInfo 参数
元数据的参数描述中，1个中文字符对应3个字节。 LakeFormation依赖OBS服务的并行文件系统，OBS需要基于大数据存算分离场景进行分离部署；LakeFormation元数据的存储位置对应OBS路径，与存算分离架构的MRS等大数据集群对接。OBS并行文件系统需要支持AccessLabel特性。
objects 子数据库信息。 name String catalog名。 models Array of ModelInfo objects 子模型信息。 datasets Array of DatasetInfo objects 子数据集信息。 表9 DatabaseInfo 参数 参数类型
特殊字符，且长度为1~767个字符。 uri 否 String URI columns 否 Array of strings 列名称列表。 model 否 String 模型名称。 dataset 否 String 数据集名称。 表6 Principal 参数 是否必选 参数类型 描述 principal_type
lakeformation:catalog:describe 查询Catalog元数据。 lakeformation:configuration:describe 查询配置。 lakeformation:credential:describe 查询认证信息。 lakeformation:database:describe
<value>false</value> </property> <!--需要对接的LakeFormation Catalog名称，可选配置，如果不配置则对接到hive catalog中，此处配置值仅作为参考--> <property> <name>lakecat.catalogname.default</name>
配置Spark对接LakeFormation 使用pyspark时，需要将以下配置中“spark.hadoop”开头的参数去掉“spark.hadoop”后配置到hive-site.xml配置文件中。 对接通用配置 在“spark/conf/spark-defaults.conf”中添加以下配置：
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
