检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
元数据发现 操作场景 当数据存储在OBS并行文件系统中，而在LakeFormation还未与对应的元数据关联时，可以通过元数据发现，来构造这些数据对应的元数据信息，从而支撑SQL引擎或者用户的应用程序的计算与分析。 当前元数据发现特性属于公测阶段，公测期产品完全免费，商业化后会根据元数据发现消耗资源收取资源费用。
准备开发程序环境 准备开发环境 在进行LakeFormation Java SDK开发程序前，要准备的开发环境如表1所示。 表1 开发环境 准备项 说明 安装Java和JDK环境 已安装Java环境，Java版本要求使用JDK1.8或更高版本。 安装和配置IntelliJ IDEA
管理函数 用户在数据目录（Catalog）中可对元数据进行管理，按照业务规划创建对应函数。 前提条件 已创建LakeFormation实例，且实例处于正常运行状态。 已创建待添加函数的数据库及其所属Catalog。 如果配置“函数位置”参数，需已参考创建元数据存储路径提前创建了用于存储函数的OBS并行文件系统。
管理Catalog 数据目录（Catalog）是元数据管理对象，它可以包含多个数据库。 用户可在LakeFormation中创建并管理多个Catalog，用于不同外部集群的元数据隔离。 前提条件 已创建LakeFormation实例，且实例处于正常运行状态。 Catalog数据存
配置Hive对接LakeFormation 修改Hive服务端安装环境的“conf”目录的hive-site.xml文件，添加如下内容（部分参数值根据提示进行替换）： <property> <name>hive.metastore.session.client.class</name>
开发流程 开发流程如下： 表1 开发流程 阶段 说明 参考文档 环境准备 准备LakeFormation开发环境 环境准备 根据场景编写程序 使用LakeFormation SDK编写程序 使用LakeFormation Java SDK开发程序 父主题： 服务介绍
简介 在进行湖仓构建应用开发时，要准备的环境如表1所示。 同时需要准备运行调测的环境，用于验证应用程序运行正常。 表1 准备项 准备项 说明 准备LakeFormation实例 在LakeFormation控制台创建实例，或者使用已有LakeFormation实例。 创建客户端
规划数据湖 MRS对接LakeFormation仅支持对接LakeFormation实例的数据目录名称为“hive”的Catalog，名称为“default”的数据库。 LakeFormation实例创建成功后，用户可按照业务规划创建相关Catalog及内部的数据库、表等元数据。
配置Spark对接LakeFormation 使用pyspark时，需要将以下配置中“spark.hadoop”开头的参数去掉“spark.hadoop”后配置到hive-site.xml配置文件中。 对接通用配置 在“spark/conf/spark-defaults.conf”中添加以下配置：
功能总览 功能总览 全部 LakeFormation 实例管理 元数据管理 数据权限授权 数据迁移 接入客户端管理 LakeFormation LakeFormation是企业级湖仓一站式构建服务，提供湖仓元数据统一管理的可视化界面及API，兼容Hive元数据模型以及Ranger
配置LakeFormation实例 LakeFormation实例创建完成后，可以在实例“总览”页面对LakeFormation实例进行变更实例规格、设置默认实例等操作。 变更实例规格：对当前实例的QPS规格进行变更。仅独享型实例支持该操作。 设置默认实例：设置当前实例为默认实例
什么是LakeFormation 湖仓构建（DataArts Lake Formation，简称LakeFormation）是企业级数据湖一站式构建服务，在存算分离架构基础上提供数据湖元数据统一管理的可视化界面及API，兼容Hive元数据模型以及Ranger权限模型，支持对接Ma
资产识别与管理 资产识别 资产信息：元数据信息、数据权限策略信息。 账号信息：不涉及，用户在LakeFormation不感知具体账号信息。 API映射表：请参见API参考。 LakeFormation云服务需要访问的租户资源包括：租户的用户组和用户信息的读取，对象存储文件目录的创
创建元数据存储路径 LakeFormation元数据映射的数据文件和目录存储在OBS并行文件系统中。在创建LakeFormation元数据之前，需要提前创建数据存储使用的OBS并行文件系统。 如果已存在可用的OBS并行文件系统，可跳过该章节操作。 操作步骤 登录管理控制台。 在页面左上角单击，选择“存储
LakeFormation使用流程简介 该LakeFormation入门教程介绍了如何创建一个LakeFormation实例并与MRS集群对接，实现统一的数据湖元数据及权限管理。 使用流程简介 MRS与LakeFormation对接的使用流程如下图所示： 图1 LakeFormation使用流程
创建用户并授权使用LakeFormation 如果需要对LakeFormation服务进行精细的权限管理，您可以使用统一身份认证服务（Identity and Access Management，简称IAM），通过IAM，您可以： 根据企业的业务组织，在您的账号中，给企业中不同职
基于策略授权的服务授权项 云服务在IAM预置了常用授权项，称为系统策略。如果IAM系统策略无法满足授权要求，管理员可以根据各服务支持的授权项，创建IAM自定义策略来进行精细的访问控制，IAM自定义策略是对系统策略的扩展和补充。 除IAM服务外，Organizations服务中的服务控制策略（Service
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
