检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
资产识别与管理 资产识别 资产信息：元数据信息、数据权限策略信息。 账号信息：不涉及，用户在LakeFormation不感知具体账号信息。 API映射表：请参见API参考。 LakeFormation云服务需要访问的租户资源包括：租户的用户组和用户信息的读取，对象存储文件目录的创
如何获取AK/SK AK/SK（Access Key ID/Secret Access Key）即访问密钥，包含访问密钥ID（AK）和秘密访问密钥（SK）两部分，系统通过AK识别用户的身份，通过SK对请求数据进行签名验证，用于确保请求的机密性、完整性和请求者身份的正确性。 登录华为云管理控制台。
什么是项目 云的每个区域默认对应一个项目，这个项目由系统预置，用来隔离物理区域间的资源（计算资源、存储资源和网络资源），以区域默认单位为项目进行授权，IAM用户可以访问您账号中该区域的所有资源。 如果您希望进行更加精细的权限控制，可以在区域默认的项目中创建子项目，并在子项目中购买
身份认证与访问控制 身份认证 Console界面本租户IAM用户访问LakeFormation。 LakeFormation针对界面下发的HTTPS请求中IAM Token进行认证，识别出租户、IAM用户等身份。认证失败则拒绝请求。 Console界面其他租户IAM用户切换到本租
(%)，取值范围为 0到100，100表示百分之百全量扫描，0表示每个文件夹下只扫描一个文件。 table_depth 否 Integer 表深度。假设有路径obs://a/b/c/d/e=1/f=99，用户设置了数据存储路径为obs://a/b，则分组层级2代表以d为分界，d为ta
(%)，取值范围为 0到100，100表示百分之百全量扫描，0表示每个文件夹下只扫描一个文件。 table_depth 否 Integer 表深度。假设有路径obs://a/b/c/d/e=1/f=99，用户设置了数据存储路径为obs://a/b，则分组层级2代表以d为分界，d为ta
创建LakeFormation实例 在使用LakeFormation时，您首先需要创建一个实例，后续的操作，如管理元数据、设置元数据权限等，都是基于您创建的实例进行的。 操作步骤 登录管理控制台。 在左上角单击“”，选择“大数据 > 湖仓构建 LakeFormation”进入LakeFormation控制台。
(%)，取值范围为 0到100，100表示百分之百全量扫描，0表示每个文件夹下只扫描一个文件。 table_depth Integer 表深度。假设有路径obs://a/b/c/d/e=1/f=99，用户设置了数据存储路径为obs://a/b，则分组层级2代表以d为分界，d为ta
认证鉴权 调用接口有如下两种认证方式，您可以选择其中一种进行认证鉴权。 Token认证：通过Token认证调用请求。 AK/SK认证：通过AK（Access Key ID）/SK（Secret Access Key）加密调用请求。推荐使用AK/SK认证，其安全性比Token认证要高。
元数据发现 操作场景 当数据存储在OBS并行文件系统中，而在LakeFormation还未与对应的元数据关联时，可以通过元数据发现，来构造这些数据对应的元数据信息，从而支撑SQL引擎或者用户的应用程序的计算与分析。 当前元数据发现特性属于公测阶段，公测期产品完全免费，商业化后会根据元数据发现消耗资源收取资源费用。
配置Spark对接LakeFormation 使用pyspark时，需要将以下配置中“spark.hadoop”开头的参数去掉“spark.hadoop”后配置到hive-site.xml配置文件中。 对接通用配置 在“spark/conf/spark-defaults.conf”中添加以下配置：
IAM权限介绍 IAM概述 如果您需要对华为云上购买的LakeFormation资源，为企业中的员工设置不同的访问权限，以达到不同员工之间的权限隔离，您可以使用统一身份认证服务（Identity and Access Management，简称IAM）进行精细的权限管理。该服务提
新增授权 用户可通过LakeFormation管理控制台对数据湖内的资源进行统一权限管理，针对不同的授权主体进行授权。 在进行授权前，需确认待授权主体已存在，例如IAM用户组已提前创建。 用户可通过LakeFormation管理控制台对数据湖内的资源进行统一权限管理，对于IAM用
查询授权 本章节主要为您说明如何进行查询已有的数据授权信息。 操作步骤 登录管理控制台。 在左上角单击“”，选择“大数据 > 湖仓构建 LakeFormation”进入LakeFormation控制台。 在左侧下拉框中选择待操作的LakeFormation实例，选择“数据权限 >
配置LakeFormation实例 LakeFormation实例创建完成后，可以在实例“总览”页面对LakeFormation实例进行变更实例规格、设置默认实例等操作。 变更实例规格：对当前实例的QPS规格进行变更。仅独享型实例支持该操作。 设置默认实例：设置当前实例为默认实例
元数据迁移 操作场景 用户可以参考该章节将外部的元数据迁移至LakeFormation并将数据存储在OBS中进行统一管理。 在迁移hive元数据时，为避免迁移元数据时发生路径冲突，建议hive Catalog路径与default数据库路径保持一致。 前提条件 当前实例已创建存储迁移元数据的Catalog。
环境准备 在配置开源Spark组件对接LakeFormation前，需要提前准备以下信息： 准备可用的开源Spark环境、开源Hive环境。并安装Git环境。 目前仅支持对接Spark 3.1.1以及Spark 3.3.1两个版本。对应使用Hive内核版本为2.3。 准备Lake
环境准备 在配置开源Hive组件对接LakeFormation前，需要提前准备以下信息： 准备可用的开源Hive环境，目前支持Hive 2.3以及Hive 3.1两个版本，并安装Git环境。 准备LakeFormation实例，详细操作请参考创建LakeFormation实例。
管理Catalog 数据目录（Catalog）是元数据管理对象，它可以包含多个数据库。 用户可在LakeFormation中创建并管理多个Catalog，用于不同外部集群的元数据隔离。 前提条件 已创建LakeFormation实例，且实例处于正常运行状态。 Catalog数据存
管理数据库 LakeFormation的一个Catalog下可以创建多个数据库，通过集中式的元数据管理，可以有效提升数据资产价值。 前提条件 已创建LakeFormation实例，且实例处于正常运行状态。 已创建待添加数据库的Catalog。 已参考创建元数据存储路径提前创建了用于存储数据库的OBS并行文件系统。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
