检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
lakecat.client.obs.LakeFormationObsCredentialProvider # 可选参数，关闭OBS文件系统缓存，长任务需要增加该配置，避免缓存中的临时AKSK失效 spark.hadoop.fs.obs.impl.disable.cache=true
什么是项目 云的每个区域默认对应一个项目，这个项目由系统预置，用来隔离物理区域间的资源（计算资源、存储资源和网络资源），以区域默认单位为项目进行授权，IAM用户可以访问您账号中该区域的所有资源。 如果您希望进行更加精细的权限控制，可以在区域默认的项目中创建子项目，并在子项目中购买
对象存储服务”，进入对象存储服务页面。 选择“并行文件系统 > 创建并行文件系统”，进入创建页面，配置相关参数后单击“立即创建”。 文件系统名称：根据界面要求设置并行文件系统名称，例如“lakeformation-test”。 其他参数根据实际情况选择。 在并行文件系统页面，单击已创建的文件系统名称，例如“lakeformation-test”。
执行函数。 路径 READ 路径下文件的读权限。 WRITE 路径下文件的写权限。 权限管理员通常分为系统权限管理员与业务权限管理员，需要具备的IAM权限与权限管理范围不同 系统权限管理员 需要拥有以下IAM操作权限：lakeformation:policy:describe、l
接入服务授权 查询租户当前的接入服务授权 注册租户协议 查询租户是否注册协议 删除租户协议 注册租户协议 查询租户是否注册协议 删除租户协议 查询当前系统协议 父主题： Console
Catalog数据存储在OBS并行文件系统中的位置。可选参数。 单击“”，选择位置后，单击“确定”。 如果配置该参数，则所选位置只能以“obs://”开头，且必须包含一个存储对象，例如选择“obs://lakeformation-test/catalog1”。如果没有合适的并行文件系统，可以单击“前往OBS创建”进行创建。
节。 LakeFormation依赖OBS服务的并行文件系统，OBS需要基于大数据存算分离场景进行分离部署；LakeFormation元数据的存储位置对应OBS路径，与存算分离架构的MRS等大数据集群对接。OBS并行文件系统需要支持AccessLabel特性。 LakeForma
算、网络、存储等资源划分成多个集群。一个Region中的多个AZ间通过高速光纤相连，以满足用户跨AZ构建高可用性系统的需求。 项目 区域默认对应一个项目，这个项目由系统预置，用来隔离物理区域间的资源（计算资源、存储资源和网络资源），以默认项目为单位进行授权，用户可以访问您账号中该
客户端名称。只能包含字母、数字、下划线和中划线，且长度为4到32个字符。 access_mode 否 String 接入模式， SYSTEM：系统默认模式，由系统自动创建vpcep连接，也是推荐方式。该模式下vpc_id、subnet_id必填。 CUSTOM：定制模式，由外部服务自行创建v
前完成以下准备工作： 已在IAM服务中创建用于授权的IAM业务用户、用户组，用户已关联至用户组。 已在OBS服务中创建一个并行文件系统，并在文件系统中创建用于映射数据表的文件夹。 已创建对接LakeFormation所需的相关委托。例如，如果执行MRS对接LakeFormatio
对象存储服务（Object Storage Service，OBS） LakeFormation服务的元数据所映射的实际业务数据，存储在OBS并行文件系统的目录和文件。 MapReduce服务（MapReduce Service，MRS） LakeFormation与MRS集群中的Range
AM用户被授予的策略中必须包含允许“ecs:servers:list”的授权项，该接口才能调用成功。 支持的授权项 策略包含系统策略和自定义策略，如果系统策略不满足授权要求，管理员可以创建自定义策略，并通过给用户组授予自定义策略来进行精细的访问控制。策略支持的操作与API相对应，授权项列表说明如下：
“确定”，将当前实例设置为默认实例。 如果其他服务对接LakeFormation实例时，没有指定具体的LakeFormation实例ID，系统将自动访问默认实例，变更默认实例后，可能对使用LakeFormation的周边服务产生影响，请谨慎操作。 父主题： 管理LakeFormation实例
的元数据创建、修改、删除、查看等功能。 √ √ 元数据生命周期管理 LakeFormation支持配置数据的删除策略，节省空间及成本，提升系统的灵活性。 √ √ 元数据权限管理 提供针对元数据的授权、取消、查看等功能。 √ √ 元数据迁移管理 支持将外部服务的元数据全量或增量迁移
什么是LakeFormation 湖仓构建（DataArts Lake Formation，简称LakeFormation）是企业级数据湖一站式构建服务。 在存算分离架构基础上提供数据湖元数据统一管理的可视化界面及API，兼容Hive元数据模型以及Ranger权限模型，支持对接M
应用开发简介 湖仓构建（DataArts Lake Formation，简称LakeFormation）是企业级数据湖一站式构建服务。 在存算分离架构基础上提供数据湖元数据统一管理的可视化界面及API，兼容Hive元数据模型以及Ranger权限模型，支持对接多种计算引擎及大数据云服务
IAM用户：选择待授权的IAM用户。 委托用户：选择待授权的委托用户。 授权类型 资源：表示对LakeFormation实例中的资源进行授权。 路径：表示对OBS文件系统中的路径进行授权。该授权类型用于给外表或函数授权。 资源类型 选择待授权资源类型。“授权类型”选择“资源”时配置该参数。 并需要根据实际需
繁调用。 使用Token前请确保Token离过期有足够的时间，防止调用API的过程中Token过期导致调用API失败。 Token在计算机系统中代表令牌（临时）的意思，拥有Token就代表拥有某种权限。Token认证就是在调用API的时候将Token加到请求消息头，从而通过身份认证，获得操作API的权限。
项目编号。获取方法，请参见获取项目ID。 表2 Query参数 参数 是否必选 参数类型 描述 spec_code 否 String 规格编码。由系统自动生成，例如lakeformation.unit.basic.qps。 offset 否 Integer 偏移量。取值在0-100之间，默认值为0。
如果对接的环境为Spark 3.1.1，则需使用Hive 2.3.7版本。对接的环境为Spark 3.3.1，则需使用Hive 2.3.9版本。 Windows系统下需要在WSL开发环境下进行maven相关操作。 根据Hive版本下载Hive源码。 例如Hive内核版本号为2.3.9，则下载链接为https://github
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
