检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
LakeFormation支持将外部服务的元数据及其权限全量或增量迁移至当前LakeFormation实例中，对元数据及权限进行统一管理。 进行任务管理操作前，需要为当前用户委托访问LakeFormation的相关权限，用于元数据、权限迁移时写入相关数据。 前提条件 已提前参考创建用户并授权使用Lak
获取账号ID 在调用接口的时候，部分URL中需要填入账号ID，所以需要先在管理控制台上获取到账号ID。账号ID获取步骤如下： 登录管理控制台。 单击用户名，在下拉列表中单击“我的凭证”。 在“API凭证”页面中查看账号ID。 图1 获取账号ID 父主题： 附录
账号信息：不涉及，用户在LakeFormation不感知具体账号信息。 API映射表：请参见API参考。 LakeFormation云服务需要访问的租户资源包括：租户的用户组和用户信息的读取，对象存储文件目录的创建/删除等，对象存储标签权限接口的访问。 推荐的安全配置 不涉及。 基础设施安全性
本文介绍了LakeFormation服务提供的SDK语言版本，列举了最新版本SDK的获取地址。 在线生成SDK代码 API Explorer能根据需要动态生成SDK代码功能，降低您使用SDK的难度，推荐使用。 您可以在API Explorer中具体API页面的“代码示例”页签查看对应编程语言类型的SDK代码，如图1所示。
LakeFormation依赖OBS服务的并行文件系统，OBS需要基于大数据存算分离场景进行分离部署；LakeFormation元数据的存储位置对应OBS路径，与存算分离架构的MRS等大数据集群对接。OBS并行文件系统需要支持AccessLabel特性。 LakeFormation
在弹出的确认窗口中确认删除影响并勾选确认操作，单击“确定”后等待实例删除成功。 删除后，实例会放在回收站，并继续计费直到从回收站删除。 如果需要恢复已删除的实例，可在左侧导航栏单击“回收站”，单击“操作”列的“还原”，单击“确定”。 实例在回收站存放超过1天后，会自动删除，无法恢复。
xml或core-site.xml中亦可生效，添加时需要去除“spark.hadoop”前缀。 对接OBS 在“spark/conf/spark-defaults.conf”中添加以下配置： # 对接OBS固定配置，Endpoint需要根据区域进行配置 spark.hadoop.fs
操作API的权限。 Token可通过调用获取用户Token接口获取，调用本服务API需要project级别的Token，即调用获取用户Token接口时，请求body中auth.scope的取值需要选择project，如下所示。 { "auth": { "identity":
LakeFormation不会自动创建OBS桶。 LakeFormation元数据映射的数据文件和目录存储在OBS并行文件系统中。在创建LakeFormation元数据之前，需要提前创建数据存储使用的OBS并行文件系统。
环境准备 在配置开源Hive组件对接LakeFormation前，需要提前准备以下信息： 准备可用的开源Hive环境，目前支持Hive 2.3以及Hive 3.1两个版本，并安装Git环境。 准备LakeFormation实例，详细操作请参考创建LakeFormation实例。
环境准备 在配置开源Spark组件对接LakeFormation前，需要提前准备以下信息： 准备可用的开源Spark环境、开源Hive环境。并安装Git环境。 目前仅支持对接Spark 3.1.1以及Spark 3.3.1两个版本。对应使用Hive内核版本为2.3。 准备Lake
删除任务 功能介绍 删除任务，已提交或者运行中的任务，需要停止后操作删除。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI DELETE /v1/{project_i
删除Catalog对象 功能介绍 删除空的catalog对象。 删除前需要保证catalog下只有默认的数据库，且默认数据库下没有表对象，否则删除失败。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。
创建元数据存储路径 LakeFormation元数据映射的数据文件和目录存储在OBS并行文件系统中。在创建LakeFormation元数据之前，需要提前创建数据存储使用的OBS并行文件系统。 如果已存在可用的OBS并行文件系统，可跳过该章节操作。 操作步骤 创建OBS并行文件系统，详情
MRS集群仅支持对接LakeFormation实例中名称为hive的Catalog。 MRS存量集群需要先完成元数据库和权限策略向LakeFormation实例上迁移，再配置对接。 如果需要迁移多个MRS集群中的元数据到同一个LakeFormation实例，MRS集群之间的Database名称不能重复。
批量修改分区信息 功能介绍 将输入分区值组合列表所对应的分区信息批量修改为新的分区信息。 输入的每组分区值组合都需要对应一个已存在的分区，否则修改操作失败。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。
且长度为1~49个字符。不能包含中划线(-)等其他字符。 如果需要迁移多个MRS集群中的元数据到同一个LakeFormation实例，MRS集群之间的Database名称不能重复。 如果需要进行多次迁移，表的列更新需要满足列排序和列类型一致的兼容性要求。 操作步骤 登录管理控制台。
LakeFormation适用于以下场景： 数据湖建设和持续运营：数据湖建设和持续运营，是指数据湖的初始化建设及后续日常的海量元数据及权限管理，因此客户需要便捷高效的建设和管理方式。 多计算引擎共享元数据：多计算引擎共享元数据，是指客户的多种计算引擎（Hive、Spark等）均使用统一的元数据
确认并勾选操作影响后，单击“确定”。 如果发生报错，请根据报错详情进行处理。 删除后，实例会放在回收站，并继续计费直到从回收站删除。 如果需要恢复已删除的实例，可在左侧导航栏单击“回收站”，单击“操作”列的“还原”，单击“确定”。 实例在回收站存放超过1天后，会自动删除，无法恢复。
事件通知主题：选择需要通知的主题，可以在管理控制台选择“消息通知服务 SMN”进行配置。 事件：需要通知的主题状态，可选择“任务成功”、“任务失败”。 创建完成后，单击“操作”列的“运行”即可运行当前迁移任务。 单击“查看日志”可以查看任务运行产生的日志。 在运行迁移任务前，需要已对用户进行任务授权，详情请参考任务授权。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
