检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
元数据的参数描述中，1个中文字符对应3个字节。 LakeFormation依赖OBS服务的并行文件系统，OBS需要基于大数据存算分离场景进行分离部署；LakeFormation元数据的存储位置对应OBS路径，与存算分离架构的MRS等大数据集群对接。OBS并行文件系统需要支持AccessLabel特性。 LakeFor
什么是配额 什么是配额？ 为防止资源滥用，平台限定了各服务资源的配额，对用户的资源数量和容量做了限制。如您最多可以创建多少台弹性云服务器、多少块云硬盘。 如果当前资源配额限制无法满足使用需要，您可以申请扩大配额。 怎样查看我的配额？ 登录管理控制台。 单击管理控制台左上角的，选择区域和项目。
RANGER：MRS集群中Ranger权限策略 日志存储位置 运行迁移任务时，产生的日志存储位置。 权限策略文件存储位置 待迁移的权限策略文件在OBS并行文件系统中的存储位置。 权限策略文件名 待迁移权限策略的文件名称。 Catalog ID 填写权限来源的Catalog名称。 “权限策略类型”选择“DLF”时配置该参数。
创建服务接入客户端 功能介绍 创建服务接入客户端。 其他限制： 同一个实例下默认最多创建20个接入客户端。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI POST
对象存储服务”，进入对象存储服务页面。 选择“并行文件系统 > 创建并行文件系统”，进入创建页面，配置相关参数后单击“立即创建”。 文件系统名称：根据界面要求设置并行文件系统名称，例如“lakeformation-test”。 其他参数根据实际情况选择。 在并行文件系统页面，单击已创建的文件系统名称，例如“lakeformation-test”。
请根据定位信息查询对应实例的话单信息。 500 00011165 找不到helm文件。 请检查helm文件是否正确。 500 00011166 创建持久卷失败。 联系运维人员。 500 00011167 创建WAF失败。 请检查WAF参数是否正确。 500 00011168 创建持久卷声明失败。 联系运维人员。
conf中补充如下配置： spark.sql.catalogImplementation=hive 在“spark/conf/”文件夹下新增文件hive-site.xml（如果已有该文件则编辑此文件），并在hive-site.xml中补充以下配置： <configuration> <!--固定配置，开启自定义metastore客户端-->
zip”和“*.rar”文件。 支持7-Zip 16.04版本。 准备依赖信息 准备LakeFormation Java SDK依赖 参考Maven SDK地址，在Maven仓库中查看LakeFormation Java SDK最新版本Jar包，并获取文件内容，例如：
例下可以创建多个Catalog，包含名称、描述、位置等信息，支持创建、修改、删除等操作。 其中位置是Catalog所映射的OBS并行文件系统的文件目录。 数据库（Database） LakeFormation实例的数据目录（Catalog）的下级资源，即在一个Catalog下可以
ile_location 否 String 用于获取元数据迁移指定库表的obs文件路径。 migration_preference_file_name 否 String 元数据迁移指定库表文件名，文件名中不得包含 <, >, :, ", /, , |, ?, * 这些特殊字符。 表6
MRS与LakeFormation对接的使用流程如下图所示： 图1 LakeFormation使用流程 约束说明 MRS对接LakeFormation前，需要注意以下约束限制： MRS集群和LakeFormation实例必须同在一个云账户下且属于同一个Region。 LakeFormation侧创建的接入客户端
已创建待添加函数的数据库及其所属Catalog。 如果配置“函数位置”参数，需已参考创建元数据存储路径提前创建了用于存储函数的OBS并行文件系统。 创建函数 登录管理控制台。 在左上角单击“”，选择“大数据 > 湖仓构建 LakeFormation”进入LakeFormation控制台。
migration_preference_file_location String 用于获取元数据迁移指定库表的obs文件路径。 migration_preference_file_name String 元数据迁移指定库表文件名，文件名中不得包含 <, >, :, ", /, , |, ?, * 这些特殊字符。 表6
勾选此项将会跳过建立内表时对OBS路径的限制。 元数据过滤策略 迁移过程中元数据的过滤策略。 按元数据类型 按自定义规则 过滤策略存储位置 迁移的自定义元数据过滤策略文件在OBS并行文件系统中的存储位置。 “元数据过滤策略”选择“按自定义规则”时配置该参数。 过滤策略文件名 迁移的自定义元数据过滤策略文件名。 “
能可能有失败风险。 文件采样率 （可选）文件采样频率。 采样率为0时，遇到空文件会跳过当前分区表之后的所有分区。该方法减少操作时间，但是准确性会降低。 重新发现策略 再次执行元数据发现时的发现策略。 全量发现：再次执行发现操作时，发现数据存储位置下的所有文件。 增量发现：再次执行
EXTERNAL_TABLE：外部表。当文件已经存在或位于远程位置时，使用外部表。 VIRTUAL_VIEW：虚拟视图。不存储实际的数据，不占用物理空间。 MATERIALIZED_VIEW：物化视图。存储实际的数据，占用物理空间。 数据存储位置 表所映射的OBS并行文件系统的文件目录。 单击“”，选
ile_location 否 String 用于获取元数据迁移指定库表的obs文件路径。 migration_preference_file_name 否 String 元数据迁移指定库表文件名，文件名中不得包含 <, >, :, ", /, , |, ?, * 这些特殊字符。 表6
号信息。 API映射表：请参见API参考。 LakeFormation云服务需要访问的租户资源包括：租户的用户组和用户信息的读取，对象存储文件目录的创建/删除等，对象存储标签权限接口的访问。 推荐的安全配置 不涉及。 基础设施安全性 LakeFormation实例运行在跨AZ部署
调测程序 配置完样例代码后，参考该章节操作导出Jar包并将jar包上传到接入LakeFormation客户端所在节点。 导出Jar包。 选择“Maven > 样例工程名称 > Lifecycle > clean”，双击“clean”运行maven的clean命令。 选择“Maven
数据库信息存储在OBS并行文件系统中的位置。 单击“”，选择位置后，单击“确定”。 所选位置只能以“obs://”开头，且必须包含一个存储对象，例如选择“obs://lakeformation-test/catalog1/database1”。如果没有合适的并行文件系统，可以单击“前往OBS创建”进行创建。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
