检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通常用区域和可用区来描述数据中心的位置，您可以在特定的区域、可用区创建资源。 区域（Region）指物理的数据中心。每个区域完全独立，这样可以实现一定程度的容错能力和稳定性。资源创建成功后不能更换区域。 可用区（AZ，Availability Zone）是同一区域内，电力和网络互相隔离的物理区域，一
keformation-test”。 在左侧导航栏选择“文件”，单击“新建文件夹”，填写待创建的文件夹名称，单击“确定”。继续单击该文件夹名称，单击“新建文件夹”，可以创建其子文件夹。 参考该步骤，依次创建用于存放元数据的路径，例如： Catalog存储路径：lakeformation-test/catalog1
数据目录（Catalog） LakeFormation实例的元数据资源中的最顶层资源，即在一个LakeFormation实例下可以创建多个Catalog，包含名称、描述、位置等信息，支持创建、修改、删除等操作。 其中位置是Catalog所映射的OBS并行文件系统的文件目录。 数据库（Database）
通常用区域和可用区来描述数据中心的位置，您可以在特定的区域、可用区创建资源。 区域（Region）指物理的数据中心。每个区域完全独立，这样可以实现一定程度的容错能力和稳定性。资源创建成功后不能更换区域。 可用区（AZ，Availability Zone）是同一区域内，电力和网络互相隔离的物理区域，一
如果没有合适的并行文件系统，可以单击“前往OBS创建”进行创建。 建议选择未被其他Catalog选中的文件夹。 描述 所创建Catalog的描述信息。 长度为0~4000字节，1个中文字符对应3个字节。 （可选）单击“数据库存储位置”区域中的“添加数据库存储位置”。单击“”可按
able1”。如果没有合适的并行文件系统，可以单击“前往OBS创建”进行创建。 必须与所属的Catalog、数据库的存储路径不同。 如果所属数据库配置了“数据表存储位置”参数，则此处存储位置必须选择为所属数据库“选择位置”的子路径、或“数据表存储位置”的子路径。 是否压缩 数据表是否压缩。
据权限中的相关权限策略，需要用户手动清理删除。 建库时路径不能为所在Catalog父路径或相同路径，不能为同一Catalog下其他数据库（除default外）路径的父路径、子路径或相同路径。 创建数据库的存储位置必须在所属Catalog的存储位置之下。 用户自定义创建的Catal
数据目录（Catalog） LakeFormation实例的元数据资源中的最顶层资源，即在一个LakeFormation实例下可以创建多个Catalog，包含名称、描述、位置等信息，支持创建、修改、删除等操作。 其中位置是Catalog所映射的OBS并行文件系统的文件目录。 数据库（Database）
如果配置了该参数，则该数据库下的数据表位置必须是该数据库“数据表存储位置”的子路径、或数据库“选择位置”的子路径。 （可选）单击“函数存储位置”区域中的“添加函数存储位置”。单击“”按照需求手动选择函数存储位置，单击“确定”。支持添加多条。 “函数存储位置”为可选参数。 “函数存储位置”可选择为所
（可选）单击“函数位置”区域中的“添加函数位置”，按照需求手动添加函数包类型和函数位置，单击“确定”。支持添加多条。 “函数位置”为可选参数。 如果函数所属数据库配置了“函数存储位置”参数，则此处存储位置必须选择为所属数据库“选择位置”的路径及其子路径、或“函数存储位置”的路径及其子路径。 单击“提交”。 创
说明： 如果数据存储位置下的文件后缀为同一类型，建议选择对应发现类型。 如果数据存储位置下的文件后缀为多种类型，建议选择“自动发现”。 如果数据存储位置下的文件不带后缀，建议选择对应类型。如果选择“自动发现”，则系统默认以Parquet类型文件进行发现，其他类型文件将会发现失败。 日志存储位置
LakeFormation云服务需要访问的租户资源包括：租户的用户组和用户信息的读取，对象存储文件目录的创建/删除等，对象存储标签权限接口的访问。 推荐的安全配置 不涉及。 基础设施安全性 LakeFormation实例运行在跨AZ部署集群，单AZ故障不影响LakeFormation实例的运行。 Lake
lakeformation:tableFile:drop 删除文件的权限。 write - - lakeformation:tableFile:create 创建文件的权限。 write - - lakeformation:tableFileGroup:create 创建文件组的权限。 write - - la
其他参数根据实际情况选择。 在并行文件系统页面，单击已创建的文件系统名称，例如“lakeformation-test”。 在左侧导航栏选择“文件”，单击“新建文件夹”，填写待创建的文件夹名称，单击“确定”。继续单击该文件夹名称，单击“新建文件夹”，可以创建其子文件夹。 参考该步骤，依次创建用于存放元数据的路径，例如：
RANGER：MRS集群中Ranger权限策略 日志存储位置 运行迁移任务时，产生的日志存储位置。 权限策略文件存储位置 待迁移的权限策略文件在OBS并行文件系统中的存储位置。 权限策略文件名 待迁移权限策略的文件名称。 Catalog ID 填写权限来源的Catalog名称。 “权限策略类型”选择“DLF”时配置该参数。
conf中补充如下配置： spark.sql.catalogImplementation=hive 在“spark/conf/”文件夹下新增文件hive-site.xml（如果已有该文件则编辑此文件），并在hive-site.xml中补充以下配置： <configuration> <!--固定配置，开启自定义metastore客户端-->
请检查输入位置路径。 400 00000071 路径应为数据库存储位置或者数据表存储位置列表的子路径。 请检查输入位置路径。 400 00000072 路径应为数据库存储位置或者函数存储位置列表的子路径。 请检查输入位置路径。 500 00000073 实例老化错误。 请检查数据老化配置。
JDK”窗口，选择对应的JDK目录，然后单击“OK”。 图4 Select Home Directory for JDK 完成JDK选择后，单击“OK”完成配置。 图5 完成JDK配置 不同的IDEA版本的操作步骤可能存在差异，以实际版本的界面操作为准。 设置项目使用的Maven版本。
过滤策略存储位置 迁移的自定义元数据过滤策略文件在OBS并行文件系统中的存储位置。 “元数据过滤策略”选择“按自定义规则”时配置该参数。 过滤策略文件名 迁移的自定义元数据过滤策略文件名。 “元数据过滤策略”选择“按自定义规则”时配置该参数。 迁移元数据对象 勾选待迁移的元数据对象
Service，OBS） LakeFormation服务的元数据所映射的实际业务数据，存储在OBS并行文件系统的目录和文件。 MapReduce服务（MapReduce Service，MRS） LakeFormation与MRS集群中的Ranger、Hive、Spark对接，实现湖、仓元数据统一管理。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
