检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置Spark对接LakeFormation 使用pyspark时，需要将以下配置中“spark.hadoop”开头的参数去掉“spark.hadoop”后配置到hive-site.xml配置文件中。 对接通用配置 在“spark/conf/spark-defaults.conf”中添加以下配置：
Formation DLF、 MRS_RDS_FOR_MYSQL代表MRS云数据库RDS(for MySQL)、 OPEN_FOR_MYSQL代表开源HiveMetastore(for MySQL)、 MRS_RDS_FOR_PG代表MRS云数据库RDS(for PostgreSQL)、 M
选择待迁移数据的数据源类型。 DLF：第三方数据湖构建（Data Lake Formation，DLF） MRS云数据库RDS(for MySQL) 开源HiveMetastore(for MySQL) MRS云数据库RDS(for PostgreSQL) MRS本地数据库 JDBC URL 待迁移元数据
请检查许可证是否存在。 400 00010092 无匹配许可证模式。 请检查许可证模式。 400 00010093 许可证bbom为空。 请检查许可证bbom。 400 00010094 无匹配bbom编号。 请检查bbom编号。 400 00010095 无匹配bbom类型。 请检查bbom类型。
购买LakeFormation实例 参数 参数说明 样例 类型 选择实例类型。 共享：共享型实例之间，通过资源复用换取CCE集群或GaussDB(for MySQL)实例等资源的使用率最大化。 独享：按照每秒查询率（QPS）上限和元数据使用量进行计费。 独享 计费模式 实例的计费模式。 按需收费：按
设为默认实例 功能介绍 设为默认实例，只有非默认实例可以设置为默认实例。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI POST /v1/{project_id}/
81a25。 表2 Query参数 参数 是否必选 参数类型 描述 name_pattern 否 String 任务名通配符，用于任务名的匹配。 type 是 String METADATA_MIGRATION：元数据迁移、 PERMISSION_MIGRATION：数据权限迁移、
成长地图 由浅入深，带您玩转LakeFormation 01 了解 了解LakeFormation的产品架构、功能和基础知识，有助于您更准确地匹配实际业务，让作业开发变得更简单、更方便。 产品介绍 什么是LakeFormation 实例规格 应用场景 02 入门 LakeFormat
批量删除分区信息 功能介绍 非事务表：如果设置删除数据，立刻删除分区数据路径下的数据。 事务表：如果设置删除数据，保留数据在原路径下但对外不可见，待数据超期后统一删除。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SD
Formation DLF、 MRS_RDS_FOR_MYSQL代表MRS云数据库RDS(for MySQL)、 OPEN_FOR_MYSQL代表开源HiveMetastore(for MySQL)、 MRS_RDS_FOR_PG代表MRS云数据库RDS(for PostgreSQL)、 M
Formation DLF、 MRS_RDS_FOR_MYSQL代表MRS云数据库RDS(for MySQL)、 OPEN_FOR_MYSQL代表开源HiveMetastore(for MySQL)、 MRS_RDS_FOR_PG代表MRS云数据库RDS(for PostgreSQL)、 M
授权主体名称添加对应的前缀、后缀。 需要分别配置“用户转换对象”、“用户组转换对象”、“角色转换对象”，及其“前缀”和“后缀”。建议非IAM用户、非IAM用户组授权主体转换为角色。 “权限策略类型”为“DLF”时无需配置该参数。 事件通知策略 （当前该功能为公测阶段） （可选）配
元数据 数据目录（Catalog） LakeFormation实例的元数据资源中的最顶层资源，即在一个LakeFormation实例下可以创建多个Catalog，包含名称、描述、位置等信息，支持创建、修改、删除等操作。 其中位置是Catalog所映射的OBS并行文件系统的文件目录。
元数据发现 操作场景 当数据存储在OBS并行文件系统中，而在LakeFormation还未与对应的元数据关联时，可以通过元数据发现，来构造这些数据对应的元数据信息，从而支撑SQL引擎或者用户的应用程序的计算与分析。 当前元数据发现特性属于公测阶段，公测期产品完全免费，商业化后会根据元数据发现消耗资源收取资源费用。
20b-adfc53981a25。 表2 Query参数 参数 是否必选 参数类型 描述 role_pattern 否 String 模糊匹配角色名称。只能包含字母、数字和_|*.-特殊字符，且长度为1~255个字符。 limit 否 Integer 查询返回条数。默认值为100。最小值为1，最大值为1000。
概述 欢迎使用LakeFormation。使用LakeFormation实例，您可以通过控制台、API实现对数据湖的元数据进行统一的生命周期管理，无需再通过大数据集群的SQL引擎来管理。 您可以使用本文档提供API对LakeFormation进行相关操作，如创建删除LakeFor
长度为1~255个字符。 表2 Query参数 参数 是否必选 参数类型 描述 principal_pattern 否 String 模糊匹配主体名称。只能包含中文、字母、数字和_|*.-特殊字符，且长度为1~49个字符。 limit 否 Integer 查询返回条数。默认值为100。最小值为1，最大值为1000。
ion实例的权限进行比对，删除LakeFormation上不存在的非默认策略，请先完成权限策略迁移到LakeFormation实例上。 RangerAdmin WebUI界面的Hive模块，禁止执行添加、删除权限非默认策略的操作，统一在LakeFormation实例的数据权限界面进行授权操作。
用户名。只能包含字母、数字、下划线和中划线，且长度为1~256个字符。 表2 Query参数 参数 是否必选 参数类型 描述 role_pattern 否 String 模糊匹配角色名称。只能包含字母、数字和_|*.-特殊字符，且长度为1~255个字符。 limit 否 Integer 查询返回条数。默认值为100。最小值为1，最大值为1000。
数据湖建设和持续运营 场景描述 数据湖建设和持续运营，是指数据湖的初始化建设及后续日常的海量元数据及权限管理，因此用户需要便捷高效的建设和管理方式。 传统方式的弊端 仅支持通过计算引擎（Hive、Spark等）执行SQL实现元数据的定义、修改、查询，对用户有一定的技能要求，缺少提升易用性的可视化界面。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
