检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
概述 欢迎使用LakeFormation。使用LakeFormation实例，您可以通过控制台、API实现对数据湖的元数据进行统一的生命周期管理，无需再通过大数据集群的SQL引擎来管理。 您可以使用本文档提供API对LakeFormation进行相关操作，如创建删除LakeFor
多服务/多集群共享元数据 场景描述 多服务/多集群均使用统一的元数据，最大化实现数据的共享，避免不必要的重复数据，更大程度释放业务数据价值。 本服务的优势 兼容Hive元数据模型：提供兼容Hive元数据模型的SDK客户端，使计算引擎对接LakeFormation更轻松和高效。 兼
待创建表的数据源格式，目前支持以下类型： Avro Json Xml Parquet Csv Orc Text Rc Sequence 自定义 如果选择为“自定义”需要根据实际需求配置“输入格式”、“输出格式”、“Serde name”、“SerializationLib”参数。 分隔符
计费模式 实例的计费模式。 按需收费：按照LakeFormation实例实际使用时长计费。 按需收费 项目 选择实例所属的项目。 xxx 名称 自定义LakeFormation实例名称。 lakeformation-test QPS 每秒最大请求数。如果“实例类型”为“共享型”，则无需配置该参数。
的建设和管理方式。 多计算引擎共享元数据：多计算引擎共享元数据，是指客户的多种计算引擎（Hive、Spark等）均使用统一的元数据，最大化实现数据的共享，避免不必要的重复数据，更大程度释放业务数据价值。
日常的海量元数据及权限管理，因此用户需要便捷高效的建设和管理方式。 传统方式的弊端 仅支持通过计算引擎（Hive、Spark等）执行SQL实现元数据的定义、修改、查询，对用户有一定的技能要求，缺少提升易用性的可视化界面。 一个完整的授权活动，需要针对计算引擎、对象存储执行两次授权操作，对用户操作带来不便，易用性差。
通常用区域和可用区来描述数据中心的位置，您可以在特定的区域、可用区创建资源。 区域（Region）指物理的数据中心。每个区域完全独立，这样可以实现一定程度的容错能力和稳定性。资源创建成功后不能更换区域。 可用区（AZ，Availability Zone）是同一区域内，电力和网络互相隔
通常用区域和可用区来描述数据中心的位置，您可以在特定的区域、可用区创建资源。 区域（Region）指物理的数据中心。每个区域完全独立，这样可以实现一定程度的容错能力和稳定性。资源创建成功后不能更换区域。 可用区（AZ，Availability Zone）是同一区域内，电力和网络互相隔
统一生效。 提供迁移工具，支持存量MRS集群相关元数据的平滑迁移。 数智融合 打通大数据的数据壁垒，实现真正数智融合。 支持数据库、表、函数、模型、非结构化数据集等统一管理。 实现统一的细粒度数据权限管理，支持跨服务/跨集群的数据共享。 大规格高可靠 支撑超大规模大数据业务的高可靠。
足企业对权限最小化的安全管控要求。多数细粒度策略以API接口为粒度进行权限拆分，LakeFormation的自定义IAM策略操作可参考创建LakeFormation自定义IAM策略。 表1 LakeFormation系统策略 系统角色/策略名称 描述 类别 依赖关系 LakeFormation
Service，MRS） LakeFormation与MRS集群中的Ranger、Hive、Spark对接，实现湖、仓元数据统一管理。 数据仓库服务 GaussDB（DWS） LakeFormation与DWS对接，实现湖、仓元数据统一管理。
其他类型文件将会发现失败。 日志存储位置 运行元数据发现任务时，产生的日志存储位置。单击选择路径。 该路径必须已在OBS中存在，如果为自定义路径将会导致发现任务失败。 目标Catalog 待发现元数据所属Catalog名称。 目标Database 待发现元数据所属数据库名称。 冲突解决策略
AM用户/用户组，也可以通过关联LakeFormation服务的细粒度权限策略进行特性权限场景的授权，参见创建LakeFormation自定义IAM策略。当湖内数据资源较多时，建议通过LakeFormation管理控制台对数据湖内的资源进行统一权限管理。 LakeFormation配置权限时需要包含如下要素：
Studio等多种计算引擎及大数据云服务，使用户可以便捷高效地构建数据湖和运营相关业务，加速释放业务数据价值。 LakeFormation产品通过底层资源实现跨AZ部署及高可靠、弹性伸缩、元数据统一管理、元数据与文件目录联动授权、对接多计算引擎等功能，是一个Serverless服务。
元数据迁移时数据源所在的vpc的安全组id migration_filter_type 否 String 元数据过滤方式，分为按自定义规则和按元数据类型。BY_TYPE表示按元数据类型过滤，BY_PREFERENCE表示按自定义规则过滤。 枚举值： BY_TYPE BY_PREFERENCE migration_pr
/commons-codec/commons-codec/1.15/ 10 java-sdk-core-3.2.4.jar （如果仅使用自定义认证信息获取类使用Token认证，则无需补充该jar包。） https://mirrors.huaweicloud.com/reposit
aid时生效，且为必选值，表示是否自动续订，续订时会自动支付。 按月订购时续订周期默认为1个月，按年订购时续订周期默认为1年，续订周期可自定义修改。true：为自动续订。false：为不自动续订，默认该方式。 is_auto_pay 否 Boolean 购买包周期产品时，也就是c
元数据迁移时数据源所在的vpc的安全组id migration_filter_type 否 String 元数据过滤方式，分为按自定义规则和按元数据类型。BY_TYPE表示按元数据类型过滤，BY_PREFERENCE表示按自定义规则过滤。 枚举值： BY_TYPE BY_PREFERENCE migration_pr
che/logging/log4j/log4j-api/2.19.0/ 8 java-sdk-core-3.2.4.jar （如果仅使用自定义认证信息获取类使用Token认证，则无需补充该jar包。） https://mirrors.huaweicloud.com/reposit
元数据迁移时数据源所在的vpc的安全组id migration_filter_type String 元数据过滤方式，分为按自定义规则和按元数据类型。BY_TYPE表示按元数据类型过滤，BY_PREFERENCE表示按自定义规则过滤。 枚举值： BY_TYPE BY_PREFERENCE migration_pr
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
