检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Formation DLF、 MRS_RDS_FOR_MYSQL代表MRS云数据库RDS(for MySQL)、 OPEN_FOR_MYSQL代表开源HiveMetastore(for MySQL)、 MRS_RDS_FOR_PG代表MRS云数据库RDS(for PostgreSQL)、 M
Formation DLF、 MRS_RDS_FOR_MYSQL代表MRS云数据库RDS(for MySQL)、 OPEN_FOR_MYSQL代表开源HiveMetastore(for MySQL)、 MRS_RDS_FOR_PG代表MRS云数据库RDS(for PostgreSQL)、 M
选择待迁移数据的数据源类型。 DLF：第三方数据湖构建（Data Lake Formation，DLF） MRS云数据库RDS(for MySQL) 开源HiveMetastore(for MySQL) MRS云数据库RDS(for PostgreSQL) MRS本地数据库 JDBC URL 待迁移元数据
购买LakeFormation实例 参数 参数说明 样例 类型 选择实例类型。 共享：共享型实例之间，通过资源复用换取CCE集群或GaussDB(for MySQL)实例等资源的使用率最大化。 独享：按照每秒查询率（QPS）上限和元数据使用量进行计费。 独享 计费模式 实例的计费模式。 按需收费：按
> 样例工程名称 > Lifecycle > install”，双击“install”运行maven的install命令。 图1 maven工具clean和install 使用maven命令打包后，执行以下命令将jar包上传到接入LakeFormation客户端所在节点。 java
LakeFormation使用流程简介 该LakeFormation入门教程介绍了如何创建一个LakeFormation实例并与MRS集群对接，实现统一的数据湖元数据及权限管理。 使用流程简介 MRS与LakeFormation对接的使用流程如下图所示： 图1 LakeFormation使用流程
Formation DLF、 MRS_RDS_FOR_MYSQL代表MRS云数据库RDS(for MySQL)、 OPEN_FOR_MYSQL代表开源HiveMetastore(for MySQL)、 MRS_RDS_FOR_PG代表MRS云数据库RDS(for PostgreSQL)、 M
SDK概述 本文介绍了LakeFormation服务提供的SDK语言版本，列举了最新版本SDK的获取地址。 在线生成SDK代码 API Explorer能根据需要动态生成SDK代码功能，降低您使用SDK的难度，推荐使用。 您可以在API Explorer中具体API页面的“代码示
配置Spark对接LakeFormation 使用pyspark时，需要将以下配置中“spark.hadoop”开头的参数去掉“spark.hadoop”后配置到hive-site.xml配置文件中。 对接通用配置 在“spark/conf/spark-defaults.conf”中添加以下配置：
提供兼容Hive/Spark/Flink/Trino社区的元数据接口，支持计算引擎平滑对接。 提供兼容Ranger的权限接口，一次授权，统一生效。 提供迁移工具，支持存量MRS集群相关元数据的平滑迁移。 数智融合 打通大数据的数据壁垒，实现真正数智融合。 支持数据库、表、函数、模型、非结构化数据集等统一管理。
数据湖建设和持续运营 场景描述 数据湖建设和持续运营，是指数据湖的初始化建设及后续日常的海量元数据及权限管理，因此用户需要便捷高效的建设和管理方式。 传统方式的弊端 仅支持通过计算引擎（Hive、Spark等）执行SQL实现元数据的定义、修改、查询，对用户有一定的技能要求，缺少提升易用性的可视化界面。
安装Java和JDK环境 已安装Java环境，Java版本要求使用JDK1.8或更高版本。 安装和配置IntelliJ IDEA 用于开发应用程序的工具，版本要求：2019.1或其他兼容版本。 说明： 若使用IBM JDK，请确保IntelliJ IDEA中的JDK配置为IBM JDK。 若使用Oracle
500 00011052 ZooKeeper健康检查失败。 请检查ZooKeeper服务的状态。 500 00011053 MySQL健康检查失败。 请检查MySQL服务的状态。 500 00011054 OBS健康检查失败。 请检查OBS服务的状态。 500 00011055 集群健康检查失败
元数据 数据目录（Catalog） LakeFormation实例的元数据资源中的最顶层资源，即在一个LakeFormation实例下可以创建多个Catalog，包含名称、描述、位置等信息，支持创建、修改、删除等操作。 其中位置是Catalog所映射的OBS并行文件系统的文件目录。
元数据发现 操作场景 当数据存储在OBS并行文件系统中，而在LakeFormation还未与对应的元数据关联时，可以通过元数据发现，来构造这些数据对应的元数据信息，从而支撑SQL引擎或者用户的应用程序的计算与分析。 当前元数据发现特性属于公测阶段，公测期产品完全免费，商业化后会根据元数据发现消耗资源收取资源费用。
概述 欢迎使用LakeFormation。使用LakeFormation实例，您可以通过控制台、API实现对数据湖的元数据进行统一的生命周期管理，无需再通过大数据集群的SQL引擎来管理。 您可以使用本文档提供API对LakeFormation进行相关操作，如创建删除LakeFor
对接后二次开发 用户可根据需要进行二次开发，当前提供以下样例： 自定义认证信息获取类：用于获取访问LakeFormation服务的IAM认证信息。 自定义用户信息获取类：用于获取当前访问LakeFormation的用户。 自定义认证信息获取类 认证信息获取类（IdentityGe
功能总览 功能总览 全部 LakeFormation 实例管理 元数据管理 数据权限授权 数据迁移 接入客户端管理 LakeFormation LakeFormation是企业级湖仓一站式构建服务，提供湖仓元数据统一管理的可视化界面及API，兼容Hive元数据模型以及Ranger
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
