检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置开源Spark组件对接LakeFormation 环境准备 配置Spark对接LakeFormation 对接后二次开发
配置开源Hive组件对接LakeFormation 环境准备 配置Hive对接LakeFormation 对接后二次开发
show tables; 父主题： 配置开源Hive组件对接LakeFormation
父主题： 配置开源Spark组件对接LakeFormation
创建用户并授权使用LakeFormation 如果需要对LakeFormation服务进行精细的权限管理，您可以使用统一身份认证服务（Identity and Access Management，简称IAM），通过IAM，您可以： 根据企业的业务组织，在您的账号中，给企业中不同职能部门的员工创建
产品优势 生态开放 遵循开源事实标准，支撑存量业务平滑演进。 提供兼容Hive/Spark/Flink/Trino社区的元数据接口，支持计算引擎平滑对接。 提供兼容Ranger的权限接口，一次授权，统一生效。 提供迁移工具，支持存量MRS集群相关元数据的平滑迁移。
应用开发简介 湖仓构建（DataArts Lake Formation，简称LakeFormation）是企业级数据湖一站式构建服务。 在存算分离架构基础上提供数据湖元数据统一管理的可视化界面及API，兼容Hive元数据模型以及Ranger权限模型，支持对接多种计算引擎及大数据云服务
DLF：第三方数据湖构建（Data Lake Formation，DLF） MRS云数据库RDS(for MySQL) 开源HiveMetastore(for MySQL) MRS云数据库RDS(for PostgreSQL) MRS本地数据库 JDBC URL 待迁移元数据JDBC
什么是LakeFormation 湖仓构建（DataArts Lake Formation，简称LakeFormation）是企业级数据湖一站式构建服务。 在存算分离架构基础上提供数据湖元数据统一管理的可视化界面及API，兼容Hive元数据模型以及Ranger权限模型，支持对接MapReduce
父主题： 配置开源Hive组件对接LakeFormation
开启后创建资源时将使用当前用户作为资源owner，默认为false--> <property> <name>lakeformation.owner.designate</name> <value>true</value> </property> </configuration> 父主题： 配置开源
父主题： 配置开源Hive组件对接LakeFormation
环境准备 在配置开源Spark组件对接LakeFormation前，需要提前准备以下信息： 准备可用的开源Spark环境、开源Hive环境。并安装Git环境。 目前仅支持对接Spark 3.1.1以及Spark 3.3.1两个版本。对应使用Hive内核版本为2.3。
IAM权限介绍 IAM概述 如果您需要对华为云上购买的LakeFormation资源，为企业中的员工设置不同的访问权限，以达到不同员工之间的权限隔离，您可以使用统一身份认证服务（Identity and Access Management，简称IAM）进行精细的权限管理。该服务提供用户身份认证
权限及授权项说明 如果您需要对您所拥有的LakeFormation进行精细的权限管理，您可以使用统一身份认证服务（Identity and Access Management，简称IAM），如果华为云账号已经能满足您的要求，不需要创建独立的IAM用户，您可以跳过本章节，不影响您使用
是否必选 参数类型 描述 datasource_type 是 String 数据源类型： ALIYUN_DLF代表Data Lake Formation DLF、 MRS_RDS_FOR_MYSQL代表MRS云数据库RDS(for MySQL)、 OPEN_FOR_MYSQL代表开源
创建LakeFormation实例 在使用LakeFormation时，您首先需要创建一个实例，后续的操作，如管理元数据、设置元数据权限等，都是基于您创建的实例进行的。 操作步骤 登录管理控制台。 在左上角单击“”，选择“大数据 > 湖仓构建 LakeFormation”进入LakeFormation
是否必选 参数类型 描述 datasource_type 是 String 数据源类型： ALIYUN_DLF代表Data Lake Formation DLF、 MRS_RDS_FOR_MYSQL代表MRS云数据库RDS(for MySQL)、 OPEN_FOR_MYSQL代表开源
基本概念 账号 用户的账号对其所拥有的资源及云服务具有完全的访问权限，可以重置用户密码、分配用户权限等。为了确保账号安全，建议您不要直接使用账号进行日常管理工作，而是创建用户并使用用户进行日常管理工作。 用户 由账号在IAM中创建的用户，是云服务的使用人员，具有身份凭证（密码和访问密钥
MetaDataMigrationParameter 参数 参数类型 描述 datasource_type String 数据源类型： ALIYUN_DLF代表Data Lake Formation DLF、 MRS_RDS_FOR_MYSQL代表MRS云数据库RDS(for MySQL)、 OPEN_FOR_MYSQL代表开源
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
