检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
多服务/多集群共享元数据 场景描述 多服务/多集群均使用统一的元数据，最大化实现数据的共享，避免不必要的重复数据，更大程度释放业务数据价值。 本服务的优势 兼容Hive元数据模型：提供兼容Hive元数据模型的SDK客户端，使计算引擎对接LakeFormation更轻松和高效。 兼
MRS对接LakeFormation实例 当前仅MRS 3.3.0-LTS版本集群支持对接LakeFormation。 MRS对接LakeFormation实例，相关操作请参考配置MRS 3.3.0-LTS版本集群对接LakeFormation章节。
拟私有云，必须与MRS集群在同一虚拟私有云下。 MRS集群仅支持对接LakeFormation实例中名称为hive的Catalog。 MRS存量集群需要先完成元数据库和权限策略向LakeFormation实例上迁移，再配置对接。 如果需要迁移多个MRS集群中的元数据到同一个Lak
xml中亦可生效，添加时需要去除“spark.hadoop”前缀。 对接OBS 在“spark/conf/spark-defaults.conf”中添加以下配置： # 对接OBS固定配置，Endpoint需要根据区域进行配置 spark.hadoop.fs.obs.impl=org.apache.hadoop.fs.obs
提供兼容Ranger的权限接口，一次授权，统一生效。 提供迁移工具，支持存量MRS集群相关元数据的平滑迁移。 数智融合 打通大数据的数据壁垒，实现真正数智融合。 支持数据库、表、函数、模型、非结构化数据集等统一管理。 实现统一的细粒度数据权限管理，支持跨服务/跨集群的数据共享。 大规格高可靠 支撑超大规模大数据业务的高可靠。
欢迎使用LakeFormation。使用LakeFormation实例，您可以通过控制台、API实现对数据湖的元数据进行统一的生命周期管理，无需再通过大数据集群的SQL引擎来管理。 您可以使用本文档提供API对LakeFormation进行相关操作，如创建删除LakeFormation实例、元数据库、元数据表等。
om\huaweicloud\hadoop-huaweicloud\3.1.1-hw-53.8”目录下。 jar包：https://github.com/huaweicloud/obsa-hdfs/blob/master/release/hadoop-huaweicloud-3.1
om\huaweicloud\hadoop-huaweicloud\3.1.1-hw-53.8”目录下。 jar包：https://github.com/huaweicloud/obsa-hdfs/blob/master/release/hadoop-huaweicloud-3.1
apache.hadoop.fs.obs.OBSFileSystem</value> </property> <property> <name>fs.AbstractFileSystem.obs.impl</name> <value>org.apache.hadoop.fs.obs
00010044 集群中存在使用中的用户实例。 请先释放集群关联实例。 400 00010045 集群不存在。 请使用正确的集群ID。 400 00010046 该接口达到限流阈值。 请稍后重试。 400 00010047 集群升级失败。 请刷新重试，并检查集群状态是否正常。 400
按照需求配置以下参数。 表1 购买LakeFormation实例 参数 参数说明 样例 类型 选择实例类型。 共享：共享型实例之间，通过资源复用换取CCE集群或GaussDB(for MySQL)实例等资源的使用率最大化。 独享：按照每秒查询率（QPS）上限和元数据使用量进行计费。 独享 计费模式
序号 功能名称 功能描述 阶段 相关文档 1 LakeFormation公测上线 支持基于IAM用户组统一授权管理。 元数据统一，支持与MRS集群Hive和Spark对接。 商用 LakeFormation使用流程简介
目录的创建/删除等，对象存储标签权限接口的访问。 推荐的安全配置 不涉及。 基础设施安全性 LakeFormation实例运行在跨AZ部署集群，单AZ故障不影响LakeFormation实例的运行。 LakeFormation实例使用跨AZ高可靠的存储介质来持久化数据，单AZ故障
为该角色授权后，绑定的用户将同时拥有对应的权限。 您也可以在LakeFormation与MRS集群对接后，在Ranger WebUI界面为MRS集群内的用户或用户组绑定该角色，具体操作请参考通过Ranger为MRS集群内用户绑定LakeFormation角色。 如果需要为已创建的角色授权，可参考新增授权章节进行操作。
数据目录（Catalog）是元数据管理对象，它可以包含多个数据库。 用户可在LakeFormation中创建并管理多个Catalog，用于不同外部集群的元数据隔离。 前提条件 已创建LakeFormation实例，且实例处于正常运行状态。 Catalog数据存储到OBS中，当前用户需具有OBS相关操作权限。
"input_format" : "org.apache.hadoop.hive.ql.io.avro.AvroContainerInputFormat", "output_format" : "org.apache.hadoop.hive.ql.io.avro.AvroContainerOutputFormat"
"input_format" : "org.apache.hadoop.hive.ql.io.avro.AvroContainerInputFormat", "output_format" : "org.apache.hadoop.hive.ql.io.avro.AvroContainerOutputFormat"
应用场景 数据湖建设和持续运营 多服务/多集群共享元数据
"input_format" : "org.apache.hadoop.hive.ql.io.avro.AvroContainerInputFormat", "output_format" : "org.apache.hadoop.hive.ql.io.avro.AvroContainerOutputFormat"
式。 在spark-default.conf补充以下配置： # 认证信息获取类，根据实现类路径填写，此处配置值仅作为参考 spark.hadoop.lakecat.auth.identity.util.class=com.huawei.cloud.dalf.lakecat.client
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
