检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
<value>false</value> </property> <!--需要对接的LakeFormation Catalog名称，可选配置，如果不配置则对接到hive catalog中，此处配置值仅作为参考--> <property> <name>lakecat.catalogname.default</name>
在左侧下拉框中选择待操作的LakeFormation实例，选择“元数据 > 表”，在右上角“Catalog”和“数据库”后的下拉框中分别选择待创建表的Catalog、数据库的名称。可以查看当前数据库中包含的数据表。 单击“创建表”，配置相关参数。 在“基本信息”区域配置以下信息。 表1 基本信息配置参数 参数 参数说明
物理资源共享，实例间逻辑隔离。 物理资源独占，实例的性能不受其他实例的影响，可根据业务需要选择不同规格的实例。 每秒请求数（QPS） 保证2000每秒请求数。 按照用户创建实例时的选择不同。 功能对比 表2 功能对比 类型 描述 共享型实例 独享型实例 Catalog管理 LakeFormation提供数据湖
conf”中添加以下配置： # 项目ID，必选参数，此处配置值仅作为参考 spark.hadoop.lakeformation.project.id=项目ID # LakeFormation实例ID，可选参数，通过LakeFormation实例界面获取，如不填写则连接到默认实例，此处配置值仅作为参考
在左侧下拉框中选择待操作的LakeFormation实例，在左侧导航栏选择“元数据 > 数据库”。 在右上角“Catalog”后的下拉框中选择待创建数据库所属的Catalog名称。可以查看当前Catalog中包含的数据库。 单击“创建数据库”，配置相关参数。 在“基本信息”区域配置以下信息。 表1 创建数据库
LakeCatConfiguration 参数 参数类型 描述 key String 配置项的key。 value String 配置项的值。 description String 配置项描述。 表6 PagedInfo 参数 参数类型 描述 current_count Integer
控制台。 在左侧下拉框中选择创建LakeFormation实例及客户端连接已创建的LakeFormation实例（例如lakeformation-test），在左侧导航栏选择“元数据 > Catalog”。 如果当前实例已包含名称为“hive”的Catalog，则跳过Catalog的创建操作。
配置管理 获取所有用户可见的租户面配置 父主题： LakeCat
ormation控制台。 在左侧下拉框中选择待操作的LakeFormation实例，在左侧导航栏选择“元数据 > Catalog”。 单击“创建Catalog”，配置相关参数。 在“基本信息”区域配置以下信息。 表1 创建Catalog 参数 参数说明 Catalog名称 填写待创建Catalog名称。
环境准备 在配置开源Hive组件对接LakeFormation前，需要提前准备以下信息： 准备可用的开源Hive环境，目前支持Hive 2.3以及Hive 3.1两个版本，并安装Git环境。 准备LakeFormation实例，详细操作请参考创建LakeFormation实例。 创建
准备LakeFormation实例，详细操作请参考创建LakeFormation实例。 创建LakeFormation接入客户端，并与Spark在相同的虚拟私有云、子网下，详细操作请参考管理接入客户端。 准备开发环境，详细操作请参考准备开发程序环境中“准备开发环境”部分，其中“安装和配置IntelliJ
MRS存量集群需要先完成元数据库和权限策略向LakeFormation实例上迁移，再配置对接。 如果需要迁移多个MRS集群中的元数据到同一个LakeFormation实例，MRS集群之间的Database名称不能重复。 MRS对接LakeFormation后，MRS组件功能约束限制：
元数据 数据目录（Catalog） LakeFormation实例的元数据资源中的最顶层资源，即在一个LakeFormation实例下可以创建多个Catalog，包含名称、描述、位置等信息，支持创建、修改、删除等操作。 其中位置是Catalog所映射的OBS并行文件系统的文件目录。
access 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目编号。获取方法，请参见获取项目ID。 instance_id 是 String LakeFormation实例ID。创建实例时自动生成。例如：2180518f-42b8-49
lients 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目编号。获取方法，请参见获取项目ID。 instance_id 是 String LakeFormation实例ID。创建实例时自动生成。例如：2180518f-42b8-49
华为云湖仓构建服务LakeFormation根据您选择的实例规格和使用时长计费。 详细的计费项及说明请参考表1。 您也可以通过LakeFormation提供的价格计算器，选择您需要的实例规格和使用时长等，来快速计算出购买LakeFormation实例的参考价格。 表1 计费项信息 实例规格 计费项 计费说明 独享型
共享型集群的元数据类型不能为HiveMetaStore。 请更换元数据类型。 400 00010055 只有非共享实例支持规格变更。 请选择非共享实例继续规格变更。 400 00010056 目前只支持扩容。 请选择更大规格进行实例规格变更。 400 00010057 默认实例设置失败，因为该实例已经是默认实例。
配置开源Spark组件对接LakeFormation 环境准备 配置Spark对接LakeFormation 对接后二次开发
generateIdentity() { //返回IAM认证信息 } } 集成配置。 代码通过Maven打包后将jar包放置在“hive-xxx/lib”目录下。xxx为Hive内核版本号。 并在hive-site.xml补充以下配置： <!--认证信息获取类，此处配置值仅作为参考--> <property> <name>lakecat
//返回IAM认证信息 } } 集成配置。 代码通过Maven打包后将jar包放置在“spark/jars”目录下。 根据对接方式不同，补充以下配置： 使用SparkCatalogPlugin方式对接时，在spark-default.conf配置文件中补充以下配置： # 认证信息获取类，根据实现类路径填写，此处配置值仅作为参考
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
