检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
LakeCatConfiguration 参数 参数类型 描述 key String 配置项的key。 value String 配置项的值。 description String 配置项描述。 表6 PagedInfo 参数 参数类型 描述 current_count Integer
conf”中添加以下配置： # 项目ID，必选参数，此处配置值仅作为参考 spark.hadoop.lakeformation.project.id=项目ID # LakeFormation实例ID，可选参数，通过LakeFormation实例界面获取，如不填写则连接到默认实例，此处配置值仅作为参考
待创建函数的所属数据库。 类型 待创建函数的类型，目前支持“JAVA”类型。 函数类名 填写函数类名。 （可选）单击“函数位置”区域中的“添加函数位置”，按照需求手动添加函数包类型和函数位置，单击“确定”。支持添加多条。 “函数位置”为可选参数。 如果函数所属数据库配置了“函数存储位置”
在左侧下拉框中选择待操作的LakeFormation实例，选择“元数据 > 表”，在右上角“Catalog”和“数据库”后的下拉框中分别选择待创建表的Catalog、数据库的名称。可以查看当前数据库中包含的数据表。 单击“创建表”，配置相关参数。 在“基本信息”区域配置以下信息。 表1 基本信息配置参数 参数 参数说明
配置管理 获取所有用户可见的租户面配置 父主题： LakeCat
在左侧下拉框中选择待操作的LakeFormation实例，在左侧导航栏选择“元数据 > 数据库”。 在右上角“Catalog”后的下拉框中选择待创建数据库所属的Catalog名称。可以查看当前Catalog中包含的数据库。 单击“创建数据库”，配置相关参数。 在“基本信息”区域配置以下信息。 表1 创建数据库
准备LakeFormation实例，详细操作请参考创建LakeFormation实例。 创建LakeFormation接入客户端，并与Spark在相同的虚拟私有云、子网下，详细操作请参考管理接入客户端。 准备开发环境，详细操作请参考准备开发程序环境中“准备开发环境”部分，其中“安装和配置IntelliJ
环境准备 在配置开源Hive组件对接LakeFormation前，需要提前准备以下信息： 准备可用的开源Hive环境，目前支持Hive 2.3以及Hive 3.1两个版本，并安装Git环境。 准备LakeFormation实例，详细操作请参考创建LakeFormation实例。 创建
物理资源共享，实例间逻辑隔离。 物理资源独占，实例的性能不受其他实例的影响，可根据业务需要选择不同规格的实例。 每秒请求数（QPS） 保证2000每秒请求数。 按照用户创建实例时的选择不同。 功能对比 表2 功能对比 类型 描述 共享型实例 独享型实例 Catalog管理 LakeFormation提供数据湖
配置开源Hive组件对接LakeFormation 环境准备 配置Hive对接LakeFormation 对接后二次开发
配置开源Spark组件对接LakeFormation 环境准备 配置Spark对接LakeFormation 对接后二次开发
元数据 数据目录（Catalog） LakeFormation实例的元数据资源中的最顶层资源，即在一个LakeFormation实例下可以创建多个Catalog，包含名称、描述、位置等信息，支持创建、修改、删除等操作。 其中位置是Catalog所映射的OBS并行文件系统的文件目录。
ormation控制台。 在左侧下拉框中选择待操作的LakeFormation实例，在左侧导航栏选择“元数据 > Catalog”。 单击“创建Catalog”，配置相关参数。 在“基本信息”区域配置以下信息。 表1 创建Catalog 参数 参数说明 Catalog名称 填写待创建Catalog名称。
控制台。 在左侧下拉框中选择创建LakeFormation实例及客户端连接已创建的LakeFormation实例（例如lakeformation-test），在左侧导航栏选择“元数据 > Catalog”。 如果当前实例已包含名称为“hive”的Catalog，则跳过Catalog的创建操作。
华为云湖仓构建服务LakeFormation根据您选择的实例规格和使用时长计费。 详细的计费项及说明请参考表1。 您也可以通过LakeFormation提供的价格计算器，选择您需要的实例规格和使用时长等，来快速计算出购买LakeFormation实例的参考价格。 表1 计费项信息 实例规格 计费项 计费说明 独享型
//返回IAM认证信息 } } 集成配置。 代码通过Maven打包后将jar包放置在“spark/jars”目录下。 根据对接方式不同，补充以下配置： 使用SparkCatalogPlugin方式对接时，在spark-default.conf配置文件中补充以下配置： # 认证信息获取类，根据实现类路径填写，此处配置值仅作为参考
generateIdentity() { //返回IAM认证信息 } } 集成配置。 代码通过Maven打包后将jar包放置在“hive-xxx/lib”目录下。xxx为Hive内核版本号。 并在hive-site.xml补充以下配置： <!--认证信息获取类，此处配置值仅作为参考--> <property> <name>lakecat
MRS存量集群需要先完成元数据库和权限策略向LakeFormation实例上迁移，再配置对接。 如果需要迁移多个MRS集群中的元数据到同一个LakeFormation实例，MRS集群之间的Database名称不能重复。 MRS对接LakeFormation后，MRS组件功能约束限制：
lients 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目编号。获取方法，请参见获取项目ID。 instance_id 是 String LakeFormation实例ID。创建实例时自动生成。例如：2180518f-42b8-49
access 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目编号。获取方法，请参见获取项目ID。 instance_id 是 String LakeFormation实例ID。创建实例时自动生成。例如：2180518f-42b8-49
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
