检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置Hive对接LakeFormation 修改Hive服务端安装环境的“conf”目录的hive-site.xml文件，添加如下内容（部分参数值根据提示进行替换）： <property> <name>hive.metastore.session.client.class</name>
简介 在进行湖仓构建应用开发时，要准备的环境如表1所示。 同时需要准备运行调测的环境，用于验证应用程序运行正常。 表1 准备项 准备项 说明 准备LakeFormation实例 在LakeFormation控制台创建实例，或者使用已有LakeFormation实例。 创建客户端
元数据的表字段，单击“确定”。支持添加多条。 表字段：表字段是表中组成记录的一条条独立的信息。 （可选）单击“分区键”区域中的“添加分区键”。按照需求手动添加元数据的分区键，单击“确定”。支持添加多条。 分区键：分区键是一个或多个表列的有序集合。表分区键列中的值用来确定每个表行所属的数据分区。
X-Auth-Token 否 String 租户token。 表2 请求Body参数 参数 是否必选 参数类型 描述 agency_type 是 String 委托类型：JOB_TRUST-任务委托、ADMIN_TRUST-系统委托。 枚举值： JOB_TRUST ADMIN_TRUST
X-Auth-Token 否 String 租户token。 表2 请求Body参数 参数 是否必选 参数类型 描述 agency_type 是 String 委托类型：JOB_TRUST-任务委托、ADMIN_TRUST-系统委托。 枚举值： JOB_TRUST ADMIN_TRUST
K代码示例调试功能。 URI GET /v2/agency 表1 Query参数 参数 是否必选 参数类型 描述 agency_type 是 String 委托类型：JOB_TRUST-任务委托、ADMIN_TRUST-系统委托。 枚举值： JOB_TRUST ADMIN_TRUST
olicies/show 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目编号。获取方法，请参见获取项目ID。 instance_id 是 String LakeFormation实例ID。创建实例时自动生成。例如：2180518f-4
规划数据湖 MRS对接LakeFormation仅支持对接LakeFormation实例的数据目录名称为“hive”的Catalog，名称为“default”的数据库。 LakeFormation实例创建成功后，用户可按照业务规划创建相关Catalog及内部的数据库、表等元数据。
URI GET /v1/{project_id}/obs/buckets 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目编号。获取方法，请参见获取项目ID。 表2 Query参数 参数 是否必选 参数类型 描述 offset 否 Integer
“数据表存储位置”可选择为所属Catalog路径及其子路径、或“数据库存储位置”路径及其子路径。 如果配置了该参数，则该数据库下的数据表位置必须是该数据库“数据表存储位置”的子路径、或数据库“选择位置”的子路径。 （可选）单击“函数存储位置”区域中的“添加函数存储位置”。单击“”按照需
元数据发现 操作场景 当数据存储在OBS并行文件系统中，而在LakeFormation还未与对应的元数据关联时，可以通过元数据发现，来构造这些数据对应的元数据信息，从而支撑SQL引擎或者用户的应用程序的计算与分析。 当前元数据发现特性属于公测阶段，公测期产品完全免费，商业化后会根据元数据发现消耗资源收取资源费用。
配置Spark对接LakeFormation 使用pyspark时，需要将以下配置中“spark.hadoop”开头的参数去掉“spark.hadoop”后配置到hive-site.xml配置文件中。 对接通用配置 在“spark/conf/spark-defaults.conf”中添加以下配置：
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
