检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置Spark对接LakeFormation 使用pyspark时，需要将以下配置中“spark.hadoop”开头的参数去掉“spark.hadoop”后配置到hive-site.xml配置文件中。 对接通用配置 在“spark/conf/spark-defaults.conf”中添加以下配置：
管理函数 用户在数据目录（Catalog）中可对元数据进行管理，按照业务规划创建对应函数。 前提条件 已创建LakeFormation实例，且实例处于正常运行状态。 已创建待添加函数的数据库及其所属Catalog。 如果配置“函数位置”参数，需已参考创建元数据存储路径提前创建了用于存储函数的OBS并行文件系统。
成长地图 | 华为云 湖仓构建 LakeFormation 湖仓构建 LakeFormation提供数据湖元数据统一管理的可视化界面及API，兼容Hive元数据模型以及Ranger权限模型，支持对接多种计算引擎及大数据云服务。 产品介绍 立即使用 成长地图 由浅入深，带您玩转LakeFormation
管理Catalog 数据目录（Catalog）是元数据管理对象，它可以包含多个数据库。 用户可在LakeFormation中创建并管理多个Catalog，用于不同外部集群的元数据隔离。 前提条件 已创建LakeFormation实例，且实例处于正常运行状态。 Catalog数据存
环境准备 在配置开源Spark组件对接LakeFormation前，需要提前准备以下信息： 准备可用的开源Spark环境、开源Hive环境。并安装Git环境。 目前仅支持对接Spark 3.1.1以及Spark 3.3.1两个版本。对应使用Hive内核版本为2.3。 准备Lake
环境准备 在配置开源Hive组件对接LakeFormation前，需要提前准备以下信息： 准备可用的开源Hive环境，目前支持Hive 2.3以及Hive 3.1两个版本，并安装Git环境。 准备LakeFormation实例，详细操作请参考创建LakeFormation实例。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
