湖仓构建 LAKEFORMATION-配置Spark对接LakeFormation:对接通用配置

时间:2024-04-03 14:31:31

对接通用配置

在“spark/conf/spark-defaults.conf”中添加以下配置:

# 项目ID,必选参数,此处配置值仅作为参考
spark.hadoop.lakeformation.project.id=项目ID
# LakeFormation实例ID,可选参数,通过LakeFormation实例界面获取,如不填写则连接到默认实例,此处配置值仅作为参考
spark.hadoop.lakeformation.instance.id=LakeFormation实例ID
#访问lakeformation  IAM 认证AK信息,可选参数,如果为自定义认证信息获取类可忽略
spark.hadoop.lakeformation.authentication.access.key=AK信息
#访问lakeformation IAM认证SK信息,可选参数,如果为自定义认证信息获取类可忽略
spark.hadoop.lakeformation.authentication.secret.key=SK信息
#访问lakeformation IAM认证信息securitytoken,可选参数,搭配临时AK/SK使用,如果使用永久AK/SK或自定义认证信息获取类可忽略
spark.hadoop.lakeformation.authentication.security.token=securitytoken信息

其中项目ID为必选配置,其他为可选配置,根据实际情况进行填写。

将上述配置添加到hive-site.xml或core-site.xml中亦可生效,添加时需要去除“spark.hadoop”前缀。

support.huaweicloud.com/bestpractice-lakeformation/lakeformation_08_0003.html