MAPREDUCE服务 MRS-配置过滤掉分区表中路径不存在的分区:配置描述

时间：2024-06-29 16:25:21

可以通过以下两种方式配置是否过滤掉分区表分区路径不存在的分区。

在Spark Driver端的“spark-defaults.conf”配置文件中进行设置。

表1 参数说明
参数	说明	默认值
spark.sql.hive.verifyPartitionPath	配置读取HIVE分区表时，是否过滤掉分区表分区路径不存在的分区。 “true”：过滤掉分区路径不存在的分区； “false”：不进行过滤。	false

在spark-submit命令提交应用时，通过“--conf”参数配置是否过滤掉分区表分区路径不存在的分区。

示例：

spark-submit --class org.apache.spark.examples.SparkPi  --conf spark.sql.hive.verifyPartitionPath=true $SPARK_HOME/lib/spark-examples_*.jar

MAPREDUCE服务 MRS-配置过滤掉分区表中路径不存在的分区:配置描述

意见反馈

0/200

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

7*24