MAPREDUCE服务 MRS-配置过滤掉分区表中路径不存在的分区:配置描述

时间：2024-11-28 01:44:27

可以通过以下两种方式配置是否过滤掉分区表分区路径不存在的分区。

在Spark Driver端的“spark-defaults.conf”配置文件中进行设置。

表1 参数说明
参数	说明	默认值
spark.sql.hive.verifyPartitionPath	配置读取Hive分区表时，是否过滤掉分区表分区路径不存在的分区。 “true”：过滤掉分区路径不存在的分区； “false”：不进行过滤。	false

在spark-submit命令提交应用时，通过“--conf”参数配置是否过滤掉分区表分区路径不存在的分区。

示例：

spark-submit --class org.apache.spark.examples.SparkPi  --conf spark.sql.hive.verifyPartitionPath=true $SPARK_HOME/lib/spark-examples_*.jar

新客秒杀 2核2G 3M L实例

68元/年

普惠上云领千元上云礼券

立即前往

企业专享 X实例 4核8G 5M

888元/年

热门域名 1元随心购

1元/年起

MAPREDUCE服务 MRS-配置过滤掉分区表中路径不存在的分区:配置描述

意见反馈

0/200

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

7*24