数据湖探索 DLI-Spark 2.4.x与Spark 3.3.x版本在SQL队列的差异对比:ADD PARTITION新增支持使用类型化文字

时间：2025-02-12 15:01:58

数据湖探索 DLI

ADD PARTITION新增支持使用类型化文字

说明：
- Spark2.4.x：
  在Spark 2.4.x版本中，使用ADD PARTITION时，如果使用类型化文字（例如date'2020-01-01'），分区值会被解析为字符串值date'2020-01-01'，会生成一个非法的日期值，因此会添加一个值为null的分区。
  
  正确的做法是使用字符串值，例如ADD PARTITION(dt = '2020-01-01')
- Spark3.3.x：在Spark 3.3.x版本中，对分区操作支持使用类型化文字，支持使用ADD PARTITION(dt = date'2020-01-01')，并且可以正确地将分区值解析为日期类型，而不是字符串。
升级引擎版本后是否对作业有影响：
有影响，ADD PARTITION中对于类型化文字的处理方式的变化。

示例代码：

准备数据：

create table test_part_type (id int,name string,pt date) PARTITIONED by (pt);insert into test_part_type partition (pt = '2021-01-01') select 1,'name1';insert into test_part_type partition (pt = date'2021-01-01') select 1,'name1';

执行sql：

select id,name,pt from test_part_type;（配置参数spark.sql.forcePartitionPredicatesOnPartitionedTable.enabled为false)

Spark 2.4.5
```
1 name1 2021-01-011 name1
```
Spark 3.3.1
```
1 name1 2021-01-011 name1 2021-01-01
```

上一篇：数据湖探索 DLI-Spark 2.4.x与Spark 3.3.x版本在SQL队列的差异对比:默认配置spark.sql.adaptive.enabled=true

下一篇：数据湖探索 DLI-Spark 2.4.x与Spark 3.3.x版本在SQL队列的差异对比:空值分区的查询语句不同

新客秒杀 2核2G 3M L实例

68元/年

普惠上云领千元上云礼券

立即前往

企业专享 X实例 4核8G 5M

888元/年

热门域名 1元随心购

1元/年起

数据湖探索 DLI-Spark 2.4.x与Spark 3.3.x版本在SQL队列的差异对比:ADD PARTITION新增支持使用类型化文字

意见反馈

0/200

提交取消

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

数据湖探索 DLI-Spark 2.4.x与Spark 3.3.x版本在SQL队列的差异对比:ADD PARTITION新增支持使用类型化文字

数据湖探索 DLI-Spark 2.4.x与Spark 3.3.x版本在SQL队列的差异对比:ADD PARTITION新增支持使用类型化文字

ADD PARTITION新增支持使用类型化文字

7*24

备案

专业服务

退订

建议反馈

售前咨询热线