华为云首页用户手册

数据湖探索 DLI-Spark 2.4.x与Spark 3.3.x版本在SQL队列的差异对比:空值分区的查询语句不同

数据湖探索 DLI-Spark 2.4.x与Spark 3.3.x版本在SQL队列的差异对比:空值分区的查询语句不同

时间：2025-02-12 15:01:58

数据湖探索 DLI

空值分区的查询语句不同

说明：
- Spark2.4.x：
  Spark 3.0.1或更早版本中，如果分区列是字符串类型，则将其解析为其文本表示形式的字符串文本，例如字符串“null”。
  
  通过part_col='null'查询空值分区的数据。
- Spark3.3.x：
  `PARTITION(col=null)`始终在分区规范中解析为null，即使分区列是字符串类型。
  
  通过part_col is null查询空值分区的数据。
升级引擎版本后是否对作业有影响：
有影响，涉及对空值分区的查询需要适配
示例代码：
准备数据：
```
CREATE TABLE test_part_null (col1 INT, p1 STRING) USING PARQUET PARTITIONED BY (p1);INSERT INTO TABLE test_part_null PARTITION (p1 = null) SELECT 0;
```
执行sql：
```
select * from test_part_null;
```
- Spark 2.4.5
```
0 null
```
  Spark 2.4.5版本执行select * from test_part_null where p1='null'可查到分区数据。
- Spark 3.3.1
```
0
```
  Spark 3.3.1版本执行select * from test_part_null where p1 is null才可查询到数据。

上一篇：数据湖探索 DLI-Spark 2.4.x与Spark 3.3.x版本在SQL队列的差异对比:默认配置spark.sql.adaptive.enabled=true

下一篇：数据湖探索 DLI-Spark 2.4.x与Spark 3.3.x版本在SQL队列的差异对比:SHOW TABLE EXTENDED输出的schema变化

新客秒杀 2核2G 3M L实例

68元/年

普惠上云领千元上云礼券

立即前往

企业专享 X实例 4核8G 5M

888元/年

热门域名 1元随心购

1元/年起

数据湖探索 DLI-Spark 2.4.x与Spark 3.3.x版本在SQL队列的差异对比:空值分区的查询语句不同

意见反馈

0/200

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

推荐文章

解决方案
相关专题