数据湖探索 DLI-Spark2.4.x与Spark3.3.x版本在SQL队列的差异对比:Spark3.3.x版本中空字符串无引号。

时间：2024-12-28 16:25:09

说明：
默认情况下，空值在 CS V数据源中，2.4.5版本空字符串为""，升级到spark3.3.1后空字符串无引号。
- Spark2.4.x：空值在CSV数据源中为""。
- Spark3.3.x：空值在CSV数据源中无引号。
  如需在Spark3.3.x版本中恢复Spark2.4.x的格式，可以通过设置spark.sql.legacy.nullValueWrittenAsQuotedEmptyStringCsv为 true来实现。
升级引擎版本后是否对作业有影响：
有影响，导出orc文件中null值存储形式不同。

示例代码：

准备数据：

create table test_null(id int,name string) stored as parquet;
insert into test_null values(1,null);

导出csv查看文件内容

新客秒杀 2核2G 3M L实例

68元/年

普惠上云领千元上云礼券

立即前往

企业专享 X实例 4核8G 5M

888元/年

热门域名 1元随心购

1元/年起

数据湖探索 DLI-Spark2.4.x与Spark3.3.x版本在SQL队列的差异对比:Spark3.3.x版本中空字符串无引号。

意见反馈

0/200

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

7*24