数据湖探索 DLI-Spark 2.4.x与Spark 3.3.x版本在SQL队列的差异对比:TIMESTAMP类型字段读取差异

时间：2025-01-10 09:17:46

数据湖探索 DLI

TIMESTAMP类型字段读取差异

说明：
TIMESTAMP类型字段读取差异，对于Asia/Shanghai时区，时间在1900-01-01 08:05:43之前的值，Spark 2.4.5版本写入后Spark 3.3.1版本读取值与Spark 2.4.5版本读取值不同。
- Spark2.4.x：
  以Asia/Shanghai时区的 1900-01-01 00:00:00 为例，通过Spark 2.4.5版本队列写入，Spark 2.4.5版本读取后得到的值为 -2209017600000。
- Spark3.3.x：
  以Asia/Shanghai时区的 1900-01-01 00:00:00 为例，通过Spark 2.4.5版本队列写入，Spark 3.3.1版本配置spark.sql.parquet.int96RebaseModeInRead=LEGACY，读取后得到的值为 -2209017943000。
升级引擎版本后是否对作业有影响：
有影响，需要评估TIMESTAMP类型字段的使用方式。

示例代码：

在SQL界面配置：

spark.sql.session.timeZone=Asia/Shanghai

Spark 2.4.5

create table parquet_timestamp_test (id int, col0 string, col1 timestamp) using parquet;
insert into parquet_timestamp_test values (1, "245", "1900-01-01 00:00:00");

执行SQL读取数据：

select * from parquet_timestamp_test;

查询结果：

id   col0    col1
1    245     -2209017600000

Spark 3.3.1

spark.sql.parquet.int96RebaseModeInRead=LEGACY

执行SQL读取数据：

select * from parquet_timestamp_test;

查询结果：

id   col0    col1
1    245     -2209017943000

上一篇：数据湖探索 DLI-Spark 2.4.x与Spark 3.3.x版本在SQL队列的差异对比:from_unixtime函数差异

下一篇：数据湖探索 DLI-Spark 2.4.x与Spark 3.3.x版本在SQL队列的差异对比:新增支持Enhance Reuse Exchange

新客秒杀 2核2G 3M L实例

68元/年

普惠上云领千元上云礼券

立即前往

企业专享 X实例 4核8G 5M

888元/年

热门域名 1元随心购

1元/年起

数据湖探索 DLI-Spark 2.4.x与Spark 3.3.x版本在SQL队列的差异对比:TIMESTAMP类型字段读取差异

意见反馈

0/200

提交取消

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

数据湖探索 DLI-Spark 2.4.x与Spark 3.3.x版本在SQL队列的差异对比:TIMESTAMP类型字段读取差异

数据湖探索 DLI-Spark 2.4.x与Spark 3.3.x版本在SQL队列的差异对比:TIMESTAMP类型字段读取差异

TIMESTAMP类型字段读取差异

7*24

备案

专业服务

退订

建议反馈

售前咨询热线