数据湖探索 DLI-Spark 2.4.x与Spark 3.3.x版本在SQL队列的差异对比:unix_timestamp函数差异

时间:2025-01-10 09:17:46

unix_timestamp函数差异

  • 说明:
    对于Asia/Shanghai时区,小于1900-01-01 08:05:43的值。
    • Spark2.4.x

      以Asia/Shanghai时区的 1900-01-01 00:00:00 为例,返回值为 -2209017600。

    • Spark3.3.x:

      以Asia/Shanghai时区的 1900-01-01 00:00:00 为例,返回值为 -2209017943。

  • 升级引擎版本后是否对作业有影响:

    有影响,需要检查使用该函数的场景。

  • 示例代码:

    在SQL界面配置:

    spark.sql.session.timeZone=Asia/Shanghai
    • Spark 2.4.5

      执行SQL读取数据:

      select unix_timestamp('1900-01-01 00:00:00');
      查询结果:
       -2209017600
    • Spark 3.3.1

      执行SQL读取数据:

      select unix_timestamp('1900-01-01 00:00:00');

      查询结果

      -2209017943
support.huaweicloud.com/bulletin-dli/dli_bulletin_0015.html