数据湖探索 DLI-Spark 2.4.x与Spark 3.3.x版本在SQL队列的差异对比:from_unixtime函数差异

时间:2025-01-10 09:17:46

from_unixtime函数差异

  • 说明:
    • Spark2.4.x

      以Asia/Shanghai时区的 -2209017600 为例,返回值为1900-01-01 00:00:00。

    • Spark3.3.x:

      以Asia/Shanghai时区的 -2209017943 为例,返回值为 1900-01-01 00:00:00。

  • 升级引擎版本后是否对作业有影响:

    有影响,需要检查使用该函数的场景。

  • 示例代码:

    在SQL界面配置:

    spark.sql.session.timeZone=Asia/Shanghai
    • Spark 2.4.5

      执行SQL读取数据:

      select from_unixtime(-2209017600);
      查询结果:
       1900-01-01 00:00:00
    • Spark 3.3.1

      执行SQL读取数据:

      select from_unixtime(-2209017600);

      查询结果

      1900-01-01 00:05:43
support.huaweicloud.com/bulletin-dli/dli_bulletin_0015.html