数据湖探索 DLI-Spark2.4.x与Spark3.3.x版本在SQL队列的差异对比:日期加减时间字段间隔后的返回值类型的变化

时间:2024-12-28 16:25:09

日期加减时间字段间隔后的返回值类型的变化

  • 说明:

    date +/-只有日期时间字段(如date'2011-11-11')的间隔+间隔12小时返回类型变化。

    • Spark2.4.x:在Spark 2.4.x中,当对定义为FloatType或DoubleType的JSON属性进行日期加减操作时,例如date'2011-11-11'加上或减去一个时间间隔(如12小时),返回的类型是日期(DateType)。
    • Spark3.3.x:Spark 3.3.x版本中,对于同样的操作,返回的类型变为时间戳(TimestampType),用于保持与Hive的兼容性。
  • 升级引擎版本后是否对作业有影响:

    有影响。

  • 示例代码:

    执行sql:

    select date '2011-11-11' - interval 12 hour
    • Spark2.4.5
      2011-11-10
    • Spark3.3.1
      1320897600000
support.huaweicloud.com/bulletin-dli/dli_bulletin_0015.html