数据湖探索 DLI-Spark 2.4.x与Spark 3.3.x版本在SQL队列的差异对比:DayTimeIntervalType的映射类型变化为Duration

时间:2025-02-12 15:01:58

DayTimeIntervalType的映射类型变化为Duration

  • 说明:

    在ArrowWriter和ArrowColumnVector开发者API中,从Spark 3.3.x版本开始,Spark SQL中的DayTimeIntervalType类型被映射到Apache Arrow的Duration类型。

    • Spark2.4.x:DayTimeIntervalType被映射到Apache Arrow的Interval类型。
    • Spark3.3.x:DayTimeIntervalType被映射到Apache Arrow的Duration类型。
  • 升级引擎版本后是否对作业有影响:

    有影响,DayTimeIntervalType的映射类型发生变化。

support.huaweicloud.com/bulletin-dli/dli_bulletin_0015.html