数据湖探索 DLI-Spark 2.4.x与Spark 3.3.x版本在通用队列的差异对比:以command命名DataFrameWriter触发的查询

时间:2025-01-10 09:17:46

以command命名DataFrameWriter触发的查询

在Spark 3.2.x版本中,当DataFrameWriter触发的查询执行被发送给QueryExecutionListener时,这些查询的名称总是被设置为command。而在Spark 3.1及更早版本中,这些查询的名称可能是save、insertInto或saveAsTable之一,这取决于具体的操作。

  • 说明:

    DataFrameWriter触发的查询执行在发送到QueryExecutionListener时,始终以command命名

    • Spark2.4.x:名称为save、insertInto、saveAsTable中的一个
    • Spark3.3.x:command命名
  • 升级引擎版本后是否对作业有影响:

    有影响

support.huaweicloud.com/bulletin-dli/dli_bulletin_0016.html