数据湖探索 DLI-Spark 2.4.x与Spark 3.3.x版本在SQL队列的差异对比:默认配置spark.sql.adaptive.enabled=true

时间:2025-02-12 15:01:58

默认配置spark.sql.adaptive.enabled=true

  • 说明:
    • Spark2.4.x:在Spark 2.4.x版本中,默认情况下spark.sql.adaptive.enabled配置项的值是false,即自适应查询执行(Adaptive Query Execution,简称AQE)特性是关闭的。
    • Spark3.3.x:从Spark3.3.x-320版本起开始默认开启AQE特性,即spark.sql.adaptive.enabled配置项的值是true。
  • 升级引擎版本后是否对作业有影响:

    DLI 功能增强,spark.sql.adaptive.enabled的默认参数值发生变化。

support.huaweicloud.com/bulletin-dli/dli_bulletin_0015.html