数据湖探索 DLI-Spark2.4.x与Spark3.3.x版本在SQL队列的差异对比:新增支持Enhance Reuse Exchange

时间:2024-12-28 16:25:09

新增支持Enhance Reuse Exchange

  • 说明:

    Spark3.3.x版本中新增支持Enhance Reuse Exchange,SQL的对应plan存在sort merge join可重用的条件,通过打开相应开关spark.sql.execution.enhanceReuseExchange.enabled,可以实现SMJ plan node重用。

    在使用时需配置开启以下功能开关(默认关闭):

    spark.sql.execution.enhanceReuseExchange.enabled=true

  • 升级引擎版本后是否对作业有影响:

    DLI 功能增强。

support.huaweicloud.com/bulletin-dli/dli_bulletin_0015.html