数据湖探索 DLI-Spark2.4.x与Spark3.3.x版本在SQL队列的差异对比:新增支持Parallel Multi-Insert

时间:2024-12-28 16:25:09

新增支持Parallel Multi-Insert

  • 说明:

    Spark3.3.x版本中新增支持Parallel Multi-Insert,如果SQL存在multi-insert的场景,在同一个SQL里插入到多个表中,这类SQL在Spark开源本身是串行处理的,性能受到制约。针对这类SQL,Spark3.3.x版本中 DLI 新增支持multi-insert并行化的优化处理,可以让所有的insert都并发执行,提升处理性能。

    在使用时需配置开启以下功能开关(默认关闭):

    spark.sql.lazyExecutionForDDL.enabled=true

    spark.sql.parallelMultiInsert.enabled=true

  • 升级引擎版本后是否对作业有影响:

    DLI功能增强,增强multi-insert并行化特性,提升作业运行的可靠性。

support.huaweicloud.com/bulletin-dli/dli_bulletin_0015.html