数据湖探索 DLI-Spark 2.4.x与Spark 3.3.x版本在通用队列的差异对比:eventlog的压缩格式设置为zstd

时间:2025-01-10 09:17:46

eventlog的压缩格式设置为zstd

  • 说明:

    Spark3.3.x版本中,spark.eventLog.compression.codec的默认值被设置为zstd,Spark在压缩事件日志时将不再支持使用spark.io.compression.codec的参数值。

    • Spark2.4.x:使用spark.io.compression.codec的参数值作为eventlog的压缩格式。
    • Spark3.3.x:spark.eventLog.compression.codec默认设置为zstd。
  • 升级引擎版本后是否对作业有影响:

    有影响,eventlog的压缩格式发生变化。

support.huaweicloud.com/bulletin-dli/dli_bulletin_0016.html