数据湖探索 DLI-Spark 2.4.x与Spark 3.3.x版本在通用队列的差异对比:Spark3.3.x不支持v1表

时间:2025-02-27 14:33:51

Spark3.3.x不支持v1表

  • 说明:

    Spark2.4.x支持datasourcev1、datasourcev2表。Spark3.3.x不支持v1表。

    具体说明请参考 DLI datasourceV1表和datasourceV2表。

    • Spark2.4.x:支持datasourcev1、datasourcev2表。
    • Spark3.3.x:不支持支持datasourcev1表。
  • 升级引擎版本后是否对作业有影响:

    有影响,建议在Spark 2.4.5版本整改到v2表后再升级Spark 3.3.1,具体操作指导可以参考DLI datasourceV1表和datasourceV2表的中的示例。

support.huaweicloud.com/bulletin-dli/dli_bulletin_0016.html