数据湖探索 DLI-Spark 2.4.x与Spark 3.3.x版本在通用队列的差异对比:PySpark-pandas支持版本变更

时间:2025-01-10 09:17:46

PySpark-pandas支持版本变更

  • 说明:
    • Spark2.4.x:在Spark 2.4.x版本中,PySpark并没有要求指定Pandas的版本。
    • Spark3.3.x:从Spark 3.3.x版本开始,PySpark需要0.23.2或更高版本的pandas才能使用pandas相关功能,如toPandas、 createDataFrame from pandas DataFrame等。
  • 升级引擎版本后是否对作业有影响:

    依赖版本变化,有影响,需要排查是否涉及。

support.huaweicloud.com/bulletin-dli/dli_bulletin_0016.html