数据湖探索 DLI-DLI datasourceV1表和datasourceV2表:升级示例

时间：2025-01-10 09:17:46

数据湖探索 DLI Spark 2.4.x与Spark 3.3.x版本差异对比

升级Spark引擎和修改数据表时，如新建队列时切换了计算资源类型可能会导致计费资源的费用变化。

示例1：使用SQL队列，将Spark版本从Spark 2.4.x升级至Spark 3.3.1对数据表的版本有影响吗？
不需要，Spark 2.4.x的SQL队列支持V1表和V2表，因此升级Spark版本只需要考虑Spark版本对SQL语法的兼容性。

示例2：使用通用队列，将Spark版本从Spark 2.4.x升级至Spark 3.3.1对数据表的版本有影响吗？

Spark 2.4.x通用队列支持V1表和V2表，但Spark3.3.x通用队列不支持V1表。

因此如需将Spark版本从Spark 2.4.x升级至Spark 3.3.1需经过以下步骤：

升级Spark 2.4.x的V2表升级为Spark 3.3.1的V2表。

同时还需考虑Spark jar作业API语法的兼容性。

表3 DLI 各Spark版本对V1、V2表兼容列表
表类型	Spark2.4 通用队列	Spark3.3 通用队列
V1表	√	部分支持
V2表	√	√

示例3：使用通用队列，怎样将Spark 2.3.2的V1表升级为Spark 3.3.1的V2表？

Spark 2.3.2通用队列不支持V2表，Spark 3.3.1通用队列不支持V1表：

表4 DLI各Spark版本对V1、V2表兼容列表
表类型	Spark2.3 通用队列	Spark2.4 通用队列	Spark3.3 通用队列
V1表	√	√	部分支持
V2表	×	√	√

新客秒杀 2核2G 3M L实例

68元/年

普惠上云领千元上云礼券

立即前往

企业专享 X实例 4核8G 5M

888元/年

热门域名 1元随心购

1元/年起

数据湖探索 DLI-DLI datasourceV1表和datasourceV2表:升级示例

意见反馈

0/200

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

7*24