华为云首页用户手册

数据湖探索 DLI-Spark2.4.x与Spark3.3.x版本在SQL队列的差异对比:表刷新对依赖项缓存的影响

数据湖探索 DLI-Spark2.4.x与Spark3.3.x版本在SQL队列的差异对比:表刷新对依赖项缓存的影响

时间：2024-12-28 16:25:09

数据湖探索 DLI Spark2.4.x与Spark3.3.x版本差异对比

表刷新对依赖项缓存的影响

说明：
升级Spark3.3.x版本后表刷新会清除表的缓存数据，但保持依赖项缓存。
- Spark2.4.x：在Spark 2.4.x版本中，当执行表刷新操作（如REFRESH TABLE）时，不会保留依赖项（例如视图）的缓存数据。
```
ALTER TABLE .. ADD PARTITION
ALTER TABLE .. RENAME PARTITION
ALTER TABLE .. DROP PARTITION
ALTER TABLE .. RECOVER PARTITIONS
MSCK REPAIR TABLE
LOAD DATA
REFRESH TABLE
TRUNCATE TABLE
spark.catalog.refreshTable
```
- Spark3.3.x：升级Spark3.3.x版本后表刷新会清除表的缓存数据，但保持依赖项缓存。
升级引擎版本后是否对作业有影响：
升级新版本引擎后会增加原有依赖项的缓存数据。

上一篇：数据湖探索 DLI-Spark2.4.x与Spark3.3.x版本在SQL队列的差异对比:Spark3.3.x版本中空字符串无引号。

下一篇：数据湖探索 DLI-Spark2.4.x与Spark3.3.x版本在SQL队列的差异对比:Spark3.3.x不再支持使用“0$”指定第一个参数

新客秒杀 2核2G 3M L实例

68元/年

普惠上云领千元上云礼券

立即前往

企业专享 X实例 4核8G 5M

888元/年

热门域名 1元随心购

1元/年起

数据湖探索 DLI-Spark2.4.x与Spark3.3.x版本在SQL队列的差异对比:表刷新对依赖项缓存的影响

意见反馈

0/200

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

推荐文章

解决方案
相关专题