华为云首页用户手册

数据湖探索 DLI-Spark 2.4.x与Spark 3.3.x版本在SQL队列的差异对比:表刷新对依赖项缓存的影响

数据湖探索 DLI-Spark 2.4.x与Spark 3.3.x版本在SQL队列的差异对比:表刷新对依赖项缓存的影响

时间：2025-02-12 15:01:58

数据湖探索 DLI

表刷新对依赖项缓存的影响

说明：
升级Spark3.3.x版本后表刷新会清除表的缓存数据，但保持依赖项缓存。
- Spark2.4.x：在Spark 2.4.x版本中，当执行表刷新操作（如REFRESH TABLE）时，不会保留依赖项（例如视图）的缓存数据。
```
ALTER TABLE .. ADD PARTITIONALTER TABLE .. RENAME PARTITIONALTER TABLE .. DROP PARTITIONALTER TABLE .. RECOVER PARTITION SMS CK REPAIR TABLELOAD DATAREFRESH TABLETRUNCATE TABLEspark.catalog.refreshTable
```
- Spark3.3.x：升级Spark3.3.x版本后表刷新会清除表的缓存数据，但保持依赖项缓存。
升级引擎版本后是否对作业有影响：
升级新版本引擎后会增加原有依赖项的缓存数据。

上一篇：数据湖探索 DLI-Spark 2.4.x与Spark 3.3.x版本在SQL队列的差异对比:空值分区的查询语句不同

下一篇：数据湖探索 DLI-Spark 2.4.x与Spark 3.3.x版本在SQL队列的差异对比:空值分区的查询语句不同

新客秒杀 2核2G 3M L实例

68元/年

普惠上云领千元上云礼券

立即前往

企业专享 X实例 4核8G 5M

888元/年

热门域名 1元随心购

1元/年起

数据湖探索 DLI-Spark 2.4.x与Spark 3.3.x版本在SQL队列的差异对比:表刷新对依赖项缓存的影响

意见反馈

0/200

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

推荐文章

解决方案
相关专题