数据湖探索 DLI-REFRESH TABLE刷新表元数据:功能描述

时间:2024-07-01 21:07:20

功能描述

Spark为了提高性能会缓存Parquet的元数据信息。当更新了Parquet表时,缓存的元数据信息未更新,导致Spark SQL查询不到新插入的数据作业执行报错,报错信息参考如下:
 DLI .0002: FileNotFoundException: getFileStatus on  error message

该场景下就需要使用REFRESH TABLE来解决该问题。REFRESH TABLE是用于重新整理某个分区的文件,重用之前的表元数据信息,能够检测到表的字段的增加或者减少,主要用于表中元数据未修改,表的数据修改的场景。

support.huaweicloud.com/sqlreference-dli/dli_08_0359.html