数据湖探索 DLI-为什么Spark3.x的作业日志中打印找不到global_temp数据库:根因分析

时间:2025-02-12 15:00:38

根因分析

global_temp数据库是Spark3.x默认内置的数据库,是Spark的全局临时视图。

通常在Spark作业执行注册viewManager时,会校验该数据库在metastore是否存在,如果该数据库存在则会导致Spark作业执行失败。

因此当Spark3.x的作业日志中如果出现一条访问catalog查询该数据库,并提示数据库不存在是为了确保Spark作业正常运行,无需执行其他操作。

support.huaweicloud.com/dli_faq/dli_03_0272.html