MapReduce服务 MRS-【Spark WebUI】HistoryServer缓存的应用被回收导致此类应用页面访问时出错:原因分析
原因分析
在History Server页面加载Task个数较多的Spark应用时,由于无法把全部的数据放入内存中,导致数据溢出到磁盘时,会产生前缀为“temp_shuffle”的文件。
HistoryServer默认会缓存50个Spark应用(由配置项“spark.history.retainedApplications”决定),当内存中的Spark应用个数超过这个数值时,HistoryServer会回收最先缓存的Spark应用,同时会清理掉相应的“temp_shuffle”文件。
当用户正在查看即将被回收的Spark应用时,可能会出现找不到“temp_shuffle”文件的错误,从而导致当前页面无法访问。
- MapReduce服务_什么是Yarn_如何使用Yarn
- MapReduce服务_如何使用MapReduce服务_MRS集群客户端安装与使用
- MapReduce服务_什么是Hue_如何使用Hue
- 大数据分析是什么_使用MapReduce_创建MRS服务
- 什么是Manager_Manager的功能_MRS运维管理
- MapReduce服务_什么是Loader_如何使用Loader
- 什么是Spark_如何使用Spark_Spark的功能是什么
- MapReduce服务_什么是Flink_如何使用Flink
- 如何提升应用访问速度_分布式redis_分布式缓存-华为云
- 提高软件交付效率与质量方式_软件发布_制品仓库工具-华为云