MAPREDUCE服务 MRS-MapReduce任务异常,临时文件未删除:原因分析
原因分析
MapReduce任务提交时会将相关配置文件、jar包和-files参数后添加的文件都上传至HDFS的临时目录,方便Container启动后获取相应的文件。系统通过配置项“yarn.app.mapreduce.am.staging-dir”决定具体存放位置,默认值是“/tmp/hadoop-yarn/staging”。
正常运行的MapReduce任务会在Job结束以后就清理这些临时文件,但是当Job对应的Yarn任务异常退出时,这些临时文件不会被清理,长时间积攒导致该临时目录下的文件数量越来越多,占用存储空间越来越多。
- MRS备份恢复_MapReduce备份_数据备份
- MapReduce服务_如何使用MapReduce服务_MRS集群客户端安装与使用
- MapReduce服务_什么是Hive_如何使用Hive
- 如何连接测试服务器数据库_mysql数据库磁盘满了怎么办
- 应用性能管理定位请求异常原因_云应用性能问题诊断_ 应用性能管理 APM-华为云
- GaussDB集群搭建_SQL数据库是谁发明的_高斯数据库集群搭建_华为云
- 移动应用安全工具怎么买_华为移动app漏洞扫描购买流程_移动app扫描工具怎么买-华为云
- 视频云转码api_音视频API_视频直播api
- 移动应用安全检测_vss漏洞扫描_移动app安全合规检测-华为云
- app合规检测_app第三方安全检测_app安全检测-华为云