MapReduce服务 MRS-Core节点出现df显示的容量和du显示的容量不一致:原因分析
原因分析
使用命令lsof |grep deleted可以查询到此目录下有大量log文件处于deleted状态。
出现此问题的一种情况是长时间运行某些Spark任务,任务中的一些Container一直运行,并且持续产生日志;Spark的executor在打印日志的时候使用了log4j的日志滚动功能,将日志输出到stdout文件下;而Container同时也会监控这个文件,导致此文件被两个进程同时监控。当其中一个进程按照配置滚动的时候,删除了最早的日志文件,但是另一个进程依旧占用此文件句柄,从而产生了deleted状态的文件。
- MapReduce服务_什么是存算分离_如何配置MRS集群存算分离
- MapReduce服务_什么是Hue_如何使用Hue
- MapReduce服务_什么是MapReduce服务_什么是HBase
- TaurusDB规格变更_包周期库扩容_变更CPU_存储扩容
- TaurusDB并行查询_TaurusDB内核_TaurusDB并行执行_PQ
- 什么是Manager_Manager的功能_MRS运维管理
- 可以隐藏电话号码的软件_虚拟号码电话软件_虚拟号码注册平台
- MRS优势_什么是MRS_MRS功能
- 移动应用安全工具怎么买_华为移动app漏洞扫描购买流程_移动app扫描工具怎么买-华为云
- TaurusDB包周期容量变更_包周期库扩容_变更CPU_存储扩容