MapReduce服务 MRS-JDBCServer长时间运行导致磁盘空间不足:原因分析

时间:2025-02-12 15:01:24

原因分析

查询Core节点有大量文件的目录,发现大部分都是类似“blockmgr-033707b6-fbbb-45b4-8e3a-128c9bcfa4bf”的目录,里面存放了计算过程中产生的shuffle临时文件。

因为JD BCS erver启动了Spark的动态资源分配功能,已经将shuffle托管给NodeManager,NodeManager只会按照APP的运行周期来管理这些文件,并不会关注单个executor所在的container是否存在。因此,只有在APP结束的时候才会清理这些临时文件。任务运行时间较长时导致临时文件过多占用了大量磁盘空间。

support.huaweicloud.com/trouble-mrs/mrs_03_0277.html