MapReduce服务 MRS-JDBCServer长时间运行导致磁盘空间不足:原因分析
原因分析
查询Core节点有大量文件的目录,发现大部分都是类似“blockmgr-033707b6-fbbb-45b4-8e3a-128c9bcfa4bf”的目录,里面存放了计算过程中产生的shuffle临时文件。
因为JD BCS erver启动了Spark的动态资源分配功能,已经将shuffle托管给NodeManager,NodeManager只会按照APP的运行周期来管理这些文件,并不会关注单个executor所在的container是否存在。因此,只有在APP结束的时候才会清理这些临时文件。任务运行时间较长时导致临时文件过多占用了大量磁盘空间。
- 如何连接测试服务器数据库_mysql数据库磁盘满了怎么办
- GaussDB性能_Gaussdb数据库性能_高斯数据库性能-华为云
- GaussDB性能怎么调_华为gaussdb_gaussdb性能_gaussdb学习
- 华为云数据库 RDS for MySQL常见故障排除_华为云
- MapReduce服务_什么是MapReduce服务_什么是HBase
- 云数据库 RDS for MySQL磁盘扩容方法_华为云
- MapReduce服务_什么是Yarn_如何使用Yarn
- 免费云数据库MySQL_MySQL数据库免费_MySQL数据库是免费的吗
- 华为云IoT边缘_设备接入边缘节点_什么是边缘计算节点
- 华为云IEF_华为云智能边缘平台_智能边缘平台IEF容器应用管理