MAPREDUCE服务 MRS-删除大量文件后重启NameNode耗时长:回答

时间：2024-06-29 16:25:22

MAPREDUCE服务 MRS

回答

由于在删除了大量文件之后，DataNode需要时间去删除对应的Block。当立刻重启NameNode时，NameNode会去检查所有DataNode上报的Block信息，发现已删除的Block时，会输出对应的INFO日志信息，如下所示：

2015-06-10 19:25:50,215 | INFO  | IPC Server handler 36 on 25000 | BLOCK* processReport: 
blk_1075861877_2121067 on node 10.91.8.218:9866 size 10249 does not belong to any file | 
org.apache.hadoop.hdfs.server.blockmanagement.BlockManager.processReport(BlockManager.java:1854)

每一个被删除的Block会产生一条日志信息，一个文件可能会存在一个或多个Block。当删除的文件数过多时，NameNode会花大量的时间打印日志，然后导致NameNode启动慢。

当出现这种现象时，您可以通过如下方式提升NameNode的启动速度。

删除大量文件时，不要立刻重启NameNode，待DataNode删除了对应的Block后重启NameNode，即不会存在这种情况。
您可以通过hdfs dfsadmin -report命令来查看磁盘空间，检查文件是否删除完毕。
如已大量出现以上日志，您可以将NameNode的日志级别修改为ERROR，NameNode不会再打印此日志信息。
等待NameNode启动完毕后，再将此日志级别修改为INFO。修改日志级别后无需重启服务。

上一篇：MAPREDUCE服务 MRS-为什么ZooKeeper节点上netcat命令无法正常运行:回答

下一篇：MAPREDUCE服务 MRS-使用Oozie客户端提交其它任务:前提条件