MAPREDUCE服务 MRS-读取HDFS文件失败,报错“FileNotFoundException”:原因分析

时间:2024-08-27 10:23:52

原因分析

FileNotFoundException...No lease on...File does not exist,该日志说明文件在操作的过程中被删除了。

  1. 搜索HDFS的NameNode的审计日志(Active NameNode的/var/log/Bigdata/audit/hdfs/nn/hdfs-audit-namenode.log)搜索文件名,确认文件的创建时间。
  2. 搜索文件创建到出现异常时间范围的NameNode的审计日志,搜索该文件是否被删除或者移动到其他目录。
  3. 如果该文件没有被删除或者移动,可能是该文件的父目录,或者更上层目录被删除或者移动,需要继续搜索上层目录。如本样例中,是文件的父目录被删除。
    2017-05-31 02:04:08,286 | INFO  | IPC Server handler 30 on 25000 | allowed=true      ugi=appUser@HADOOP.COM (auth:TOKEN) ip=/192.168.1.22     cmd=delete      src=/user/sparkhive/warehouse/daas/dsp/output/_temporary      dst=null    perm=null proto=rpc | FSNamesystem.java:8189
    • 如上日志说明:192.168.1.22 节点的appUser用户删除了/user/sparkhive/warehouse/daas/dsp/output/_temporary。
    • 可以使用zgrep "文件名" *.zip命令搜索zip包的内容。
support.huaweicloud.com/trouble-mrs/mrs_03_0084.html