MAPREDUCE服务 MRS-查看Spark任务日志失败:原因分析

时间:2024-08-27 10:23:56

原因分析

  • 问题1:可能原因是 MapReduce服务 异常。
  • 问题2:可能原因如下:
    • Spark的JobHistory服务异常。
    • 日志太大,NodeManager在做日志汇聚的时候出现超时。
    • HDFS存放日志目录权限异常(默认/tmp/logs/用户名/logs)。
    • 日志已被清理(spark的JobHistory默认存放7天的eventLog,配置项为spark.history.fs.cleaner.maxAge;MapReduce默认存放15天的任务日志,配置项为mapreduce.jobhistory.max-age-ms)。
    • 如果Yarn页面上也找不到,可能是被Yarn清理了(默认存放10000个历史任务,配置项为yarn.resourcemanager.max-completed-applications)。
support.huaweicloud.com/trouble-mrs/mrs_03_0287.html