MAPREDUCE服务 MRS-查看Spark任务日志失败:处理步骤

时间:2024-08-27 10:23:56

处理步骤

  • 问题1:确认 MapReduce服务 是否正常,如果异常,尝试重启服务。如果还是不能恢复,需要查看后台JobhistoryServer日志。
  • 问题2:依次排查可能的情况:
    1. 查看Spark的JobHistory是否运行正常;
    2. 通过查看yarn的app详情页面,确认日志文件是否过大,如果日志汇聚失败,页面的“Log Aggregation Status:”应该显示为失败或者超时;
    3. 查看对应目录权限是否异常;
    4. 查看目录下是否有对应的appid文件(Spark的eventlog存放目录: MRS 3.x及以后版本的目录是hdfs://hacluster/spark2xJobHistory2x,MRS 3.x以前版本的目录是hdfs://hacluster/sparkJobHistory,任务运行日志存放目录是hdfs://hacluster/tmp/logs/用户名/logs);
    5. 查看appid和当前作业的id是否超过历史记录最大值。
support.huaweicloud.com/trouble-mrs/mrs_03_0287.html