MAPREDUCE服务 MRS-Spark on Yarn的client模式下spark-submit提交任务出现FileNotFoundException异常:问题

时间:2024-06-19 16:04:40

问题

在omm用户(非root用户)下,通过spark-submit提交yarn-client模式的任务,会出现FileNotFoundException异常,任务还能继续执行,但无法查看Driver端日志。例如:执行命令 spark-submit --class org.apache.spark.examples.SparkPi --master yarn-client /opt/client/Spark/spark/examples/jars/spark-examples_2.11-2.2.1-mrs-1.7.0.jar ,结果如下图所示。

support.huaweicloud.com/devg-mrs/mrs_06_0431.html