MAPREDUCE服务 MRS-Spark应用名在使用yarn-cluster模式提交时不生效:回答

时间：2024-06-17 09:21:00

MAPREDUCE服务 MRS Spark应用开发常见问题

回答

导致这个问题的主要原因是，yarn-client和yarn-cluster模式在提交任务时setAppName的执行顺序不同导致，yarn-client中setAppName是在向yarn注册Application之前读取，yarn-cluser模式则是在向yarn注册Application之后读取，这就导致yarn-cluster模式设置的应用名不生效。

解决措施：

在spark-submit脚本提交任务时用--name设置应用名和sparkconf.setAppName(appname)里面的应用名一样。

比如代码里设置的应用名为Spark Pi，用yarn-cluster模式提交应用时可以这样设置，在--name后面添加应用名，执行的命令如下：

./spark-submit --class org.apache.spark.examples.SparkPi --master yarn --deploy-mode cluster --name SparkPi jars/original-spark-examples*.jar 10

上一篇：MAPREDUCE服务 MRS-Manager应用开发简介:基本认证（Basic Authentication）

下一篇：政企自服务管理 ESM-准备工作:创建用户并授权IAM ESM FullAccess策略