MAPREDUCE服务 MRS-Yarn-client模式提交Spark任务时ApplicationMaster尝试启动两次失败:解决办法

时间：2024-11-04 09:35:09

MAPREDUCE服务 MRS

解决办法

请检查Driver进程所在的IP是否可以ping通。

启动一个Spark PI任务，会有类似如下打印信息。

16/05/11 18:07:20 INFO Remoting: Remoting started; listening on addresses :[akka.tcp://sparkDriver@192.168.1.100:23662]
16/05/11 18:07:20 INFO Utils: Successfully started service 'sparkDriver' on port 23662.

在该节点，也就是2中示例的192.168.1.100上执行netstat - anp | grep 23662看下此端口是否打开，如下打印标明，相关端口是打开的。

tcp        0      0  ip:port    :::*                    LISTEN      107274/java        
tcp        0      0  ip:port   ip:port                  ESTABLISHED 107274/java

在AppMaster启动的节点执行telnet 192.168.1.100 23662看下是否可以连通该端口，请使用root用户和omm用户都执行一遍。如果出现Escape character is '^]'类似打印则说明可以连通，如果出现connection refused则表示失败，无法连接到相关端口。

如果相关端口打开，但是从别的节点无法连通到该端口，则需要排查下相关网络配置。

23662这个端口每次都是随机的，所以要根据自己启动任务打开的端口来测试。