MAPREDUCE服务 MRS-提交Spark任务时连接ResourceManager异常:原因分析

时间：2024-11-04 09:35:09

MAPREDUCE服务 MRS

原因分析

在Driver端打印异常如下，打印连接两个ResourceManager主备节点的26004端口均被拒绝：

15/08/19 18:36:16 INFO RetryInvocationHandler: Exception while invoking getClusterMetrics of class ApplicationClientProtocolPBClientImpl over 33 after 1 fail over attempts. Trying to fail over after sleeping for 17448ms. 
java.net.ConnectException: Call From ip0 to ip1:26004 failed on connection exception: java.net.ConnectException: Connection refused.
INFO RetryInvocationHandler: Exception while invoking getClusterMetrics of class ApplicationClientProtocolPBClientImpl over 32 after 2 fail over attempts. Trying to fail over after sleeping for 16233ms. 
 java.net.ConnectException: Call From ip0 to ip2:26004 failed on connection exception: java.net.ConnectException: Connection refused;

在 MRS Manager页面查看ResourceManager此时是否功能正常，如果Yarn服务状态故障或某个Yarn服务的实例出现未知之类的异常说明此时集群的ResourceManager可能异常。
排查使用的客户端是否是集群最新的客户端。
排查集群是否做过实例ResourceManager迁移相关操作（先卸载某个ResourceManager实例，然后在其他节点添加）。
在MRS Manager页面查看审计日志，是否有相关操作的记录。
使用ping命令，查看IP是否可连通。