MAPREDUCE服务 MRS-Driver返回码和RM WebUI上应用状态显示不一致:回答

时间：2024-11-28 01:44:29

MAPREDUCE服务 MRS

回答

在yarn-client模式下，Spark的Driver和ApplicationMaster作为两个独立的进程在运行。当Driver完成任务退出时，会通知ApplicationMaster向ResourceManager注销自身，即调用unregister方法。

由于是远程调用，则存在发生网络故障的可能性。当发生网络故障时，ApplicationMaster会使用Yarn客户端的重试机制进行重试。在达到最大重试次数之前网络恢复正常，则ApplicationMaster会正常退出。

如果超过重试次数和重试时长，则ApplicationMaster注销失败，ResourceManager会认为ApplicationMaster异常退出并尝试重新启动ApplicationMaster。新启动的ApplicationMaster在尝试连接已经退出的Driver失败后，会在ResourceManager页面上标记此次Application为FAILED状态。

上一篇：MAPREDUCE服务 MRS-为什么Driver进程不能退出:回答

下一篇：MAPREDUCE服务 MRS-Spark Streaming性能调优:操作步骤