MAPREDUCE服务 MRS-Spark Streaming任务一直阻塞:回答

时间:2024-11-25 09:23:50

回答

经过定位发现,导致这个问题的原因是:Spark Streaming的计算核数少于Receiver的个数,导致部分Receiver启动以后,系统已经没有资源去运行计算任务,导致第一个任务一直在等待,后续任务一直在排队。从现象上看,就是如问题中的图1中所示,会有两个任务一直在等待。

因此,当Web出现两个任务一直在等待的情况,首先检查Spark的核数是否大于Receiver的个数。

Receiver在Spark Streaming中是一个常驻的Spark Job,Receiver对于Spark是一个普通的任务,但它的生命周期和Spark Streaming任务相同,并且占用一个核的计算资源。

在调试和测试等经常使用默认配置的场景下,要时刻注意核数与Receiver个数的关系。

support.huaweicloud.com/cmpntguide-mrs/mrs_01_2050.html