MAPREDUCE服务 MRS-Spark Streaming任务一直阻塞:回答
回答
经过定位发现,导致这个问题的原因是:Spark Streaming的计算核数少于Receiver的个数,导致部分Receiver启动以后,系统已经没有资源去运行计算任务,导致第一个任务一直在等待,后续任务一直在排队。从现象上看,就是如问题中的图1中所示,会有两个任务一直在等待。
因此,当Web出现两个任务一直在等待的情况,首先检查Spark的核数是否大于Receiver的个数。
Receiver在Spark Streaming中是一个常驻的Spark Job,Receiver对于Spark是一个普通的任务,但它的生命周期和Spark Streaming任务相同,并且占用一个核的计算资源。
在调试和测试等经常使用默认配置的场景下,要时刻注意核数与Receiver个数的关系。
- 什么是Spark_如何使用Spark_Spark的功能是什么
- MapReduce服务_什么是MapReduce服务_什么是HBase
- 函数工作流FunctionGraph支持毫秒级响应文件处理_函数工作流_华为云FunctionGraph-华为云
- MapReduce服务_如何使用MapReduce服务_MRS集群客户端安装与使用
- 华为云数据库 RDS for PostgreSQL 实例规格介绍
- MRS备份恢复_MapReduce备份_数据备份
- MapReduce服务_什么是Hue_如何使用Hue
- MapReduce服务_什么是HetuEngine_如何使用HetuEngine
- MapReduce服务_什么是Kafka_如何使用Kafka
- 华为云数据库 RDS for MySQL常见故障排除_华为云