MAPREDUCE服务 MRS-Spark Streaming应用运行过程中重启Kafka,Web UI界面部分batch time对应Input Size为0 records:问题

时间:2024-08-01 19:24:15

问题

在Spark Streaming应用执行过程中重启Kafka时,应用无法从Kafka获取topic offset,从而导致生成Job失败。如图1所示,其中2017/05/11 10:57:00~2017/05/11 10:58:00为Kafka重启时间段。2017/05/11 10:58:00重启成功后对应的“Input Size”的值显示为“0 records”

图1 Web UI界面部分batch time对应Input Size为0 records
support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2054.html