MAPREDUCE服务 MRS-通过Spark Streaming作业消费Kafka数据:应用场景

时间:2024-08-05 16:12:35

应用场景

本文介绍如何使用 MRS 集群运行Spark Streaming作业以消费Kafka数据。

假定某个业务Kafka每1秒就会收到1个单词记录。基于业务需要,开发的Spark应用程序实现实时累加计算每个单词的记录总数的功能。

Spark Streaming样例工程的数据存储在Kafka组件中,向Kafka组件发送数据。

MRS服务提供了Spark服务多种场景下的样例开发工程,本章节对应示例场景的开发思路:

  1. 接收Kafka中数据,生成相应DStream。
  2. 对单词记录进行分类统计。
  3. 计算结果,并进行打印。
support.huaweicloud.com/bestpractice-mrs/mrs_05_0050.html