MAPREDUCE服务 MRS-通过Spark Streaming作业消费Kafka数据:应用场景
应用场景
本文介绍如何使用 MRS 集群运行Spark Streaming作业以消费Kafka数据。
假定某个业务Kafka每1秒就会收到1个单词记录。基于业务需要,开发的Spark应用程序实现实时累加计算每个单词的记录总数的功能。
Spark Streaming样例工程的数据存储在Kafka组件中,向Kafka组件发送数据。
MRS服务提供了Spark服务多种场景下的样例开发工程,本章节对应示例场景的开发思路:
- 接收Kafka中数据,生成相应DStream。
- 对单词记录进行分类统计。
- 计算结果,并进行打印。
- MapReduce服务_如何使用MapReduce服务_MRS集群客户端安装与使用
- 大数据分析是什么_使用MapReduce_创建MRS服务
- 什么是Spark SQL作业_数据湖探索DLISpark SQL作业
- MapReduce工作原理_MapReduce是什么意思_MapReduce流程_MRS_华为云
- MapReduce服务_什么是Kafka_如何使用Kafka
- 分布式消息系统Kafka_分布式消息系统_分布式消息kafka可以解决什么问题-华为云
- 什么是Spark_如何使用Spark_Spark的功能是什么
- 数据治理中心_数据开发_数据开发能力_脚本和节点介绍-华为云
- 大数据应用范围有哪些_大数据技术与应用要学习什么课程
- 什么是数据湖探索服务_数据湖探索DLI用途与特点