MAPREDUCE服务 MRS-通过Flink作业处理OBS数据:方案架构

时间:2024-10-18 16:17:22

方案架构

Flink是一个批处理和流处理结合的统一计算框架,其核心是一个提供了数据分发以及并行化计算的流数据处理引擎。它的最大亮点是流处理,是业界最顶级的开源流处理引擎。

Flink最适合的应用场景是低时延的数据处理(Data Processing)场景:高并发pipeline处理数据,时延毫秒级,且兼具可靠性。

图1 Flink架构

在本示例中,使用 MRS 集群内置的Flink WordCount作业程序,来分析OBS文件系统中保存的源数据,以统计源数据中的单词出现次数,相关程序代码信息介绍可参考https://github.com/apache/flink/tree/master/flink-examples/flink-examples-batch/src/main/java/org/apache/flink/examples/java/wordcount

当然您也可以获取MRS服务样例代码工程,参考Flink开发指南开发其他Flink流作业程序。

support.huaweicloud.com/bestpractice-mrs/mrs_05_0049.html