MapReduce服务 MRS-Spark应用开发常用概念:Spark Streaming常用概念
Spark Streaming常用概念
Dstream
DStream(又称Discretized Stream)是Spark Streaming提供的抽象概念。
DStream表示一个连续的数据流,是从数据源获取或者通过输入流转换生成的数据流。从本质上说,一个DStream表示一系列连续的RDD。RDD一个只读的、可分区的分布式数据集。
DStream中的每个RDD包含了一个区间的数据。如图4所示。
应用到DStream上的所有算子会被转译成下层RDD的算子操作,如图5所示。这些下层的RDD转换会通过Spark引擎进行计算。DStream算子隐藏大部分的操作细节,并且提供了方便的High-level API给开发者使用。
- GaussDB常用概念_产品介绍_高斯数据库常用概念-华为云
- 什么是Spark_如何使用Spark_Spark的功能是什么
- MapReduce工作原理_MapReduce是什么意思_MapReduce流程_MRS_华为云
- MapReduce服务_什么是存算分离_如何配置MRS集群存算分离
- 什么是Spark SQL作业_数据湖探索DLISpark SQL作业
- MapReduce服务_什么是Hue_如何使用Hue
- Hudi服务_什么是Hudi_如何使用Hudi
- MapReduce服务_什么是Yarn_如何使用Yarn
- 数据备份归档在哪里_数据分析存储系统_大数据存储管理
- MapReduce服务_什么是MapReduce服务_什么是HBase