MAPREDUCE服务 MRS-Spark应用开发简介:Spark Streaming常用概念
Spark Streaming常用概念
Dstream
DStream(又称Discretized Stream)是Spark Streaming提供的抽象概念。
DStream表示一个连续的数据流,是从数据源获取或者通过输入流转换生成的数据流。从本质上说,一个DStream表示一系列连续的RDD。RDD是一个只读的、可分区的分布式数据集。
DStream中的每个RDD包含了一个区间的数据。如图4所示。
应用到DStream上的所有算子会被转译成下层RDD的算子操作,如图5所示。这些下层的RDD转换会通过Spark引擎进行计算。DStream算子隐藏大部分的操作细节,并且提供了方便的High-level API给开发者使用。
- 什么是Spark_如何使用Spark_Spark的功能是什么
- ModelArts开发环境_开发环境简介_开发环境怎么使用
- GaussDB常用概念_产品介绍_高斯数据库常用概念-华为云
- MES系统简介_MES应用_上海 MES
- MapReduce服务_什么是Hue_如何使用Hue
- MapReduce工作原理_MapReduce是什么意思_MapReduce流程_MRS_华为云
- 数据备份归档在哪里_数据分析存储系统_大数据存储管理
- 应用性能管理APM_应用性能_功能简介
- MapReduce服务_什么是存算分离_如何配置MRS集群存算分离
- MapReduce服务_什么是Loader_如何使用Loader