MAPREDUCE服务 MRS-Flink应用开发简介:基本概念
基本概念
- DataStream
数据流,是指Flink系统处理的最小数据单元。该数据单元最初由外部系统导入,可以通过Socket、Kafka和文件等形式导入,在Flink系统处理后,在通过Socket、Kafka和文件等输出到外部系统,这是Flink的核心概念。
- Data Transformation
数据处理单元,会将一或多个DataStream转换成一个新的DataStream。
具体可以细分如下几类:
- 一对一的转换:如Map。
- 一对0、1或多个的转换:如FlatMap。
- 一对0或1的转换,如Filter。
- 多对1转换,如Union。
- 多个聚合的转换,如window、keyby。
- CheckPoint
CheckPoint是Flink数据处理高可靠、最重要的机制。该机制可以保证应用在运行过程中出现失败时,应用的所有状态能够从某一个检查点恢复,保证数据仅被处理一次(Exactly Once)。
- SavePoint
Savepoint是指允许用户在持久化存储中保存某个checkpoint,以便用户可以暂停自己的任务进行升级。升级完后将任务状态设置为savepoint存储的状态开始恢复运行,保证数据处理的延续性。
- ModelArts开发环境_开发环境简介_开发环境怎么使用
- MES系统简介_MES应用_上海 MES
- 应用性能管理APM_应用性能_功能简介
- MapReduce服务_什么是MapReduce服务_什么是HBase
- CCI基本概念_华为云CCI概念_云容器实例基本概念
- ModelArts自动学习是什么_自动学习简介_零代码完成AI开发
- 如何搭建基因测序平台_基因数据怎么存储_基因测序数据上云
- MapReduce服务_如何使用MapReduce服务_MRS集群客户端安装与使用
- MapReduce服务_什么是Hue_如何使用Hue
- MapReduce服务_什么是HetuEngine_如何使用HetuEngine