MAPREDUCE服务 MRS-Flink Scala API接口介绍:Flink常用接口

时间:2024-06-29 14:11:45

Flink常用接口

Flink主要使用到如下这几个类:

  • StreamExecutionEnvironment:是Flink流处理的基础,提供了程序的执行环境。
  • DataStream:Flink用特别的类DataStream来表示程序中的流式数据。用户可以认为它们是含有重复数据的不可修改的集合(collection),DataStream中元素的数量是无限的。
  • KeyedStream:DataStream通过keyBy分组操作生成流,数据经过对设置的key值进行分组。
  • WindowedStream:KeyedStream通过window窗口函数生成的流,设置窗口类型并且定义窗口触发条件,然后在窗口数据上进行一些操作。
  • AllWindowedStream:DataStream通过window窗口函数生成的流,设置窗口类型并且定义窗口触发条件,然后在窗口数据上进行一些操作。
  • ConnectedStreams:将两条DataStream流连接起来并且保持原有流数据的类型,然后进行map或者flatMap操作。
  • JoinedStreams:在窗口上对数据进行等值join操作,join操作是coGroup操作的一种特殊场景。
  • CoGroupedStreams:在窗口上对数据进行coGroup操作,可以实现流的各种join类型。
图1 Flink Stream的各种流类型转换
support.huaweicloud.com/devg-lts-mrs/mrs_07_050041.html