MAPREDUCE服务 MRS-Flink应用开发简介:样例工程介绍

时间：2024-10-18 17:22:20

MAPREDUCE服务 MRS

样例工程介绍

MRS 样例工程获取地址为https://github.com/huaweicloud/huaweicloud-mrs-example，切换分支为与MRS集群相匹配的版本分支，然后下载压缩包到本地后解压，即可获取各组件对应的样例代码工程。

当前MRS提供以下Flink相关样例工程，安全模式路径为“flink-examples/flink-examples-security”，普通模式路径为“flink-examples/flink-examples-normal”：

表2 Flink相关样例工程
样例工程	描述
FlinkCheckpointJavaExample	异步Checkpoint机制程序的应用开发示例。假定用户需要每隔1秒钟需要统计4秒中窗口中数据的量，并做到状态严格一致性，即：当应用出现异常并恢复后，各个算子的状态能够处于统一的状态。相关业务场景介绍请参见Flink开启Checkpoint样例程序。
FlinkCheckpointScalaExample
FlinkHBaseJavaExample	通过Flink API作业读写HBase数据的应用开发示例。相关业务场景介绍请参见Flink读取HBase表样例程序。
FlinkHudiJavaExample	通过Flink API作业读写Hudi数据的应用开发示例。相关业务场景介绍请参见Flink读取Hudi表样例程序。
FlinkKafkaJavaExample	向Kafka生产并消费数据程序的应用开发示例。通过调用flink-connector-kafka模块的接口，生产并消费数据。相关业务场景介绍请参见Flink Kafka样例程序。
FlinkKafkaScalaExample
FlinkPipelineJavaExample	Job Pipeline程序的应用开发示例。相关业务场景介绍请参见Flink Job Pipeline样例程序。发布者Job自己每秒钟产生10000条数据，然后经由该job的NettySink算子向下游发送。另外两个Job作为订阅者，分别订阅一份数据并打印输出。
FlinkPipelineScalaExample
FlinkRESTAPIJavaExample	调用FlinkServer的RestAPI创建租户的应用开发示例。相关业务场景介绍请参见FlinkServer REST API样例程序。
FlinkStreamJavaExample	DataStream程序的应用开发示例。相关业务场景介绍请参见Flink DataStream样例程序。假定用户有某个网站周末网民网购停留时间的日志文本，另有一张网民个人信息的csv格式表，可通过Flink应用程序实现例如实时统计总计网购时间超过2个小时的女性网民信息，包含对应的个人详细信息的功能。
FlinkStreamScalaExample
FlinkStreamSqlJoinExample	Stream SQL Join程序的应用开发示例。相关业务场景介绍请参见Flink Join样例程序。假定某个Flink业务1每秒就会收到1条消息记录，消息记录某个用户的基本信息，包括名字、性别、年龄。另有一个Flink业务2会不定时收到1条消息记录，消息记录该用户的名字、职业信息。实现实时的以根据业务2中消息记录的用户名字作为关键字，对两个业务数据进行联合查询的功能。
FlinkStreamSqlJoinScalaExample
flink-sql	使用客户端通过jar作业提交SQL作业的应用开发示例。相关业务场景介绍请参见Flink Jar作业提交SQL样例程序。
pyflink-example	提供Python读写Kafka作业和Python提交SQL作业的样例。相关业务场景介绍请参见PyFlink样例程序。