MAPREDUCE服务 MRS-导入并配置Flink样例工程:样例工程运行依赖包参考信息

时间:2024-06-13 09:39:22

样例工程运行依赖包参考信息

Flink客户端lib目录、opt目录中都有flink jar包,其中lib目录中默认是flink核心jar包,opt目录中是对接外部组件的jar包(例如flink-connector-kafka*.jar),若应用开发中需要请手动复制相关jar包到lib目录中。

针对Flink提供的几个样例工程,其对应的运行依赖包如下:

表1 样例工程运行依赖包

样例工程

依赖包

依赖包获取地址

  • DataStream程序
  • 异步Checkpoint机制程序

flink-dist_*.jar

可在Flink的客户端或者服务端安装路径的lib目录下获取。

  • 使用Flink Jar提交SQL作业程序
  • FlinkServer REST API程序
  • flink-dist_*.jar
  • flink-table_*.jar

可在Flink的客户端或者服务端安装路径的lib目录下获取。

向Kafka生产并消费数据程序

  • kafka-clients-*.jar
  • flink-connector-kafka_*.jar
  • kafka-clients-*.jar由Kafka组件发布提供,可在Kafka组件客户端或者服务端安装路径下的lib目录下获取。
  • flink-connector-kafka_*.jar可在Flink客户端或者服务端安装路径的opt目录下获取。

pipeline程序

  • flink-connector-netty_*.jar
  • flink-dist_*.jar
  • flink-connector-netty_*.jar可在二次开发样例代码编译后产生的lib文件夹下获取。
  • flink-dist_*.jar可在Flink的客户端或者服务端安装路径的lib目录下获取。

Stream SQL Join程序

  • kafka-clients-*.jar
  • flink-connector-kafka_*.jar
  • flink-dist_*.jar
  • flink-table_*.jar
  • kafka-clients-*.jar由Kafka组件发布提供,可在Kafka组件客户端或者服务端安装路径下的lib目录下获取。
  • flink-connector-kafka_*.jar可在Flink客户端或者服务端安装路径的opt目录下获取。
  • flink-dist_*.jar、flink-table_*.jar可在Flink的客户端或者服务端安装路径的lib目录下获取。

Flink读写HBase程序

  • flink-connector-hbase*.jar
  • flink-dist_*.jar
  • flink-table_*.jar
  • hbase-clients-*.jar
  • flink-connector-hbase_*.jar可在Flink客户端或者服务端安装路径的opt目录下获取。
  • flink-dist_*.jar、flink-table_*.jar可在Flink的客户端或者服务端安装路径的lib目录下获取。
  • hbase-clients-*.jar由HBase组件发布提供,可在HBase组件客户端或者服务端安装路径下的lib目录下获取。

Flink读写Hudi程序

hbase-unsafe-*.jar

可在二次开发样例代码编译后产生的lib文件夹下获取。

support.huaweicloud.com/devg-lts-mrs/mrs_07_050008.html