MAPREDUCE服务 MRS-如何开发Flume第三方插件
如何开发Flume第三方插件
- 安装Flume客户端,如安装目录为“/opt/flumeclient”。
- 将自主研发的代码打成jar包。
- 建立插件目录布局。
- 进入“Flume客户端安装目录/fusionInsight-flume-*/plugins.d”路径下,使用以下命令建立目录,可根据实际业务进行命名,无固定名称:
cd /opt/flumeclient/fusioninsight-flume-1.9.0/plugins.d
mkdir thirdPlugin
cd thirdPlugin
mkdir lib libext native
显示结果如下:
- 将第三方jar包放入“Flume客户端安装目录/fusionInsight-flume-*/plugins.d/thirdPlugin/lib”路径下,如果该jar包依赖其他jar包,则将所依赖的jar包放入“Flume客户端安装目录/fusionInsight-flume-*/plugins.d/thirdPlugin/libext”文件夹中,“Flume客户端安装目录/fusionInsight-flume-*/plugins.d/thirdPlugin/native”放置本地库文件。
- 进入“Flume客户端安装目录/fusionInsight-flume-*/plugins.d”路径下,使用以下命令建立目录,可根据实际业务进行命名,无固定名称:
- 配置“Flume客户端安装目录/fusionInsight-flume-*/conf/properties.properties”文件。
具体properties.properties参数配置方法,参考配置Flume非加密传输数据采集任务和配置Flume加密传输数据采集任务对应典型场景中properties.properties文件参数列表的说明。
- MapReduce服务_什么是Flume_如何使用Flume
- MapReduce服务_如何使用MapReduce服务_MRS集群客户端安装与使用
- 大数据分析是什么_使用MapReduce_创建MRS服务
- MapReduce服务_什么是存算分离_如何配置MRS集群存算分离
- 什么是Spark_如何使用Spark_Spark的功能是什么
- MapReduce服务_什么是ClickHouse_如何使用ClickHouse
- MapReduce服务_什么是ZooKeeper_如何使用ZooKeeper
- MapReduce服务_什么是Hue_如何使用Hue
- MapReduce服务_什么是HetuEngine_如何使用HetuEngine
- MapReduce服务_什么是Kafka_如何使用Kafka