MAPREDUCE服务 MRS-使用Flume服务端从Kafka采集日志保存到HDFS:操作场景
操作场景
该任务指导用户使用Flume服务端从Kafka的Topic列表(test1)采集日志保存到HDFS上“/flume/test”目录下。
本章节适用于 MRS 3.x及之后版本。
本配置默认集群网络环境是安全的,数据传输过程不需要启用SSL认证。如需使用加密方式,请参考配置Flume加密传输数据采集任务。该配置为只用一个Flume场景,例如:Kafka Source+Memory Channel+HDFS Sink.
- MapReduce服务_什么是Flume_如何使用Flume
- MapReduce服务_如何使用MapReduce服务_MRS集群客户端安装与使用
- MapReduce服务_什么是ZooKeeper_如何使用ZooKeeper
- 大数据分析是什么_使用MapReduce_创建MRS服务
- MapReduce服务_什么是Kafka_如何使用Kafka
- MRS备份恢复_MapReduce备份_数据备份
- MapReduce工作原理_MapReduce是什么意思_MapReduce流程_MRS_华为云
- MapReduce服务_什么是Hue_如何使用Hue
- MapReduce服务_什么是HDFS_HDFS特性
- MapReduce服务_什么是存算分离_如何配置MRS集群存算分离