MAPREDUCE服务 MRS-使用Flume服务端从Kafka采集日志保存到HDFS:操作场景

时间:2024-10-22 09:17:14

操作场景

该任务指导用户使用Flume服务端从Kafka的Topic列表(test1)采集日志保存到HDFS上“/flume/test”目录下。

本章节适用于 MRS 3.x及之后版本。

本配置默认集群网络环境是安全的,数据传输过程不需要启用SSL认证。如需使用加密方式,请参考配置Flume加密传输数据采集任务。该配置为只用一个Flume场景,例如:Kafka Source+Memory Channel+HDFS Sink.

support.huaweicloud.com/cmpntguide-mrs/mrs_01_1065.html