分布式消息服务KAFKA版-Logstash对接Kafka生产消费消息:方案概述

时间:2024-11-28 01:45:13

方案概述

应用场景

Logstash是免费且开放的服务器端数据处理管道,能够从多个来源采集数据,转换数据,然后将数据发送到指定的存储中。Kafka是一种高吞吐量的分布式发布订阅消息系统,也是Logstash支持的众多输入输出源之一。本章节主要介绍Logstash如何对接Kafka实例。

方案架构

  • Kafka实例作为Logstash输出源的示意图如下。
    图1 Kafka实例作为Logstash输出源

    Logstash从数据库采集数据,然后发送到Kafka实例中进行存储。Kafka实例作为Logstash输出源时,由于Kafka的高吞吐量,可以存储大量数据。

  • Kafka实例作为Logstash输入源的示意图如下。
    图2 Kafka实例作为Logstash输入源

    日志采集客户端将数据发送到Kafka实例中,Logstash根据自身性能从Kafka实例中拉取数据。Kafka实例作为Logstash输入源时,可以防止突发流量对于Logstash的影响,以及解耦日志采集客户端和Logstash,保证系统的稳定性。

support.huaweicloud.com/bestpractice-kafka/Kafka_bp_0005.html