分布式消息服务KAFKA版-Logstash对接Kafka生产消费消息:前提条件

时间:2024-11-28 01:45:13

前提条件

执行实施步骤前,请确保已完成以下操作:

  • 下载Logstash
  • 准备一台Windows系统的主机,在主机中安装Java Development Kit 1.8.111或以上版本和Git Bash。
  • 创建Kafka实例Topic,并获取Kafka实例信息。

    Kafka实例未开启公网访问和SASL认证时,获取表2所示信息。

    表2 Kafka实例信息(未开启公网访问和SASL认证)

    参数名

    获取途径

    内网连接地址

    在Kafka实例详情页的“连接信息”区域,获取“内网连接地址”。

    Topic名称

    在Kafka实例控制台,单击实例名称,进入实例详情页。在左侧导航栏单击“Topic管理”,进入Topic列表页面,获取Topic名称。

    下文以topic-logstash为例介绍。

    Kafka实例未开启公网访问、已开启SASL认证时,获取表3所示信息。

    表3 Kafka实例信息(未开启公网访问、已开启SASL认证)

    参数名

    获取途径

    内网连接地址

    在Kafka实例详情页的“连接信息”区域,获取“内网连接地址”。

    开启的SASL认证机制

    在Kafka实例详情页的“连接信息”区域,获取“开启的SASL认证机制”。

    启用的安全协议

    在Kafka实例详情页的“连接信息”区域,获取“启用的安全协议”。

    证书

    在Kafka实例详情页的“连接信息”区域,在“SSL证书”所在行,单击“下载”。下载压缩包后解压,获取压缩包中的客户端证书文件:client.jks。

    SASL用户名和密码

    在Kafka实例控制台,单击实例名称,进入实例详情页。在左侧导航栏单击“用户管理”,进入用户列表页面,获取用户名。如果忘记了密码,单击“重置密码”,重新设置密码。

    Topic名称

    在Kafka实例控制台,单击实例名称,进入实例详情页。在左侧导航栏单击“Topic管理”,进入Topic列表页面,获取Topic名称。

    下文以topic-logstash为例介绍。

    Kafka实例已开启公网访问、未开启SASL认证时,获取表4所示信息。

    表4 Kafka实例信息(已开启公网访问、未开启SASL认证)

    参数名

    获取途径

    公网连接地址

    在Kafka实例详情页的“连接信息”区域,获取“公网连接地址”。

    Topic名称

    在Kafka实例控制台,单击实例名称,进入实例详情页。在左侧导航栏单击“Topic管理”,进入Topic列表页面,获取Topic名称。

    下文以topic-logstash为例介绍。

    Kafka实例已开启公网访问和SASL认证时,获取表5所示信息。

    表5 Kafka实例信息(已开启公网访问和SASL认证)

    参数名

    获取途径

    公网连接地址

    在实例详情页的“连接信息”区域,获取“公网连接地址”

    开启的SASL认证机制

    在Kafka实例详情页的“连接信息”区域,获取“开启的SASL认证机制”。

    启用的安全协议

    在Kafka实例详情页的“连接信息”区域,获取“启用的安全协议”。

    证书

    在Kafka实例详情页的“连接信息”区域,在“SSL证书”所在行,单击“下载”。下载压缩包后解压,获取压缩包中的客户端证书文件:client.jks。

    SASL用户名和密码

    在Kafka实例控制台,单击实例名称,进入实例详情页。在左侧导航栏单击“用户管理”,进入用户列表页面,获取用户名。如果忘记了密码,单击“重置密码”,重新设置密码。

    Topic名称

    在Kafka实例控制台,单击实例名称,进入实例详情页。在左侧导航栏单击“Topic管理”,进入Topic列表页面,获取Topic名称。

    下文以topic-logstash为例介绍。

support.huaweicloud.com/bestpractice-kafka/Kafka_bp_0005.html