分布式消息服务KAFKA版-Logstash对接Kafka生产消费消息:前提条件
前提条件
执行实施步骤前,请确保已完成以下操作:
- 下载Logstash。
- 准备一台Windows系统的主机,在主机中安装Java Development Kit 1.8.111或以上版本和Git Bash。
- 创建Kafka实例和Topic,并获取Kafka实例信息。
Kafka实例未开启公网访问和SASL认证时,获取表2所示信息。
表2 Kafka实例信息(未开启公网访问和SASL认证) 参数名
获取途径
内网连接地址
在Kafka实例详情页的“连接信息”区域,获取“内网连接地址”。
Topic名称
在Kafka实例控制台,单击实例名称,进入实例详情页。在左侧导航栏单击“Topic管理”,进入Topic列表页面,获取Topic名称。
下文以topic-logstash为例介绍。
Kafka实例未开启公网访问、已开启SASL认证时,获取表3所示信息。
表3 Kafka实例信息(未开启公网访问、已开启SASL认证) 参数名
获取途径
内网连接地址
在Kafka实例详情页的“连接信息”区域,获取“内网连接地址”。
开启的SASL认证机制
在Kafka实例详情页的“连接信息”区域,获取“开启的SASL认证机制”。
启用的安全协议
在Kafka实例详情页的“连接信息”区域,获取“启用的安全协议”。
证书
在Kafka实例详情页的“连接信息”区域,在“SSL证书”所在行,单击“下载”。下载压缩包后解压,获取压缩包中的客户端证书文件:client.jks。
SASL用户名和密码
在Kafka实例控制台,单击实例名称,进入实例详情页。在左侧导航栏单击“用户管理”,进入用户列表页面,获取用户名。如果忘记了密码,单击“重置密码”,重新设置密码。
Topic名称
在Kafka实例控制台,单击实例名称,进入实例详情页。在左侧导航栏单击“Topic管理”,进入Topic列表页面,获取Topic名称。
下文以topic-logstash为例介绍。
Kafka实例已开启公网访问、未开启SASL认证时,获取表4所示信息。
表4 Kafka实例信息(已开启公网访问、未开启SASL认证) 参数名
获取途径
公网连接地址
在Kafka实例详情页的“连接信息”区域,获取“公网连接地址”。
Topic名称
在Kafka实例控制台,单击实例名称,进入实例详情页。在左侧导航栏单击“Topic管理”,进入Topic列表页面,获取Topic名称。
下文以topic-logstash为例介绍。
Kafka实例已开启公网访问和SASL认证时,获取表5所示信息。
表5 Kafka实例信息(已开启公网访问和SASL认证) 参数名
获取途径
公网连接地址
在实例详情页的“连接信息”区域,获取“公网连接地址”
开启的SASL认证机制
在Kafka实例详情页的“连接信息”区域,获取“开启的SASL认证机制”。
启用的安全协议
在Kafka实例详情页的“连接信息”区域,获取“启用的安全协议”。
证书
在Kafka实例详情页的“连接信息”区域,在“SSL证书”所在行,单击“下载”。下载压缩包后解压,获取压缩包中的客户端证书文件:client.jks。
SASL用户名和密码
在Kafka实例控制台,单击实例名称,进入实例详情页。在左侧导航栏单击“用户管理”,进入用户列表页面,获取用户名。如果忘记了密码,单击“重置密码”,重新设置密码。
Topic名称
在Kafka实例控制台,单击实例名称,进入实例详情页。在左侧导航栏单击“Topic管理”,进入Topic列表页面,获取Topic名称。
下文以topic-logstash为例介绍。
- kafka是什么_kafka介绍_分布式消息服务Kafka版
- 分布式消息服务Kafka版与分布式消息服务RocketMQ版的区别_Kafka与RocketMQ对比_Kafka与RocketMQ差异
- 分布式消息中间件实战_分布式消息实战_分布式消息-华为云
- 分布式消息服务有哪些_分布式消息服务哪个好_分布式消息-华为云
- Kafka架构_Kafka如何实现负载均衡_Kafka数据存储方式-华为云
- 分布式消息服务优势_分布式消息服务_消息队列-华为云
- 分布式消息系统Kafka_分布式消息系统_分布式消息kafka可以解决什么问题-华为云
- Kafka与其他消息队列的对比_什么是Kafka_分布式消息系统-华为云
- 分布式消息中间件的作用_分布式消息中间件_分布式消息-华为云
- RocketMQ的架构_RocketMQ的消息模式_分布式消息RocketMQ-华为云