检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Logstash对接Kafka生产消费消息 方案概述 应用场景 Logstash是免费且开放的服务器端数据处理管道，能够从多个来源采集数据，转换数据，然后将数据发送到指定的存储中。Kafka是一种高吞吐量的分布式发布订阅消息系统，也是Logstash支持的众多输入输出源之一。本章
请求什么类型的操作。 GET：请求服务器返回指定资源。 PUT：请求服务器更新指定资源。 POST：请求服务器新增资源或执行特殊操作。 DELETE：请求服务器删除指定资源，如删除对象等。 HEAD：请求服务器资源头部。 PATCH：请求服务器更新资源的部分内容。当资源不存在的时
怎样判断老规格实例和新规格实例？ 老规格实例：在实例列表中，“规格”显示为带宽（如100MB/s）的实例。 新规格实例：在实例列表中，“规格”显示为ECS规格和代理个数（如kafka.2u4g.cluster*3 broker）的实例。 图1 实例列表 变更实例规格的影响 变更实例规格的时长
获取Kafka命令行工具2.7.2版本。 购买客户端服务器。 购买1台ECS服务器（区域、可用区、虚拟私有云、子网、安全组与Kafka实例保持一致，Linux系统），具体步骤请参考购买弹性云服务器。 购买完成ECS后，需要在ECS中完成以下配置： 安装Java JDK，并配置JAVA_HOME与PATH环境变量。
使用内网通过同一个VPC访问实例 客户端和实例是否使用相同的安全组？ 是，如果保留了创建安全组后，系统默认添加的入方向“允许安全组内的弹性云服务器彼此通信”规则和出方向“放通全部流量”规则，则无需添加其他规则。否则，请添加表1所示规则。 表1 安全组规则 方向 协议 类型 端口 源地址
rrorMaker，否则会导致数据在Topic内无限循环复制。 实施步骤 购买一台弹性云服务器，确保弹性云服务器与源集群、目标集群网络互通。具体购买操作，请参考购买弹性云服务器。 登录弹性云服务器，安装Java JDK，并配置JAVA_HOME与PATH环境变量，使用执行用户在用户家目录下修改“
客户端网络环境说明 客户端可以通过以下方式访问Kafka实例： 如果客户端是云上ECS，与Kafka实例处于同region同VPC，则可以直接访问Kafka实例提供的内网连接地址。 如果客户端是云上ECS，与Kafka实例处于相同region但不同VPC，通过以下任意一种方式访问。
3.0版本或者Kafka命令行工具2.7.2版本或者Kafka命令行工具3.4.0版本，确保Kafka实例版本与命令行工具版本相同。 已在服务器中安装Java Development Kit 1.8.111或以上版本，并配置JAVA_HOME与PATH环境变量，具体方法如下： 使用执行用户在用户家目录下修改“
参数说明如下：connection-address表示Kafka实例的连接地址，在Kafka控制台的“基本信息 > 连接信息”中获取。 示例如下： [root@ecs-kafka bin]# ./kafka-consumer-groups.sh --bootstrap-server 192.168.xx
消息/邮件。 代理（Broker） 即Kafka集群架构设计中的单个Kafka进程，一个Kafka进程对应一台服务器，因此手册中描述的代理，还包括对应的存储、带宽等服务器资源。 分区（Partition） 为了实现水平扩展与高可用，Kafka将Topic划分为多个分区，消息被分布式存储在分区中。
a控制台的“基本信息 > 连接信息”中，获取Kafka实例的连接地址。 topic-name：Topic名称。 示例如下： [root@ecs-kafka bin]# ./kafka-topics.sh --bootstrap-server 192.168.xx.xx:9092,192
number-of-partitions：Topic的分区数。出于性能考虑，建议单个Topic的分区数设置为200以内。 示例如下： [root@ecs-kafka bin]# ./kafka-topics.sh --bootstrap-server 192.168.xx.xx:9092,192
本信息 > 连接信息”中，获取Kafka实例的连接地址。 consumer-group-name：消费组名称。 示例如下： [root@ecs-kafka bin]# ./kafka-consumer-groups.sh --bootstrap-server 192.168.xx
创建一台与Kafka实例相同VPC和相同安全组的Windows服务器，详细步骤请参考购买并登录Windows弹性云服务器。 如果是已经开启了公网访问，该步骤为可选，在本地浏览器中即可访问，不需要单独的Windows弹性云服务器。 在实例详情信息页面，获取Kafka Manager地址。
y 参数 参数类型 描述 type String 实例类型。 product_id String 产品ID。 ecs_flavor_id String 该产品使用的ECS规格。 arch_types Array of strings 支持的CPU架构类型。 charging_mode
Kafka客户端所在的IP地址或地址组 使用内网通过同一个VPC访问Kafka实例（开启SSL加密）。 创建安全组后，系统默认添加入方向“允许安全组内的弹性云服务器彼此通信”规则和出方向“放通全部流量”规则，此时使用内网通过同一个VPC访问Kafka实例，无需添加表2的规则。 开启IPv4公网访问（支持修改明文/密文接入）
fka控制台的“基本信息 > 连接信息”中，获取Kafka实例的连接地址。 group-name：消费组名称。 示例如下： [root@ecs-kafka bin]# ./kafka-consumer-groups.sh --bootstrap-server 192.168.xx
y 参数 参数类型 描述 type String 产品类型。当前产品类型有单机和集群。 product_id String 产品ID。 ecs_flavor_id String 底层资源类型。 billing_code String 账单计费类型。 arch_types Array
参数说明如下：connection-address表示Kafka实例的连接地址，在Kafka控制台的“基本信息 > 连接信息”中获取。 示例如下： [root@ecs-kafka bin]# ./kafka-consumer-groups.sh --bootstrap-server 192.168.xx
3.0版本或者Kafka命令行工具2.7.2版本或者Kafka命令行工具3.4.0版本，确保Kafka实例版本与命令行工具版本相同。 已在服务器中安装Java Development Kit 1.8.111或以上版本，并配置JAVA_HOME与PATH环境变量，具体方法如下： 使用执行用户在用户家目录下修改“
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
