检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Logstash对接Kafka生产消费消息 方案概述 应用场景 Logstash是免费且开放的服务器端数据处理管道，能够从多个来源采集数据，转换数据，然后将数据发送到指定的存储中。Kafka是一种高吞吐量的分布式发布订阅消息系统，也是Logstash支持的众多输入输出源之一。本章
Java客户端接入示例 本文介绍Maven方式引入Kafka客户端，并完成Kafka实例连接以及消息生产与消费的相关示例。如果您需要在IDE中查看Demo具体表现，请查看Java开发环境搭建。 下文所有Kafka的配置信息，如实例连接地址、Topic名称、用户信息等，请参考收集连接信息获取。
Kafka支持的监控指标 功能说明 本章节定义了分布式消息服务Kafka版上报云监控服务的监控指标的命名空间，监控指标列表和维度定义，您可以通过云监控服务的管理控制台或API接口来检索Kafka实例产生的监控指标和告警信息，也可以通过分布式消息服务Kafka版控制台提供的“监控”
连接问题 选择和配置安全组 Kafka实例是否支持公网访问？ Kafka实例的连接地址默认有多少个？ 是否支持跨Region访问？ Kafka实例是否支持跨VPC访问？ Kafka实例是否支持不同的子网？ Kafka是否支持Kerberos认证，如何开启认证？ Kafka实例是否支持无密码访问？
与开源Kafka的差异 分布式消息服务Kafka版在兼容开源Kafka基础上，对版本特性做了一定程度的定制和增强，所以，除了拥有开源Kafka的优点，分布式消息服务Kafka版提供了更多可靠、实用的特性。 表1 分布式消息服务Kafka版与开源Kafka的差异说明 对比类 对比项
查询所有实例列表 功能介绍 查询租户的实例列表，支持按照条件查询。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/instances 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID，获取方式请参见获取项目ID。
查询指定实例 功能介绍 查询指定实例的详细信息。 当前页面API为历史版本API，未来可能停止维护。请使用查询指定实例。 调用方法 请参见如何调用API。 URI GET /v2/{engine}/{project_id}/instances/{instance_id} 表1 路径参数
消息堆积处理建议 方案概述 Kafka将Topic划分为多个分区，消息被分布式存储在分区中。同一个消费组内，一个消费者可同时消费多个分区，但一个分区在同一时刻只能被一个消费者消费。 在消息处理过程中，如果客户端的消费速度跟不上服务端的发送速度，未处理的消息会越来越多，这部分消息就
查看Kafka监控数据 云监控对Kafka实例的运行状态进行日常监控，可以通过控制台直观的查看Kafka实例各项监控指标和关键指标的Top数据。 前提条件 已创建Kafka实例，且实例中有可消费的消息。 查看Kafka监控数据 登录管理控制台。 在管理控制台左上角单击，选择Kafka实例所在的区域。
访问Kafka Manager Kafka Manager是开源的Kafka集群管理工具，需要通过浏览器才能访问Kafka Manager的地址。在Kafka Manager页面，您可以查看Kafka集群的监控、代理等信息。 2023年5月17日及以后创建的实例不提供Kafka
Kafka客户端参数配置建议 Kafka客户端的配置参数很多，以下提供Producer和Consumer几个常用参数配置。不同版本的Kafka客户端参数名称可能不同，以下配置参数适用于1.1.0及以上版本。其他参数和版本配置，请参考Kafka配置。 表1 Producer参数 参数
查询指定实例 当前页面API为历史版本API，未来可能停止维护。请使用查询指定实例。 功能介绍 查询指定实例的详细信息。 URI GET /v1.0/{project_id}/instances/{instance_id} 参数说明见表1。 表1 参数说明 参数 类型 必选 说明
Kafka扩容/缩容会影响业务吗？ 扩容/缩容Kafka实例的影响如表1所示。 表1 变更实例规格的影响 变更配置类型 影响 基准带宽/代理数量 扩容基准带宽/代理数量不会影响原来的代理，业务也不受影响。 扩容基准带宽/代理数量时，系统会根据当前磁盘大小进行相应比例的存储空间扩容
为什么Kafka实例常常发生Rebalance（重平衡），导致消息拉取失败？ 消费组的Rebalance就是对Topic分区的重新分配。 正常情况下消费组内加入新的消费者或老的消费者退出都会导致Rebalance，这种情况是无法避免的。但是某些特殊情况下，消费者会被服务端认为异常
包年/包月 包年/包月是一种先付费再使用的计费模式，适用于对资源需求稳定且希望降低成本的用户。通过选择包年/包月的计费模式，您可以预先购买云服务资源并获得一定程度的价格优惠。本文将介绍包年/包月Kafka实例的计费规则。 适用场景 包年/包月计费模式需要用户预先支付一定时长的费用
修改Kafka的接入方式 功能介绍 修改Kafka的内网或者公网接入方式。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/{engine}/instances/{instance_id}/plain-ssl-switch 表1 路径参数 参数
查看Kafka消费组信息 消费组创建成功后，可查看消费组配置信息和状态信息。 查看消费组列表（控制台） 登录管理控制台。 在管理控制台左上角单击，选择Kafka实例所在的区域。 在管理控制台左上角单击，选择“应用中间件 > 分布式消息服务Kafka版”，进入分布式消息服务Kafka专享版页面。
删除Kafka Topic 本章节指导您删除Topic，请根据实际情况选择以下任意一种方式： 删除Kafka Topic（控制台） 删除Kafka Topic（Kafka客户端） 约束与限制 删除Topic会导致Topic中的数据也被删除，并且无法找回，同时会影响使用该Topic的相关业务。
获取和使用Kafka PEM格式的SSL证书 本章节指导您如何获取PEM格式的SSL证书，并使用PEM格式证书访问Kafka实例。 前提条件 实例已开启Kafka SASL_SSL。 获取PEM格式的SSL证书 登录管理控制台。 在管理控制台左上角单击，选择Kafka实例所在的区域。
与RabbitMQ、RocketMQ的差异 表1 功能差异 功能项 RocketMQ Kafka RabbitMQ 优先级队列 不支持 不支持 3.8.35版本：支持。建议优先级大小设置在0-10之间。 AMQP-0-9-1版本：支持。优先级大小设置在1-9之间。 延迟队列 支持
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
