检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Java Java客户端接入示例 Java开发环境搭建
spring-kafka的使用 本文介绍如何使用spring-kafka连接华为云Kafka实例进行消息的生产和消费。相关代码您可以从kafka-springboot-demo中获取。 下文所有Kafka的配置信息，如实例连接地址、Topic名称、用户信息等，请参考收集连接信息获取
Python 本文以Linux CentOS环境为例，介绍Python版本的Kafka客户端连接指导，包括Kafka客户端安装，以及生产、消费消息。 使用前请参考收集连接信息收集Kafka所需的连接信息。 准备环境 Python 一般系统预装了Python，您可以在命令行输入python
收集连接信息 在连接Kafka实例生产消费消息前，请先获取以下Kafka实例信息。 实例连接地址与端口 实例创建后，从Kafka实例控制台的基本信息页面中获取。 如果Kafka实例为集群部署，至少有3个连接地址，在客户端配置时，建议配置所有的连接地址，提高可靠性。 如果开启公网访问
消息堆积处理建议 方案概述 Kafka将Topic划分为多个分区，消息被分布式存储在分区中。同一个消费组内，一个消费者可同时消费多个分区，但一个分区在同一时刻只能被一个消费者消费。 在消息处理过程中，如果客户端的消费速度跟不上服务端的发送速度，未处理的消息会越来越多，这部分消息就被称为堆积消息
获取Kafka开源客户端 Kafka实例支持多种语言的客户端，如果您想要使用其他语言连接Kafka实例，可以从Kafka官网获取客户端。 Kafka官网支持的客户端语言包括：C/C++、Python、Go、PHP、Node.js等等。 Kafka实例完全兼容开源客户端，按照Kafka
为什么删除Topic不生效？删除后该Topic仍然存在 可能原因：您开启了自动创建Topic功能，且有消费者正在连接该Topic。所以，如果没有停止您的业务，删除了Topic后，还会有消息生产行为，并自动创建Topic。 解决办法：需要关闭自动创建Topic功能，才可以正常删除Topic
Java客户端接入示例 本文介绍Maven方式引入Kafka客户端，并完成Kafka实例连接以及消息生产与消费的相关示例。如果您需要在IDE中查看Demo具体表现，请查看Java开发环境搭建。 下文所有Kafka的配置信息，如实例连接地址、Topic名称、用户信息等，请参考收集连接信息获取
删除Topic失败 问题现象 删除Topic不生效，删除后该Topic仍然存在。 根因描述 实例开启了自动创建Topic功能，且有消费者正在连接该Topic。如果没有停止业务，删除Topic后，还会有消息生产行为，并自动创建Topic。 问题解决措施 关闭Kafka自动创建Topic
云监控无法展示Kafka监控数据 Topic监控数据无法展示，可能原因如下： Topic名称开头包含特殊字符，例如#号“#”。 Kafka实例中没有创建Topic。 解决方法如下： 删除带特殊字符的Topic。 创建Topic。 消费组监控数据无法展示，可能原因如下： 消费组名称开头包含特殊字符
为什么不建议使用Sarama客户端收发消息？ 问题现象 使用Sarama客户端收发消息存在以下问题： Sarama客户端无法感知分区变化，当Topic分区数增加时，需要重启客户端后才能正常消费。 Sarama客户端消息最大处理时间（MaxProcessingTime）默认值为100ms
删除Kafka消息 本章节介绍如何在控制台删除Topic中存储的消息。 删除Kafka消息须知 消息删除后无法恢复，请谨慎操作。 前提条件 删除消息前，请先在消费代码中设置“auto.offset.reset”参数。“auto.offset.reset”用来指定当Kafka中没有初始偏移量或者当前偏移量不存在
修改Kafka消息老化时间 老化时间即消息的最长保留时间，消费者必须在此时间结束前消费消息，否则消息将被删除。已删除的消息，无法被消费。 Topic老化时间默认为72小时，创建Topic成功之后，您可以根据业务需要修改Topic的老化时间。修改老化时间，不会影响业务。 修改老化时间可以通过以下方式实现
修改Kafka实例配置参数 分布式消息服务Kafka版为实例、Topic、消费者提供了几个常用配置参数的默认值，您可以根据实际业务需求，在控制台自行修改参数值。其他在控制台未列出的配置参数，请参考Kafka配置进行修改。 Kafka实例的参数分为动态参数和静态参数： 动态参数：动态参数修改成功后
配置Kafka流控 Kafka支持对用户/客户端/Topic配置流量控制，控制生产/消费消息的上限速率。 用户/客户端的流控作用范围是整个Broker，Topic的流控作用范围是指定Topic。 2022年11月10日及以后创建的实例支持此功能。 单机实例不支持配置流控。 操作影响
使用前必读 欢迎使用分布式消息服务Kafka版。分布式消息服务Kafka版是一款基于开源社区版Kafka提供的消息队列服务，向用户提供计算、存储和带宽资源独占式的Kafka专享实例。使用分布式消息服务Kafka版，资源按需申请，按需配置Topic的分区与副本数量，即买即用，您将有更多精力专注于业务快速开发
消息从生产到消费时延高达6分钟 问题现象 消息从生产到消费的端到端时延偶现到达6分钟，业务对消息时延较为敏感。 分析过程 怀疑是业务堆积，处理慢导致时延。 通过查看监控数据，发现业务请求并不是很多，堆积最多时也只有50条消息，同时每秒新增消息只有10条左右，应该还没有到达处理极限。
消费组问题 Kafka实例是否需要创建消费组、生产者和消费者？ 如果消息组中没有在线的消费者（如empty状态），是否14天后会自动被删除？ 为什么删除消费组不生效？ 实例消费正常，为什么看不到消费者？ Kafka可以删除消费组下不用的Topic吗？
Kafka客户端参数配置建议 Kafka客户端的配置参数很多，以下提供Producer和Consumer几个常用参数配置。不同版本的Kafka客户端参数名称可能不同，以下配置参数适用于1.1.0及以上版本。其他参数和版本配置，请参考Kafka配置。 表1 Producer参数 参数
Kafka最佳实践汇总 本文汇总了基于分布式消息服务Kafka版常见应用场景的操作实践，为每个实践提供详细的方案描述和操作指导，帮助用户轻松使用Kafka。 表1 Kafka最佳实践一览表 最佳实践 说明 提高Kafka消息处理效率 本章节提供了生产者和消费者对于消息的使用建议，以提高消息发送和消息消费的效率与可靠性
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
