检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
可以为不同的用户设置不同的访问Kafka实例的权限，以达到不同用户之前的权限隔离。 云监控（Cloud Eye） 云监控是一个开放性的监控平台，提供资源的实时监控、告警、通知等服务。 Kafka实例向CloudEye上报监控数据的更新周期为1分钟。 弹性公网IP（Elastic IP）
为什么Kafka实例常常发生Rebalance（重平衡），导致消息拉取失败？ 消费组的Rebalance就是对Topic分区的重新分配。 正常情况下消费组内加入新的消费者或老的消费者退出都会导致Rebalance，这种情况是无法避免的。但是某些特殊情况下，消费者会被服务端认为异常
创建Kafka消费组 消费者是从Topic订阅消息的一方，消费组是由一个或多个消费者组成的。同一个消费组内，一个消费者可同时消费多个分区，但一个分区在同一时刻只能被一个消费者消费。 图1 消费关系示例图 “auto.create.groups.enable”表示在消费者进入未创建的消费组时，会自动创建此消费组。
查看Kafka重平衡日志 Rebalance是重新分配消息组中的消费者和Topic分区之间订阅关系的过程。在Rebalance过程中消费组下的所有消费者都会停止消费，等待Rebalance完成。 可能会触发Rebalance的原因： 消费组成员个数发生变化，例如有新的消费者加入，或者有消费者退出。
查看Kafka Topic详情 Kafka实例支持在控制台查看Topic的基本信息、分区信息、生产者信息和订阅关系。 约束与限制 如果一个实例中消费组数量超过10000，则不支持查询Topic的订阅关系。 仅当生产者正在往Topic中生产消息时，才显示生产者信息。 查看Topic详情
为什么offset不连续？ 在生产者客户端中开启幂等或事务，然后生产消息，此时您会在消费者客户端或Kafka控制台的“消息查询”中观察到消息offset不连续的现象。这是因为开启了幂等或事务后，在生产消息时会产生一些元数据控制消息，这些控制消息也会生产到该Topic中， 且它们对
错误码 当您调用API时，如果遇到“APIGW”开头的错误码，请参见API网关错误码进行处理。 更多服务错误码请参见API错误中心。 状态码 错误码 错误信息 描述 处理措施 400 DMS.00400002 The project ID format is invalid. Project-ID的格式无效。
查看和重置Kafka消费进度 消费进度表示消费者的消费位置，本章节介绍如何查看和重置消费进度，重置消费进度即修改消费者的消费位置。 操作视频 本视频演示重置Kafka消费进度的操作。 约束与限制 重置消费进度可能会导致重复消费，请谨慎操作。 前提条件 Kafka实例不支持在线重置
创建Kafka Topic Topic，即消息主题，用于存储消息，供生产者生产消息以及消费者订阅消息。创建Kafka实例成功后，如果没有开启“Kafka自动创建Topic”，需要手动创建Topic。如果实例开启了“Kafka自动创建Topic”，则该操作为可选。 “Kafka自动
概述 Kafka实例完全兼容开源Kafka协议，可以直接使用kafka开源客户端连接。如果“kafka安全协议”设置为“SASL_SSL”，则在开源客户端基础上使用云服务提供的证书文件。 本指南主要介绍实例连接信息的收集，如获取实例连接地址、Topic名称等，然后提供Java、Python和Go等语言的连接示例。
Go 本文以Linux CentOS环境为例，介绍Go 1.16.5版本的Kafka客户端连接指导，包括demo代码库的获取，以及生产、消费消息。 使用前请参考收集连接信息收集Kafka所需的连接信息。 准备环境 执行以下命令，检查是否已安装Go。 go version 返回如下回显时，说明Go已经安装。
Python 本文以Linux CentOS环境为例，介绍Python版本的Kafka客户端连接指导，包括Kafka客户端安装，以及生产、消费消息。 使用前请参考收集连接信息收集Kafka所需的连接信息。 准备环境 Python 一般系统预装了Python，您可以在命令行输入py
IdentityReplicationPolicy”。 在源集群生产并消费消息，在目标集群查看消费进度，确认数据是否已从源集群同步到了目标集群。 如果目标集群为华为云Kafka实例的话，在分布式消息服务Kafka版控制台的“消费组管理 > 消费进度”中，查看消费进度。
消息堆积处理建议 方案概述 Kafka将Topic划分为多个分区，消息被分布式存储在分区中。同一个消费组内，一个消费者可同时消费多个分区，但一个分区在同一时刻只能被一个消费者消费。 在消息处理过程中，如果客户端的消费速度跟不上服务端的发送速度，未处理的消息会越来越多，这部分消息就
获取Kafka开源客户端 Kafka实例支持多种语言的客户端，如果您想要使用其他语言连接Kafka实例，可以从Kafka官网获取客户端。 Kafka官网支持的客户端语言包括：C/C++、Python、Go、PHP、Node.js等等。 Kafka实例完全兼容开源客户端，按照Kaf
收集连接信息 在连接Kafka实例生产消费消息前，请先获取以下Kafka实例信息。 实例连接地址与端口 实例创建后，从Kafka实例控制台的基本信息页面中获取。 如果Kafka实例为集群部署，至少有3个连接地址，在客户端配置时，建议配置所有的连接地址，提高可靠性。 如果开启公网访
Java客户端接入示例 本文介绍Maven方式引入Kafka客户端，并完成Kafka实例连接以及消息生产与消费的相关示例。如果您需要在IDE中查看Demo具体表现，请查看Java开发环境搭建。 下文所有Kafka的配置信息，如实例连接地址、Topic名称、用户信息等，请参考收集连接信息获取。
删除Topic失败 问题现象 删除Topic不生效，删除后该Topic仍然存在。 根因描述 实例开启了自动创建Topic功能，且有消费者正在连接该Topic。如果没有停止业务，删除Topic后，还会有消息生产行为，并自动创建Topic。 问题解决措施 关闭Kafka自动创建Top
按月购买的实例：自动续费周期为1个月。 按年购买的实例：自动续费周期为1年。 单击“确认订单”，进入“确认配置”页面。 确认实例信息无误且阅读并同意《华为云用户协议》后，如果“计费模式”选择“包年/包月”，单击“去支付”。根据界面提示信息，支付费用。如果“计费模式”选择“按需付费”，单击“提交”。
云监控无法展示Kafka监控数据 Topic监控数据无法展示，可能原因如下： Topic名称开头包含特殊字符，例如#号“#”。 Kafka实例中没有创建Topic。 解决方法如下： 删除带特殊字符的Topic。 创建Topic。 消费组监控数据无法展示，可能原因如下： 消费组名称开头包含特殊字符，例如#号“#”。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
