检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
成长地图 | 华为云 分布式消息服务Kafka版 分布式消息服务Kafka版（Distributed Message Service for Kafka）是一款基于开源社区版Kafka提供的消息队列服务，向用户提供计算、存储和带宽资源独占式的Kafka专享实例。 免费体验 图说Kafka
查看和重置Kafka消费进度 消费进度表示消费者的消费位置，本章节介绍如何查看和重置消费进度，重置消费进度即修改消费者的消费位置。 操作视频 本视频演示重置Kafka消费进度的操作。 约束与限制 重置消费进度可能会导致重复消费，请谨慎操作。 前提条件 Kafka实例不支持在线重置
Kafka提供跨AZ类型实例，支持跨AZ容灾，当一个AZ异常时，不影响Kafka实例持续提供服务。 AZ内实例容灾 同一个AZ内，Kafka实例通过副本冗余方式实现实例容灾，当检测到leader副本故障后，快速完成副本选主，保障Kafka实例持续提供服务。 数据容灾 通过支持数据多副本方式实现数据容灾。 跨AZ容灾部署架构
图解Kafka、RabbitMQ和RocketMQ的差异
timeout.ms consumer允许的最大会话超时时间。超时时间越长，consumer就能在心跳探测周期内有更多时间处理消息，但也会使故障检测花费更长时间。 6000 ~ 1800000 单位：毫秒 1800000 default.replication.factor 自动创建Topic时的默认副本个数。
因此，本手册以同一VPC内子网地址的方式，介绍客户端开发环境搭建。 遇到连接超时或失败时，请注意确认网络是否连通。可使用telnet方式，检测实例连接地址与端口。
此时会导致数据重复复制，且目标Topic消费进度异常。 图1 复制数据规则配置 （可选）在页面右下角单击“开始检测”，测试两端Kafka实例的连通性。 显示“连通性检测成功”时，表示两端Kafka实例可以正常连接。 单击“立即创建”，跳转到Smart Connect任务列表页面，页面右上角显示“创建xxx任务成功”。
ition）并不强制数量相等，Kafka的poll(long)方法帮助实现获取消息、分区平衡、消费者与Kafka broker节点间的心跳检测等功能。 因此在对消费消息的实时性要求不高场景下，当消息数量不多的时候，可以选择让一部分消费者处于wait状态。 代码示例 以下仅贴出与消
[root@ecs-kafka ~]# 执行以下命令，通过CA创建一个服务器的Truststore证书，有了Truststore证书才可以进行证书有效性的检测。 keytool -keystore server.truststore.jks -alias CARoot -import -file
Kafka特性。 稳定性高，基于librdkafka，具有高性能和低延迟的特点。 增加编译复杂度。由于导入C++库，Golang编译器需要引入额外编译配置，增加了编译依赖，提高编译复杂度。 Kafka-go kafka-go是一个简单、轻量级的Kafka客户端库，易于学习和使用。
本高。 实践验证 成熟度高 经受电商网站大规模访问考验，并且已经在华为云许多产品中使用，广泛部署运行在分布于世界各地的电信级客户云业务系统里。满足严苛的电信级故障模式库标准。紧随社区主流版本，修复开源bug，持续上线新功能，进行版本升级。 使用开源软件成熟度低，无法保证关键业务，
重启Kafka Manager 当Kafka Manager无法登录或者无法使用时，例如下图中的报错，可以通过重启Kafka Manager，使Kafka Manager恢复正常。 图1 报错信息 2023年5月17日及以后创建的实例不提供重启Kafka Manager功能。 约束与限制
生产或消费消息时，报Topic {{topic_name}} not present in metadata after 60000 ms错误 问题现象 多可用区的Kafka实例，在某个可用区故障后，Kafka客户端在生产或消费消息时，可能会报Topic {{topic_name}}
Kafka业务使用流程 分布式消息服务Kafka版是一款基于开源社区版Kafka提供的消息队列服务，向用户提供计算、存储和带宽资源独占式的Kafka实例。使用Kafka实例生产消费消息的流程如下图所示。 图1 Kafka业务使用流程 创建用户并授权使用DMS for Kafka 创建IAM用户，并授予DMS
参数 说明 套餐规格 选择“综合推荐”中的“入门版”。入门版面向入门级用户，提供兼容开源协议的托管Kafka服务，适用于性能诉求不高、时延容忍度较高的成本敏感业务或测试环境等。 单个代理存储空间 根据实际需要选择存储Kafka数据的磁盘类型和磁盘大小。 实例总存储空间 = 单个代理的存储空间
版本支持公告 版本号说明 分布式消息服务Kafka版的版本号格式为：消息引擎类型 x.y.z，其中消息引擎类型为Kafka，版本号具体含义如图1所示。 图1 版本号示例 版本支持情况 分布式消息服务Kafka版支持的版本：1.1.0、2.7、3.x（推荐） 版本生命周期 分布式消
在Windows服务器中无法登录Kafka Manager 问题现象 在Windows服务器的浏览器中输入Kafka Manager地址，无法登录Kafka Manager，报错信息如下图。 根因描述 Windows服务器和Kafka实例不在同一个VPC同一个子网内，或者安全组配置不正确，导致网络无法连通。
Logstash对接Kafka生产消费消息 方案概述 应用场景 Logstash是免费且开放的服务器端数据处理管道，能够从多个来源采集数据，转换数据，然后将数据发送到指定的存储中。Kafka是一种高吞吐量的分布式发布订阅消息系统，也是Logstash支持的众多输入输出源之一。本章
业务数据不均衡处理建议 方案概述 Kafka将Topic划分为多个分区，所有消息分布式存储在各个分区上。每个分区有一个或多个副本，分布在不同的Broker节点上，每个副本存储一份全量数据，副本之间的消息数据保持同步。Kafka的Topic、分区、副本和代理的关系如下图所示： 在实
从消息堆积的原因看，消息堆积问题可以从消费者端、生产者端和服务端三个方面进行处理。 消费者端 根据实际业务需求，合理增加消费者个数（消费并发度），确保分区数/消费者数=整数，建议消费者数和分区数保持一致。 提高消费者的消费速度，通过优化消费者处理逻辑（减少复杂计算、第三方接口调用和读库操作），减少消费时间。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
