检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
集群迁移：当今很多企业将业务迁移上云，迁移过程中需要确保线下集群和云上集群的数据同步，保证业务的连续性。 方案架构 使用MirrorMaker可以实现将源集群中的数据镜像复制到目标集群中。其原理如图1所示，MirrorMaker本质上也是生产消费消息，首先从源集群中消费数据，然后将消费的数据生产
问题现象：消息超过设置的老化时间（如果Topic已经设置了老化时间，此时“配置参数”中的log.retention.hours值将不对此Topic生效。仅在Topic中未设置老化时间时，“配置参数”中的log.retention.hours值才会对此Topic生效。），消息仍存在。
问题现象：监控显示消息堆积数为8.1亿+，Kafka控制台显示实例中6个Topic的消息数总和为1亿+，两者不一致。 问题结论：两者统计方式不同，Kafka控制台显示的消息数为实例中未消费的消息个数，而监控显示的消息堆积数=Topic中的消息积压数*消费组数。 父主题： 监控告警问题
请参见分布式消息服务Kafka版价格详情中的“实例价格”。 存储空间费用 存储空间单价 * 购买时长 请参见分布式消息服务Kafka版价格详情中的“存储价格”。 图2给出了上述示例配置的费用计算过程。图中价格仅供参考，实际计算请以分布式消息服务Kafka版价格详情中的价格为准。 图2 按需计费
请参见分布式消息服务Kafka版价格详情中的“实例价格”。 存储空间费用 存储空间单价 * 购买时长 请参见分布式消息服务Kafka版价格详情中的“存储价格”。 图2给出了上述示例配置的费用计算过程。图中价格仅供参考，实际计算请以分布式消息服务Kafka版价格详情中的价格为准。 图2 包年/包
获取账号名和账号ID 在调用接口的时候，部分URL中需要填入账号名和账号ID，所以需要先在管理控制台上获取到账号名和账号ID。账号名和账号ID获取步骤如下： 登录管理控制台。 鼠标悬停在右上角的用户名，选择下拉列表中的“我的凭证”。 查看账号名和账号ID。 图1 查看账号名和账号ID
afka 1.1.0、2.7和3.x。 TPS（Transaction per second），在Kafka场景中，指每秒能写入到Kafka实例的最大消息数量。下表中TPS性能，是指以1KB大小的消息为例的每秒处理消息条数。测试场景为连接内网访问明文接入、磁盘类型为超高I/O的实
7版本，适用于测试场景，不建议用于生产业务。 TPS（Transaction per second），在Kafka场景中，指每秒能写入到Kafka实例的最大消息数量。下表中TPS性能，是指以1KB大小的消息为例的每秒处理消息条数。测试场景为连接内网访问明文接入、磁盘类型为超高I/O的实例。
扩容/缩容过程中生产消息失败 可能原因：在扩容/缩容代理规格的过程中，代理采用滚动重启的方式进行实例变更。在重启过程中，分区Leader会进行切换，此时生产客户端的元数据缓存中保存的分区Leader为旧分区Leader ID，仍然会向旧分区Leader发送消息，导致生产消息失败。
存储空间主要是指用于存储消息（包括副本中的消息）、日志和元数据所需要的空间。选择存储空间时，需要选择磁盘类型和磁盘大小。更多磁盘信息，请参考如何选择磁盘类型。 假设业务存储数据保留天数内磁盘大小为100GB，则磁盘容量最少为100GB*副本数 + 预留磁盘大小100GB。Kafka集群中，每个Kafka
为什么offset不连续？ 在生产者客户端中开启幂等或事务，然后生产消息，此时您会在消费者客户端或Kafka控制台的“消息查询”中观察到消息offset不连续的现象。这是因为开启了幂等或事务后，在生产消息时会产生一些元数据控制消息，这些控制消息也会生产到该Topic中， 且它们对消费者不可见，从而造成offset不连续的现象。
如何选择Kafka实例存储容量阈值策略？ 支持以下两种策略： 生产受限策略 该策略场景下一旦磁盘使用达到容量阈值95%，会导致后续生产失败，但保留了当前磁盘中的数据，直至数据自然老化（Kafka原有的老化机制，数据默认保留3天）。该场景适用于对数据不能丢的业务场景，但是会导致生产业务失败。 自动删除策略
projectman_project_enterprise_project Try again. 问题现象： 在Kafka Manager中无法创建topic，报错：Yikes! Insufficient partition balance when creating topic
消息堆积处理建议 方案概述 Kafka将Topic划分为多个分区，消息被分布式存储在分区中。同一个消费组内，一个消费者可同时消费多个分区，但一个分区在同一时刻只能被一个消费者消费。 在消息处理过程中，如果客户端的消费速度跟不上服务端的发送速度，未处理的消息会越来越多，这部分消息就被称
Kafka Manager和云监控显示的信息不一致 问题现象：在后台删除某个消费组后，在云监控已经不显示此消费组，但是Kafka Manager中依然存在。 问题原因：Kafka Manager存在缓存。 处理方法：登录Kafka控制台，在实例所在行，单击“更多 > 重启Manager”。
息的生产和消费。相关代码您可以从kafka-springboot-demo中获取。 下文所有Kafka的配置信息，如实例连接地址、Topic名称、用户信息等，请参考收集连接信息获取。 在pom.xml文件中引入spring-kafka依赖 <dependency> <groupId>org
为什么限制Topic的总分区数？ Kafka以分区为粒度管理消息，分区多导致生产、存储、消费都碎片化，影响性能稳定性。在使用过程中，当Topic的总分区数达到上限后，用户就无法继续创建Topic。 不同规格配置的Topic总分区数不同，如下表所示。 表1 Kafka集群实例规格 规格名称
云监控无法展示Kafka监控数据 Topic监控数据无法展示，可能原因如下： Topic名称开头包含特殊字符，例如#号“#”。 Kafka实例中没有创建Topic。 解决方法如下： 删除带特殊字符的Topic。 创建Topic。 消费组监控数据无法展示，可能原因如下： 消费组名称开头包含特殊字符，例如#号“#”。
批量重启或删除实例 功能介绍 批量重启或删除实例。 在实例重启过程中，客户端的生产与消费消息等请求会被拒绝。 实例删除后，实例中原有的数据将被删除，且没有备份，请谨慎操作。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/instances/action
IAM是华为云提供权限管理的基础服务，无需付费即可使用，您只需要为您账号中的资源进行付费。 关于IAM的详细介绍，请参见IAM产品介绍。 DMS for Kafka的权限与策略基于分布式消息服务DMS，因此在IAM服务中为Kafka分配用户与权限时，请选择并使用“DMS”的权限与策略。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
