检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置消息堆积数监控 方案概述 在消息处理过程中，如果客户端的消费速度跟不上服务端的发送速度，未处理的消息会越来越多，这部分消息就被称为堆积消息。消息没有被及时消费就会产生消息堆积，从而会造成消息消费延迟。 如果您想要在消费组的消息堆积数超过阈值时，通过短信/邮件及时收到通知信息，
Kafka监控显示消息堆积数跟实例里的消息数不一致？ 问题现象：监控显示消息堆积数为8.1亿+，Kafka控制台显示实例中6个Topic的消息数总和为1亿+，两者不一致。 问题结论：两者统计方式不同，Kafka控制台显示的消息数为实例中未消费的消息个数，而监控显示的消息堆积数=Topic中的消息积压数*消费组数。
您只需要在实例管理界面选好规格配置，提交订单。后台将自动创建部署完成一整套Kafka实例。 兼容开源，业务零改动迁移上云 兼容社区版Kafka的API，具备原生Kafka的所有消息处理特性。 业务系统基于开源的Kafka进行开发，只需加入少量认证安全配置，即可使用分布式消息服务Kafka版，做到无缝迁移。
容灾和多活 根据对数据与服务的不同可靠性要求，您可以选择在单可用区内（单机房）部署Kafka实例，或跨可用区（同城灾备）部署，也可以通过数据同步工具（MirrorMaker）进行跨实例的数据同步。 在单可用区或多可用区中部署实例 使用MirrorMaker跨实例数据同步 副本冗余 副本
身份认证与访问控制 身份认证 无论用户通过控制台还是API访问DMS for Kafka，都会要求访问请求方出示身份凭证，并进行身份合法性校验，同时提供登录保护和登录验证策略加固身份认证安全。 DMS for Kafka基于统一身份认证服务（Identity and Access
本指南主要介绍实例连接信息的收集，如获取实例连接地址、Topic名称等，然后提供Java、Python和Go等语言的连接示例。 本指南的示例仅展示Kafka的API调用，生产与消费的API集，请参考Kafka官网。 客户端网络环境说明 客户端可以通过以下方式访问Kafka实例： 如果客户端是云上ECS，与Kafk
aS和SaaS类云服务内部的安全以及对租户定制配置进行安全有效的管理，包括但不限于虚拟网络、虚拟主机和访客虚拟机的操作系统，虚拟防火墙、API网关和高级安全服务，各项云服务，租户数据，以及身份账号和密钥管理等方面的安全配置。 《华为云安全白皮书》详细介绍华为云安全性的构建思路与措
目业务中，让各责任组织及时了解各自的成本情况。 华为云成本中心支持通过多种不同的方式对成本进行归集和重新分配，您可以根据需要选择合适的分配工具。 通过关联账号进行成本分配 企业主客户可以使用关联账号对子客户的成本进行归集，从而对子账号进行财务管理。详细介绍请参见通过关联账号维度查看成本分配。
为什么JVM堆内存使用率出现明显波动？ JVM堆内存使用率在监控页面呈现锯齿状属于正常现象，在扩容规格或升级Kafka实例内核版本后，可能导致JVM堆内存使用率最大值升高、波动幅度变大，这种波动属于JVM堆内存回收的正常机制，对业务无影响。 父主题： 监控告警问题
Python 本文以Linux CentOS环境为例，介绍Python版本的Kafka客户端连接指导，包括Kafka客户端安装，以及生产、消费消息。 使用前请参考收集连接信息收集Kafka所需的连接信息。 准备环境 Python 一般系统预装了Python，您可以在命令行输入py
生产消息数不为0，为什么生产速率为0？ 消息生产速率的原始指标数据为每分钟上报一次，但是它的单位为“个/秒”，所以消息生产速率=一分钟内生产的消息数/60，其值向下取整。当一分钟内生产的消息数小于60个时，生产速率会显示为0。 父主题： 监控告警问题
Kafka Manager和云监控显示的信息不一致 问题现象：在后台删除某个消费组后，在云监控已经不显示此消费组，但是Kafka Manager中依然存在。 问题原因：Kafka Manager存在缓存。 处理方法：登录Kafka控制台，在实例所在行，单击“更多 > 重启Manager”。
迁移结束。 常见问题：如何将持久化数据也一起迁移 如果需要将原Kafka的已消费数据也迁移到Kafka实例，可以使用Smart Connect工具，模拟成原Kafka的消费客户端，以及新Kafka实例的生产客户端，将Kafka所有消息数据迁移到新的Kafka实例，具体步骤请参考配置Kafka间的数据复制。
为什么磁盘读/写流量、磁盘平均读/写操作耗时和CPU使用率出现明显波动？ 磁盘读流量、磁盘写流量、磁盘平均读操作耗时、磁盘平均写操作耗时和CPU使用率这几个监控指标采集的是瞬时值，仅作为系统资源评估参考。它们出现明显波动通常情况下是由于Kafka数据采用异步落盘会消耗磁盘I/O和
修改advertised.listeners IP（使用DNAT访问） 步骤五：验证接口连通性 参考使用客户端连接Kafka（关闭SASL）或者使用客户端连接Kafka（开启SASL），测试是否可以生产和消费消息。 测试接口连通性时，注意以下几点： 连接Kafka实例的地址为“advertised
查看Kafka磁盘使用量 本章节指导您在控制台查看每个代理上磁盘的使用量，以了解Kafka实例的磁盘使用情况。 约束与限制 单机实例不支持查看磁盘使用量。 查看Kafka磁盘使用量 登录管理控制台。 在管理控制台左上角单击，选择Kafka实例所在的区域。 在管理控制台左上角单击，选择“应用中间件
Kafka消息堆积了怎么办？ 问题现象：实例的监控指标“消息堆积数”产生了告警。 处理方法1： 登录Kafka实例控制台，单击产生告警的实例名称，进入实例详情页。 在左侧导航栏，单击“监控与告警 > 监控详情”，进入监控页面。 在“消费组”页签中，查看“消息堆积数（消费组可消费消息数）”，找出消息堆积的消费组。
Kafka实例是否支持查看单个Topic占用磁盘空间？ 支持。通过以下任意一种方法，查看单个Topic占用磁盘空间大小。 在Kafka实例名称所在行，单击“查看监控数据”，跳转到云监控页面。在“主题”页签中，“主题”选择待查看磁盘空间大小的Topic名称，“监控类型”选择“基本监
费并发度），确保分区数/消费者数=整数，建议消费者数和分区数保持一致。 提高消费者的消费速度，通过优化消费者处理逻辑（减少复杂计算、第三方接口调用和读库操作），减少消费时间。 增加消费者每次拉取消息的数量：拉取数据/处理时间 >= 生产速度。 生产者端 生产消息时，给消息Key加随机后缀，使消息均衡分布到不同分区上。
poll.records条消息会不会超过max.poll.interval.ms时间。 消息处理流程是否有网络行为，如写数据库、调用后端API等，在发生Rebalance的场景下消费者下游系统是否正常。 解决方法：建议在消费者客户端将max.poll.records值减小，如果消息处理时间较长可以适当增加max
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
