检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Kafka消息堆积了怎么办？ 问题现象：实例的监控指标“消息堆积数”产生了告警。 处理方法1： 登录Kafka实例控制台，单击产生告警的实例名称，进入实例详情页。 在左侧导航栏，单击“监控与告警 > 监控详情”，进入监控页面。 在“消费组”页签中，查看“消息堆积数（消费组可消费消息数）”，找出消息堆积的消费组。
Kafka的消费组删除了，怎么监控页面还可以看到这个消费组？ 监控数据是每分钟进行采集上报，上报的数据经过整理后才会显示在监控页面上，此过程大约需要几分钟到十几分钟，建议您在删除消费组后，过一段时间再去监控页面查看。 父主题： 监控告警问题
为什么磁盘读/写流量、磁盘平均读/写操作耗时和CPU使用率出现明显波动？ 磁盘读流量、磁盘写流量、磁盘平均读操作耗时、磁盘平均写操作耗时和CPU使用率这几个监控指标采集的是瞬时值，仅作为系统资源评估参考。它们出现明显波动通常情况下是由于Kafka数据采用异步落盘会消耗磁盘I/O和
检查单条消息的处理时间是多久，处理max.poll.records条消息会不会超过max.poll.interval.ms时间。 消息处理流程是否有网络行为，如写数据库、调用后端API等，在发生Rebalance的场景下消费者下游系统是否正常。 解决方法：建议在消费者客户端将max.poll.reco
点上，导致CPU利用率高。 磁盘写满的原因 业务数据增长较快，已有的磁盘空间不能满足业务数据需要。 节点内磁盘使用率不均衡，生产的消息集中在某个分区，导致分区所在的磁盘写满。 Topic的数据老化时间设置过大，保存了过多的历史数据，容易导致磁盘写满。 实施步骤 CPU使用率高的处理措施：
查询指定消费组的消费成员 功能介绍 查询指定消费组的消费成员。 调用方法 请参见如何调用API。 URI GET /v2/{engine}/{project_id}/instances/{instance_id}/groups/{group}/members 表1 路径参数 参数
为什么Kafka实例常常发生Rebalance（重平衡），导致消息拉取失败？ 为什么Console页面上，消息查询查不到消息？ Kafka消息堆积了怎么办？ 消息超过老化时间，消息仍存在的原因 Kafka实例是否支持延迟消息？ 如何查看堆积消息数？ 为什么消息创建时间显示1970？ 如何修改message
Kafka实例的超高IO和高IO如何选择？ 高IO：平均时延1-3ms，最大带宽150MB/s（读+写）。 超高IO：平均时延1ms，最大带宽350MB/s（读+写）。 建议选择超高IO，云硬盘服务端压力大场景，都不能达到最大带宽，但是超高IO可达到的带宽比高IO高很多。 父主题：
查询指定消费组的topic 功能介绍 查询指定消费组的topic。 调用方法 请参见如何调用API。 URI GET /v2/{engine}/{project_id}/instances/{instance_id}/groups/{group}/topics 表1 路径参数 参数
云监控无法展示Kafka监控数据 Kafka监控显示消息堆积数跟实例里的消息数不一致？ Kafka的消费组删除了，怎么监控页面还可以看到这个消费组？ 为什么磁盘读/写流量、磁盘平均读/写操作耗时和CPU使用率出现明显波动？ 为什么JVM堆内存使用率出现明显波动？ 生产消息数不为0，为什么生产速率为0？
为什么云监控页面无法展示Kafka监控数据？ 为什么限制Topic的总分区数？ Kafka实例的Topic数量是否有限制 Kafka消息堆积了怎么办？ Kafka实例的ZK地址是什么？能否直接连接？ 为什么Console页面上，消息查询查不到消息？ 为什么实例可用区不能选择2个？ 更多
查询所有消费组 功能介绍 查询所有消费组。 调用方法 请参见如何调用API。 URI GET /v2/{engine}/{project_id}/instances/{instance_id}/groups 表1 路径参数 参数 是否必选 参数类型 描述 engine 是 String
er单向或双向同步数据。 消息堆积处理建议 本章节描述了消息堆积的原因，以及处理措施。 业务过载处理建议 本章节描述了CPU使用率高和磁盘写满的原因，以及处理措施。 业务数据不均衡处理建议 本章节描述了业务数据不均衡的原因，以及处理措施。 配置消息堆积数监控 本章节介绍如何创建消
新增Kafka实例指定Topic分区 当前页面API为历史版本API，未来可能停止维护。请使用新增Kafka实例指定Topic分区。 URI POST /v1.0/{project_id}/instances/{instance_id}/manage/topics/{topic}
新增Kafka实例指定Topic分区 功能介绍 新增Kafka实例指定Topic分区。 当前页面API为历史版本API，未来可能停止维护。请使用修改Kafka实例Topic。 URI POST /v2/{project_id}/instances/{instance_id}/ma
修改Kafka分区平衡 分区平衡是指将分区的副本重新分配到不同的代理上，解决代理负载不均衡问题。 需要进行分区平衡的场景如下： 实例扩容代理个数后，新创建的Topic才会分布在新代理上，原有Topic还分布在原有代理上，造成分区分布不均衡。通过修改分区平衡，将原有Topic分区的副本迁移到新代理上。
Kafka客户端使用建议 consumer使用建议 consumer的owner线程需确保不会异常退出，避免客户端无法发起消费请求，阻塞消费。 确保处理完消息后再做消息commit，避免业务消息处理失败，无法重新拉取处理失败的消息。 通常不建议对每条消息都进行commit，如果对
关键指标 消费组 消息堆积数 消费组已消费消息数 主题 队列消息总数 生产流量 消费流量 节点 CPU使用率 网络带宽利用率 磁盘读流量 磁盘写流量 图1 关键指标TopN排序 父主题： 查看监控指标与配置告警
000个，触发重要告警，每天告警一次 alarm-dms-kafka_instance_id-metric-default 节点 磁盘平均写操作耗时原始值如果连续3个周期>5000ms，触发紧急告警，每10分钟告警一次。 磁盘平均读操作耗时原始值如果连续3个周期>5000ms，触发紧急告警，每10分钟告警一次。
2020年6月及以后购买的实例，支持此监控项。 >0 Kafka实例节点 1分钟 broker_disk_write_await 磁盘平均写操作耗时 该指标用于统计磁盘在测量周期内平均每个写IO的操作时长。 单位：ms 2020年6月及以后购买的实例，支持此监控项。 >0 Kafka实例节点 1分钟 b
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
