检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
为什么磁盘读/写流量、磁盘平均读/写操作耗时和CPU使用率出现明显波动？ 磁盘读流量、磁盘写流量、磁盘平均读操作耗时、磁盘平均写操作耗时和CPU使用率这几个监控指标采集的是瞬时值，仅作为系统资源评估参考。它们出现明显波动通常情况下是由于Kafka数据采用异步落盘会消耗磁盘I/O和
为什么JVM堆内存使用率出现明显波动？ JVM堆内存使用率在监控页面呈现锯齿状属于正常现象，在扩容规格或升级Kafka实例内核版本后，可能导致JVM堆内存使用率最大值升高、波动幅度变大，这种波动属于JVM堆内存回收的正常机制，对业务无影响。 父主题： 监控告警问题
在“节点”页签，查看服务端节点的CPU使用率。 图1 broker-0的CPU使用率（batch.size=1KB） CPU消耗=58.10% 图2 broker-0的CPU使用率（batch.size=16KB） CPU消耗=24.10% 图3 broker-1的CPU使用率（batch.size=1KB）
查看Kafka磁盘使用量 本章节指导您在控制台查看每个代理上磁盘的使用量，以了解Kafka实例的磁盘使用情况。 约束与限制 单机实例不支持查看磁盘使用量。 查看Kafka磁盘使用量 登录管理控制台。 在管理控制台左上角单击，选择Kafka实例所在的区域。 在管理控制台左上角单击，选择“应用中间件
系统提示“Disk error when trying to access log file on the disk”错误。 根因描述 节点磁盘使用率超高导致生产消息失败。 问题解决措施 扩容实例的磁盘空间，具体操作请参考变更Kafka实例规格。
业务过载处理建议 方案概述 Kafka业务过载，一般表现为CPU使用率高、磁盘写满的现象。 当CPU使用率过高时，系统的运行速度会降低，并有加速硬件损坏的风险。 当磁盘写满时，相应磁盘上的Kafka日志目录会出现offline问题。此时，该磁盘上的分区副本不可读写，降低了分区的可
Kafka的消费组删除了，怎么监控页面还可以看到这个消费组？ 为什么磁盘读/写流量、磁盘平均读/写操作耗时和CPU使用率出现明显波动？ 为什么JVM堆内存使用率出现明显波动？ 生产消息数不为0，为什么生产速率为0？
broker_disk_usage 磁盘容量使用率 该指标为从Kafka节点虚拟机层面采集的磁盘容量使用率。 单位：% 0~100% Kafka实例节点 1分钟 broker_memory_usage 内存使用率 该指标为Kafka节点虚拟机层面采集的内存使用率。 单位：% 0~100% Kafka实例节点
的关系如下图所示： 在实际业务过程中可能会遇到各节点间或分区之间业务数据不均衡的情况，业务数据不均衡会降低Kafka集群的性能，降低资源使用率。 业务数据不均衡原因 业务中部分Topic的流量远大于其他Topic，会导致节点间的数据不均衡。 生产者发送消息时指定了分区，未指定的分区没有消息，会导致分区间的数据不均衡。
20数据。 表1 关键指标列表 维度 关键指标 消费组 消息堆积数 消费组已消费消息数 主题 队列消息总数 生产流量 消费流量 节点 CPU使用率 网络带宽利用率 磁盘读流量 磁盘写流量 图1 关键指标TopN排序 父主题： 查看监控指标与配置告警
消费者每次最多消费max.poll.records条消息，多数情况下客户端都会把一次消费到的数据处理完后才会开始下一次消费，如果单次消费的消息太多导致无法在max.poll.interval.ms时间内处理完或消息处理流程发生了异常（如需要写入后端数据库，后端数据库压力太大，慢SQL，时延增加等）导致消费时间增加，在max
实例负载情况，评估是否可以进行分区平衡，建议预留足够的带宽进行分区平衡，CPU使用率在90%以上时，不建议进行分区平衡。Topic的数据量和CPU使用率可以通过监控页面的“队列数据容量”和“CPU使用率”查看，具体步骤请参考查看Kafka监控数据。 带宽限制是指设定Topic进行
创建转储任务 功能介绍 创建转储任务。 当前页面API为历史版本API，未来可能停止维护。请使用开启Smart Connect（按需实例）。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/connectors/{connector_id}/sink-tasks
000ms，触发重要告警，每小时告警一次。 JVM堆内存使用率原始值如果连续3个周期>85%，触发紧急告警，每10分钟告警一次。 磁盘容量使用率原始值如果连续3个周期>85%，触发紧急告警，每10分钟告警一次。 CPU使用率原始值如果连续3个周期>85%，触发紧急告警，每10分钟告警一次。
在Kafka Manager修改Topic分区数 在客户端修改Topic分区数 约束与限制 分区数只支持增加，不支持减少。 2023年5月17日及以后创建的实例不提供Kafka Manager功能，不支持在Kafka Manager中修改Topic分区数。 Kafka单机/集群实例对T
rorMaker单向或双向同步数据。 消息堆积处理建议 本章节描述了消息堆积的原因，以及处理措施。 业务过载处理建议 本章节描述了CPU使用率高和磁盘写满的原因，以及处理措施。 业务数据不均衡处理建议 本章节描述了业务数据不均衡的原因，以及处理措施。 配置消息堆积数监控 本章节介
如OpenJDK，需要配置为Oracle的JDK，可至Oracle官方下载页面下载Java Development Kit 1.8.111及以上版本。 下载Kafka 3.3.1版本的二进制软件包。 wget https://archive.apache.org/dist/kafka/3
实例负载情况，评估是否可以进行分区平衡，建议预留足够的带宽进行分区平衡，CPU使用率在90%以上时，不建议进行分区平衡。Topic的数据量和CPU使用率可以通过监控页面的“队列数据容量”和“CPU使用率”查看，具体步骤请参考查看Kafka监控数据。 带宽限制是指设定Topic进行
消息积压诊断”，进入消息积压诊断页面。 选择需要诊断的消费组名称和Topic名称，单击“诊断前检查”。 检查成功后，在页面上方显示“预检查成功”，并显示内存使用率、CPU利用率、分区订阅关系、消息积压情况和流量突增情况的检查结果。 图2 诊断前检查 “消息积压情况”显示无消息积压时，无法进行消息积压
通常不建议对每条消息都进行commit，如果对每条消息都进行了commit，会导致OFFSET_COMMIT请求过多，进而导致CPU使用率过高。例如：如果一个消费请求拉取1000条消息，每条都commit，则commit请求TPS是消费的1000倍，消息体越小，这个比例越大。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
