检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在云监控页面的“消费组”页签中,“消费组”选择待查看堆积消息数的消费组名称,“主题”选择“全部Topic”,“消费组可消费消息数”表示此消费组中所有Topic的堆积消息数之和。查看监控数据的具体步骤,请参考查看Kafka监控数据。
Kafka官网支持的客户端语言包括:C/C++、Python、Go、PHP、Node.js等等。 Kafka实例完全兼容开源客户端,按照Kafka官网提供的连接说明,与Kafka实例对接。
生产消息数不为0,为什么生产速率为0? 消息生产速率的原始指标数据为每分钟上报一次,但是它的单位为“个/秒”,所以消息生产速率=一分钟内生产的消息数/60,其值向下取整。当一分钟内生产的消息数小于60个时,生产速率会显示为0。 父主题: 监控告警问题
升级Kafka客户端的版本到2.7或以上版本,并设置“socket.connection.setup.timeout.ms”大于1s,且小于“request.timeout.ms/Kafka服务端节点数”。
[Unknown]: js What is the two-letter country code for this unit?
问题结论:两者统计方式不同,Kafka控制台显示的消息数为实例中未消费的消息个数,而监控显示的消息堆积数=Topic中的消息积压数*消费组数。 父主题: 监控告警问题
为什么限制Topic的总分区数? Kafka以分区为粒度管理消息,分区多导致生产、存储、消费都碎片化,影响性能稳定性。在使用过程中,当Topic的总分区数达到上限后,用户就无法继续创建Topic。 不同规格配置的Topic总分区数不同,如下表所示。
Kafka实例自动上报相关监控指标,如分区数、主题数、堆积消息数等,并支持配置监控数据发送规则,您可以在第一时间通过短信、邮件等获得业务消息队列的运行使用和负载状态。 海量消息堆积与弹性扩容 内建的分布式集群技术,使得服务具有高度扩展性。
0~(263-1) Kafka实例的消费组 1分钟 consumer_messages_consumed 消费组已消费消息数 该指标用于统计消费组当前已经消费的消息数。 单位:个 在“消费组”页签,“主题”为“全部队列”时,才包含该指标。
[Unknown]: js What is the two-letter country code for this unit?
Topic数量和Topic总分区数、每个Topic的分区数有关,Kafka实例对Topic总分区数设置了上限,当达到上限后,会导致用户无法继续创建Topic。 不同规格配置的Topic总分区数不同,如下表所示。
Kafka实例连接数有限制吗?
但是这样的长连接可能会对客户端和服务端造成一定的压力,特别是分区数较多且每个消费者开启多个线程的情况下。 如图1所示,Topic含有多个分区,消费组中有多个消费者同时进行消费,每个线程均为长连接。
Topic列表中包含如下信息:Topic名称、分区数、副本数、老化时间、是否同步复制或同步落盘、消息时间戳类型、批处理消息最大值和描述信息。 父主题: Topic管理
您可以通过修改配置参数来修改单IP的连接数。 父主题: 连接问题
Kafka支持减少分区数吗? Kafka不支持减少分区数,您可以通过删除原先的Topic,然后创建新Topic,重新设置分区数。 父主题: Topic和分区问题
修改Topic分区数的方法如下: 在控制台修改Topic分区数 在Kafka Manager修改Topic分区数 在客户端修改Topic分区数 约束与限制 分区数只支持增加,不支持减少。
lag Long 剩余可消费消息数,即消息堆积数。 表5 assignment参数说明 参数 类型 说明 topic String topic名称。 partitions Array of integer 分区列表。
查询Kafka产品规格核数 功能介绍 查询Kafka产品规格核数。 调用方法 请参见如何调用API。 URI GET /v2/kafka/products/cores 表1 Query参数 参数 是否必选 参数类型 描述 instance_id 是 String 实例ID。
响应参数 无 请求示例 增加Topic分区数。