-
修改Kafka Topic分区数 - 分布式消息服务Kafka版
分区数。
-
如何查看堆积消息数? - 分布式消息服务Kafka版
在云监控页面的“消费组”页签中,“消费组”选择待查看堆积消息数的消费组名称,“队列”选择“全部队列”,“消费组可消费消息数”表示此消费组中所有Topic的堆积消息数之和。查看监控数据的具体步骤,请参考查看监控数据。
-
Kafka实例连接数有限制吗? - 分布式消息服务Kafka版
Kafka实例连接数有限制吗?
-
为什么限制Topic的总分区数? - 分布式消息服务Kafka版
为什么限制Topic的总分区数? Kafka以分区为粒度管理消息,分区多导致生产、存储、消费都碎片化,影响性能稳定性。在使用过程中,当Topic的总分区数达到上限后,用户就无法继续创建Topic。 不同规格配置的Topic总分区数不同,如下表所示。
-
Kafka监控显示消息堆积数跟实例里的消息数不一致? - 分布式消息服务Kafka版
问题结论:两者统计方式不同,Kafka控制台显示的消息数为实例中未消费的消息个数,而监控显示的消息堆积数=Topic中的消息积压数*消费组数。 父主题: 监控告警问题
-
Kafka实例的Topic数量是否有限制? - 分布式消息服务Kafka版
Topic数量和Topic总分区数、每个Topic的分区数有关,Kafka实例对Topic总分区数设置了上限,当达到上限后,会导致用户无法继续创建Topic。 不同规格配置的Topic总分区数不同,如下表所示。
-
Kafka支持减少分区数吗? - 分布式消息服务Kafka版
Kafka支持减少分区数吗? Kafka不支持减少分区数,您可以通过删除原先的Topic,然后创建新Topic,重新设置分区数。 父主题: Topic和分区问题
-
客户端单IP连接的个数为多少? - 分布式消息服务Kafka版
您可以通过修改配置参数来修改单IP的连接数。 父主题: 连接问题
-
导出Kafka Topic列表 - 分布式消息服务Kafka版
Topic列表中包含如下信息:Topic名称、分区数、副本数、老化时间、是否同步复制或同步落盘、消息时间戳类型、批处理消息最大值和描述信息。 父主题: Topic管理
-
优化消费者轮询(Polling) - 分布式消息服务Kafka版
但是这样的长连接可能会对客户端和服务端造成一定的压力,特别是分区数较多且每个消费者开启多个线程的情况下。 如图1所示,Topic含有多个分区,消费组中有多个消费者同时进行消费,每个线程均为长连接。
-
生产或消费消息时,报Topic {{topic - 分布式消息服务Kafka版
升级Kafka客户端的版本到2.7或以上版本,并设置“socket.connection.setup.timeout.ms”大于1s,且小于“request.timeout.ms/Kafka服务端节点数”。
-
产品优势 - 分布式消息服务Kafka版
Kafka实例自动上报相关监控指标,如分区数、主题数、堆积消息数等,并支持配置监控数据发送规则,您可以在第一时间通过短信、邮件等获得业务消息队列的运行使用和负载状态。 海量消息堆积与弹性扩容 内建的分布式集群技术,使得服务具有高度扩展性。
-
查询消费组信息 - 分布式消息服务Kafka版
lag Long 剩余可消费消息数,即消息堆积数。 表5 assignment参数说明 参数 类型 说明 topic String topic名称。 partitions Array of integer 分区列表。
-
Kafka支持的监控指标 - 分布式消息服务Kafka版
单位:Count 0~100000 Kafka实例 1分钟 group_msgs 堆积消息数 该指标用于统计Kafka实例中所有消费组中总堆积消息数。
-
查看Kafka Topic详情 - 分布式消息服务Kafka版
基本信息:包含Topic名称、关联代理、分区数和创建时间。 2023年7月10日以及之前创建的Topic,在Topic详情页面不显示创建时间。
-
Kafka消息堆积了怎么办? - 分布式消息服务Kafka版
问题现象:实例的监控指标“堆积消息数”产生了告警。 处理方法1: 登录Kafka实例控制台,单击产生告警的实例名称,进入实例详情页。 在左侧导航栏,单击“监控”,进入监控页面。 在“消费组”页签中,查看“消息堆积数(消费组可消费消息数)”,找出消息堆积的消费组。
-
Kafka实例创建Topic失败 - 分布式消息服务Kafka版
Kafka实例创建Topic失败 可能原因:已创建的Topic,分区数之和达到实例规格的分区数上限。不同规格实例配置的分区数上限不同,具体请参考产品规格。 解决方案:对Kafka实例扩容,或者删除不需要的Topic。 父主题: Topic和分区问题
-
新增Kafka实例指定Topic分区 - 分布式消息服务Kafka版
响应参数 无 请求示例 增加Topic分区数。
-
如何扩总分区? - 分布式消息服务Kafka版
增加基准带宽/代理数量,可以扩大总分区数。 在Kafka控制台的实例所在行,单击“更多 > 变更规格”,进入变更规格页面,根据实际情况扩容基准带宽/代理数量。具体操作请参考变更实例规格。 父主题: Topic和分区问题
-
监控安全风险 - 分布式消息服务Kafka版
用户可以实时掌握实例的各类业务请求、资源占用、流量、连接数和消息积压等关键信息。 关于DMS for Kafka支持的监控指标,以及如何创建监控告警规则等内容,请参见支持的监控指标。 父主题: 安全