-
监控安全风险 - 分布式消息服务Kafka版
用户可以实时掌握实例的各类业务请求、资源占用、流量、连接数和消息积压等关键信息。 关于DMS for Kafka支持的监控指标,以及如何创建监控告警规则等内容,请参见支持的监控指标。 父主题: 安全
-
如何选择Kafka实例存储容量阈值策略? - 分布式消息服务Kafka版
如何选择Kafka实例存储容量阈值策略? 支持以下两种策略: 生产受限策略 该策略场景下一旦磁盘使用达到容量阈值95%,会导致后续生产失败,但保留了当前磁盘中的数据,直至数据自然老化(Kafka原有的老化机制,数据默认保留3天)。该场景适用于对数据不能丢的业务场景,但是会导致生产业务失败
-
购买Kafka实例 - 分布式消息服务Kafka版
单个代理最大分区数*代理个数=实例分区数上限。当所有Topic的总分区数大于实例分区数上限时,创建Topic失败。 在“代理数量”中,选择代理个数。 在“单个代理存储空间”区域,您根据实际需要选择存储Kafka数据的磁盘类型和磁盘大小。
-
Kafka Manager概述 - 分布式消息服务Kafka版
图中①区域表示对应代理总的统计信息,包括队列数、分区数、分区leader数、消息速率占比、写入字节占比以及流出字节占比。 图中②区域表示代理监控信息。 图5 具体Broker信息 查看实例的Topic 在导航栏选择Topic,并在下拉列表中选择List。
-
消息堆积处理建议 - 分布式消息服务Kafka版
消费者端 根据实际业务需求,合理增加消费者个数(消费并发度),确保分区数/消费者数=整数,建议消费者数和分区数保持一致。 提高消费者的消费速度,通过优化消费者处理逻辑(减少复杂计算、第三方接口调用和读库操作),减少消费时间。
-
约束与限制 - 分布式消息服务Kafka版
在使用过程中,当Topic的总分区数达到上限后,用户就无法继续创建Topic。 单个Topic分区数 按照开源Kafka现有逻辑,单个Topic分区数只支持增加,不支持减少。 Topic数量 Topic数量和Topic总分区数、每个Topic的分区数有关,具体请参考产品规格。
-
产品规格 - 分布式消息服务Kafka版
所以,Topic数量和实例分区数上限、每个Topic的分区数有关,其中,每个Topic分区数可在创建Topic时设置,如图1,实例分区数上限参考表1、表2。 图1 Topic的分区数 kafka.2u4g.cluster * 3 broker实例的分区数上限为750。
-
查询实例在CES的监控层级关系 - 分布式消息服务Kafka版
kafka_partitions(kafka分区维度) produced_messages 生产消息数,已经生产的消息数 partition_messages 分区消息数,分区当前的消息数 messages_consumed 分区已消费消息数,当前消费组已经消费的消息个数 messages_remained
-
测试Kafka实例TPS - 分布式消息服务Kafka版
num-records:总共需要发送的消息数。 record-size:每条消息的大小。 throughput:每秒发送的消息数。
-
Topic和分区问题 - 分布式消息服务Kafka版
为什么限制Topic的总分区数? Kafka支持减少分区数吗? Kafka实例创建Topic失败 Kafka实例支持批量导入Topic功能么?或者是自动生成Topic功能? 为什么删除Topic不生效?
-
创建Kafka Topic - 分布式消息服务Kafka版
分区数 Topic的分区数。 如果分区数与消费者数一致,分区数越大消费的并发度越大。 该参数设置为1时,消费消息时会按照先入先出的顺序进行消费。
-
配置Kafka监控告警 - 分布式消息服务Kafka版
其次,可以考虑加快消息的消费,例如增加队列消费者,并确保分区数大于或等于消费者数。 配置Kafka监控告警 登录管理控制台。 在管理控制台左上角单击,选择区域。 请选择Kafka实例所在的区域。
-
Kafka实例查询Topic - 分布式消息服务Kafka版
id String Topic名称 replication Integer 副本数,配置数据的可靠性 partition Integer Topic分区数,设置消费的并发数。 retention_time Integer 消息老化时间。
-
修改Kafka Topic配置 - 分布式消息服务Kafka版
表1 Kafka Topic的配置参数 参数名称 说明 分区数 Topic的分区数,修改方法请参见修改Kafka Topic分区数。 老化时间 消息的最长保留时间,修改方法请参见修改Kafka消息老化时间。 同步复制 后端收到生产消息请求并复制给所有副本后,才返回客户端。
-
分布式消息服务Kafka版 - 分布式消息服务Kafka版
更多 Topic与分区 为什么限制Topic的总分区数? 为什么不支持减少分区数? 是否支持自动生成Topic功能? 删除Topic不生效是什么原因? 更多 Kafka连接 Kafka是否支持kerberos认证? Kafka连接问题排查和解决 客户端单IP连接的个数为多少?
-
Topic管理 - 分布式消息服务Kafka版
Topic管理 查看Kafka Topic详情 修改Kafka Topic配置 修改Kafka Topic分区数 导出Kafka Topic列表 修改Kafka分区平衡 配置Kafka自动创建Topic 删除Kafka Topic 父主题: 配置Topic
-
Kafka扩容/缩容会影响业务吗? - 分布式消息服务Kafka版
例如扩容前实例的代理数为3,每个代理的磁盘大小为200GB,扩容后实例的代理数为10,此时代理的磁盘大小依旧为200GB,但是总磁盘大小为2000GB。 新创建的Topic才会分布在新代理上,原有Topic还分布在原有代理上,造成分区分布不均匀。
-
监控告警问题 - 分布式消息服务Kafka版
监控告警问题 云监控无法展示Kafka监控数据 Kafka监控显示消息堆积数跟实例里的消息数不一致? Kafka的消费组删除了,怎么监控页面还可以看到这个消费组?
-
Kafka实例的连接地址默认有多少个? - 分布式消息服务Kafka版
表1 Kafka实例规格(集群版实例) 实例规格 代理个数范围 单个代理TPS 单个代理分区上限 单个代理建议消费组数 单个代理客户端总连接数上限 存储空间范围 单个代理流量规格(MB/s) kafka.2u4g.cluster.small 3~30 20000 100 15 2000
-
Kafka客户端使用建议 - 分布式消息服务Kafka版
consumer数量不能超过topic分区数,否则会有consumer拉取不到消息。 consumer需周期poll,维持和server的心跳,避免心跳超时,导致consumer频繁加入和退出,阻塞消费。