-
消息问题 - 分布式消息服务Kafka版
如何查看堆积消息数? 为什么消息创建时间显示1970?
-
修改Kafka实例配置参数 - 分布式消息服务Kafka版
true/false true max.connections.per.ip 每个IP允许的最大连接数。超过此连接数的连接请求将被丢弃。
-
Kafka实例创建Topic - 分布式消息服务Kafka版
partition Integer 否 topic分区数,设置消费的并发数。 默认值为3,取值范围为1~100。 replication Integer 否 副本数,配置数据的可靠性 默认值为3,取值范围为1~3。
-
查询Kafka集群元数据信息 - 分布式消息服务Kafka版
partitions_count Integer 总分区数。 online_partitions_count Integer 在线分区数。 replicas_count Integer 总副本数。
-
Yikes! Insufficient partition balance when creating topic : projectman - 分布式消息服务Kafka版
处理方法:建议扩大实例规格,实例规格增加,分区数也会相应增加。 父主题: Kafka Manager问题
-
版本发布说明 - 分布式消息服务Kafka版
2.7 2023年2月 控制台支持客户端、Topic级别生产消费流量控制 1.1.0和2.7 2022年12月 实例支持SCRAM-SHA-512鉴权认证 1.1.0和2.7 2022年11月 控制台支持手动、自动分区平衡 1.1.0和2.7 2022年9月 控制台支持修改最大连接数限制
-
连接问题 - 分布式消息服务Kafka版
Kafka实例连接数有限制吗? 客户端单IP连接的个数为多少? Kafka实例的内网连接地址可以修改吗? 不同实例中,使用的SSL证书是否一样?
-
业务过载处理建议 - 分布式消息服务Kafka版
num.io.threads和num.network.threads建议配置为磁盘个数的倍数,但不能超过CPU核数。 num.replica.fetchers建议配置不超过5。 合理设置Topic的分区,分区一般设置为节点个数的倍数。
-
配置Kafka间的数据复制 - 分布式消息服务Kafka版
任务数 数据复制的任务数。默认值为2,建议保持默认值。 如果“同步方式”为“双向”,实际任务数=设置的任务数*2。 重命名Topic 在目标Topic名称前添加源端Kafka实例的别名,形成目标Topic新的名称。
-
查询产品规格列表 - 分布式消息服务Kafka版
表7 ListEngineSupportFeaturesPropertiesEntity 参数 参数类型 描述 max_task String 转储功能的最大任务数。 min_task String 转储功能的最小任务数。 max_node String 转储功能的最大节点数。
-
Kafka实例查询Topic - 分布式消息服务Kafka版
partition Integer topic分区数,设置消费的并发数。 retention_time Integer 消息老化时间。
-
查询分区指定时间段的消息 - 分布式消息服务Kafka版
limit Integer 否 单页返回消息数,默认值为10。 offset Integer 否 查询的页码,默认值为1。 请求消息 请求参数 无 请求示例 无。 响应消息 响应参数 参数说明见表2。
-
配置Kafka自动创建Topic - 分布式消息服务Kafka版
表1 Topic参数值 参数名称 默认参数值 修改后的参数值 分区数 3 5 副本数 3 3 老化时间 72小时 72小时 同步复制 不开启 不开启 同步落盘 不开启 不开启 消息时间戳类型 CreateTime CreateTime 批处理消息最大值 10485760字节 10485760
-
变更Kafka实例规格 - 分布式消息服务Kafka版
例如扩容前实例的代理数为3,每个代理的磁盘大小为200GB,扩容后实例的代理数为10,此时代理的磁盘大小依旧为200GB,但是总磁盘大小为2000GB。 新创建的Topic才会分布在新代理上,原有Topic还分布在原有代理上,造成分区分布不均匀。
-
测试Kafka生产速率和CPU消耗 - 分布式消息服务Kafka版
num-records:总共需要发送的消息数。 record-size:每条消息的大小。 throughput:每秒发送的消息数。 测试步骤 测试场景一:批处理大小 登录客户端服务器,进入“kafka_2.12-2.7.2/bin”目录下,执行以下脚本。
-
查询Kafka实例Topic详细信息 - 分布式消息服务Kafka版
lag Long 该副本当前落后hw的消息数。
-
配置消息堆积数监控 - 分布式消息服务Kafka版
选中“消息堆积数(消费组可消费消息数)”图表,单击,创建告警规则。 图2 消息堆积数图表 在“创建告警规则”界面,设置告警名称。 图3 设置告警名称 名称:您自定义的告警名称,用于识别不同的告警。 描述:告警规则描述,可以不填。 在“创建告警规则”界面,设置告警策略。
-
修订记录 - 分布式消息服务Kafka版
2021-08-16 本次变更如下: 修改Kafka实例创建Topic和新增Kafka实例指定Topic分区的分区数最大值。 2021-05-11 本次变更如下: 修改开启或关闭实例自动创建topic功能的返回状态码和返回描述。
-
快速连接Kafka并生产消费消息 - 分布式消息服务Kafka版
分区数 如果分区数与消费者数一致,分区数越大消费的并发度越大。 输入“3”。 副本数 Kafka会自动在每个副本上备份数据,当其中一个Broker故障时数据依然是可用的,副本数越大可靠性越高。 输入“3”。
-
设置Kafka Topic权限 - 分布式消息服务Kafka版
在“设置用户权限”对话框顶部显示Topic的信息,包括Topic名称、分区数、老化时间、副本数、是否同步复制和是否同步落盘。其次为默认用户选项,勾选此选项,为所有用户分配统一的权限。中间为用户名的搜索框,用户过多时,在搜索框中输入用户名,快速查找用户。