检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
String 引擎。 project_id 是 String 项目ID,获取方式请参见获取项目ID。 instance_id 是 String 实例ID。 group 是 String 消费组ID。 请求参数 无 响应参数 无 请求示例 DELETE https://{endpoint
/v2/kafka/products/cores 表1 Query参数 参数 是否必选 参数类型 描述 instance_id 是 String 实例ID。 product_id 是 String 产品ID。 请求参数 无 响应参数 状态码:200 表2 响应Body参数 参数 参数类型
ms、preallocate、index.interval.bytes、segment.bytes、segment.ms。 具体修改方法如下: 登录Kafka Manager。 单击“kafka_cluster”,进入“Summary”界面。 单击“Topic > List”,进入“Topics”界面。
String 引擎。 project_id 是 String 项目ID,获取方式请参见获取项目ID。 instance_id 是 String 实例ID。 请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述 group_name 否 String 消费组名称 group_desc
参数类型 描述 project_id 是 String 项目ID,获取方式请参见获取项目ID。 instance_id 是 String 实例ID。 topic 是 String Topic名称。 请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述 partitions
kafka-go的代码库相对较小,依赖较少,可以减少应用程序的体积和依赖关系。 Kafka-go相对于Confluent-Kafka-go来说,功能较为有限,不支持一些高级特性和复杂的配置选项。 性能和吞吐量较低,适用于一些对性能要求不高的简单应用场景。 Sarama Sarama采用原生Golang语言编写,对于异步以及高并发操作支持度较好。
String 消息引擎。 project_id 是 String 项目ID,获取方式请参见获取项目ID。 instance_id 是 String 实例ID。 group 是 String 消费组名称。 表2 Query参数 参数 是否必选 参数类型 描述 topic 否 String topic名称。
String 引擎。 project_id 是 String 项目ID,获取方式请参见获取项目ID。 instance_id 是 String 实例ID。 group 是 String 消费组ID。 表2 Query参数 参数 是否必选 参数类型 描述 offset 否 Integer
}命令查看消费组中每个Topic的堆积消息数。“LAG”表示每个Topic的总堆积数。 图1 查看每个Topic的总堆积数 如果Kafka实例开启SASL认证,则以上命令还需要增加SASL认证的“consumer.properties”配置文件参数: --command-config
String 引擎。 project_id 是 String 项目ID,获取方式请参见获取项目ID。 instance_id 是 String 实例ID。 group 是 String 消费组ID。 表2 Query参数 参数 是否必选 参数类型 描述 offset 否 Integer
String 引擎。 project_id 是 String 项目ID,获取方式请参见获取项目ID。 instance_id 是 String 实例ID。 group 是 String 消费组名过滤查询。 请求参数 无 响应参数 状态码:200 表2 响应Body参数 参数 参数类型 描述
根据实际业务需求,合理增加消费者个数(消费并发度),确保分区数/消费者数=整数,建议消费者数和分区数保持一致。 提高消费者的消费速度,通过优化消费者处理逻辑(减少复杂计算、第三方接口调用和读库操作),减少消费时间。 增加消费者每次拉取消息的数量:拉取数据/处理时间 >= 生产速度。
每个分区都随机挑选一个副本作为Leader,该分区所有消息的生产与消费都在Leader副本上完成,消息从Leader副本复制到其他副本(Follower)。 Kafka的主题和分区属于逻辑概念,副本与代理属于物理概念。下图通过消息的生产与消费流向,解释了Kafka的分区、代理与主题间的关系。 图1 Kafka消息流