检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
优化消费者轮询（Polling） 方案概述 应用场景 在分布式消息服务Kafka版提供的原生Kafka SDK中，消费者可以自定义拉取消息的时长，如果需要长时间的拉取消息，只需要把poll(long)方法的参数设置合适的值即可。但是这样的长连接可能会对客户端和服务端造成一定的压力
消费，如果单次消费的消息太多导致无法在max.poll.interval.ms时间内处理完或消息处理流程发生了异常（如需要写入后端数据库，后端数据库压力太大，慢SQL，时延增加等）导致消费时间增加，在max.poll.interval.ms时间内消费者没有发起下一次消费请求，br
查询任务的最大时间，格式为YYYYMMDDHHmmss。 请求参数 无 响应参数 状态码： 200 表3 响应Body参数 参数 参数类型 描述 task_count String 任务数量。 tasks Array of tasks objects 任务列表。 表4 tasks 参数 参数类型 描述
task_id 是 String 任务ID。 请求参数 无 响应参数 状态码： 200 表2 响应Body参数 参数 参数类型 描述 task_count String 任务数量。 tasks Array of tasks objects 任务列表。 表3 tasks 参数 参数类型 描述
响应参数说明 参数 类型 说明 messages Array<Object> 消息列表，见表3。 messages_count Long 消息总数。 offsets_count Integer 总页数。 offset Integer 当前页数。 表3 messages参数说明 参数 类型
描述 messages Array of messages objects 消息列表。 messages_count Integer 消息总数。 offsets_count Integer 总页数。 offset Integer 当前页数。 表4 messages 参数 参数类型
Integer 分区ID start_offset Long 起始偏移量 last_offset Long 最后偏移量 message_count Long 分区消息数 last_update_time Long 最近更新时间 请求示例 查询topic的分区列表 GET https
提高Kafka消息处理效率 本章节提供了生产者和消费者对于消息的使用建议，以提高消息发送和消息消费的效率与可靠性。 优化消费者轮询（Polling） 本章节介绍在对消费消息实时性要求不高的场景中，如何优化消费者Polling，减少消息较少或者没有消息时的资源浪费。 Logstash对接Kafka生产消费消息
版本发布说明 表1列出了分布式消息服务Kafka版相对开源版本新增/优化的特性。 表1 版本发布说明 实例版本 发布时间 新增/优化特性 1.1.0和2.7 2023年7月 控制台支持查看重平衡日志 1.1.0和2.7 2023年4月 控制台支持手动创建消费组 1.1.0和2.7
根据实际业务需求，合理增加消费者个数（消费并发度），确保分区数/消费者数=整数，建议消费者数和分区数保持一致。 提高消费者的消费速度，通过优化消费者处理逻辑（减少复杂计算、第三方接口调用和读库操作），减少消费时间。 增加消费者每次拉取消息的数量：拉取数据/处理时间 >= 生产速度。
Leader副本的切换或迁移，会导致个别Broker节点上的数据更多，从而导致节点间的数据不均衡。 实施步骤 业务数据不均衡的处理措施： 优化业务中Topic的设计，对于数据量特别大的Topic，可对业务数据做进一步的细分，并分配到不同的Topic上。 生产者生产消息时，尽量把消
该指标用于统计队列当前的消息总数。 单位：Count 在“主题”页签，当“监控类型”为“基本监控”时，才包含该指标。 ≥ 0 Kafka实例队列 1分钟 topic_messages_in_rate 消息生产速率 该指标用于统计每秒生产的消息数量。 单位：Count/s 在“主题”页签，当“监
设置预算范围 详细介绍请参见使用预测和预算来跟踪成本和使用量。 资源优化 您可以通过云监控服务监控资源的使用情况，识别空闲资源，寻找节约成本的机会。也可以根据成本分析阶段的分析结果识别成本偏高的资源，然后采取针对性的优化措施。 监控资源利用率，评估当前配置是否过高。例如：CPU、内存、云硬盘等资源的利用率。
使用开源软件成熟度低，无法保证关键业务，商业案例少；自研周期长，并需要长时间进行验证。 能力强大 100%兼容开源，支持一键扩容，深度优化开源代码提升性能和可靠性，支持消息查询、消息迁移等高级特性。 功能不完善，需额外投入进行开发。 稳定可靠 稳定高可用 支持跨AZ部署，提升
200 表3 响应Body参数 参数 参数类型 描述 quotas Array of Quota objects 客户端流控配置列表。 count Integer 用户/客户端流控配置数目。 表4 Quota 参数 参数类型 描述 user String 用户名。 不对全部用户/客
当云服务资源不再使用时，可以将他们退订或删除，从而避免继续收费。详细介绍请参见停止计费。 成本管理 您可以从成本构成、成本分配、成本分析和成本优化四个维度来管理成本。更多详情，请参见成本管理。 产品定价 如您需要快速了解分布式消息服务Kafka版的具体价格，请参见分布式消息服务Kafka版价格详情。
external_configs Object 扩展配置。 topic_type Integer Topic类型。 响应示例 { "count": 1, "topics": [ { "id": "topic-test", "replication": 3,
方案架构 Kafka实例作为Logstash输出源的示意图如下。 图1 Kafka实例作为Logstash输出源 Logstash从数据库采集数据，然后发送到Kafka实例中进行存储。Kafka实例作为Logstash输出源时，由于Kafka的高吞吐量，可以存储大量数据。 K
节点列表。参数请查看表4。 topics_count Integer 总topic数量。 partitions_count Integer 总分区数。 online_partitions_count Integer 在线分区数。 replicas_count Integer 总副本数。 isr_replicas_count
"topics_count" : 3, "partitions_count" : 9, "online_partitions_count" : 9, "replicas_count" : 27, "isr_replicas_count" : 27,
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
