正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
优化消费者轮询(Polling) 方案概述 应用场景 在分布式消息服务Kafka版提供的原生Kafka SDK中,消费者可以自定义拉取消息的时长,如果需要长时间的拉取消息,只需要把poll(long)方法的参数设置合适的值即可。但是这样的长连接可能会对客户端和服务端造成一定的压力
消费,如果单次消费的消息太多导致无法在max.poll.interval.ms时间内处理完或消息处理流程发生了异常(如需要写入后端数据库,后端数据库压力太大,时延增加等)导致消费时间增加,在max.poll.interval.ms时间内消费者没有发起下一次消费请求,broker认
该指标用于统计队列当前的消息总数。 单位:Count 说明: 在“主题”页签,当“监控类型”为“基本监控”时,才包含该指标。 ≥ 0 Kafka实例队列 1分钟 topic_messages_in_rate 消息生产速率 该指标用于统计每秒生产的消息数量。 单位:Count/s 说明: 在“主题”
版本发布说明 表1列出了分布式消息服务Kafka版相对开源版本新增/优化的特性。 表1 版本发布说明 实例版本 发布时间 新增/优化特性 1.1.0和2.7 2023年7月 控制台支持查看重平衡日志 1.1.0和2.7 2023年4月 控制台支持手动创建消费组 1.1.0和2.7
节点列表。参数请查看表4。 topics_count Integer 总topic数量。 partitions_count Integer 总分区数。 online_partitions_count Integer 在线分区数。 replicas_count Integer 总副本数。 isr_replicas_count
根据实际业务需求,合理增加消费者个数(消费并发度),确保分区数/消费者数=整数,建议消费者数和分区数保持一致。 提高消费者的消费速度,通过优化消费者处理逻辑(减少复杂计算、第三方接口调用和读库操作),减少消费时间。 增加消费者每次拉取消息的数量:拉取数据/处理时间 >= 生产速度。
响应参数说明 参数 类型 说明 messages Array<Object> 消息列表,见表3。 messages_count Long 消息总数。 offsets_count Integer 总页数。 offset Integer 当前页数。 表3 messages参数说明 参数 类型
"topics_count" : 3, "partitions_count" : 9, "online_partitions_count" : 9, "replicas_count" : 27, "isr_replicas_count" : 27,
设置提醒 详细介绍请参见使用预测和预算来跟踪成本和使用量。 资源优化 您可以通过云监控服务监控资源的使用情况,识别空闲资源,寻找节约成本的机会。也可以根据成本分析阶段的分析结果识别成本偏高的资源,然后采取针对性的优化措施。 监控资源利用率,评估当前配置是否过高。例如:CPU、内存、云硬盘等资源的利用率。
Integer 分区ID start_offset Long 起始偏移量 last_offset Long 最后偏移量 message_count Long 分区消息数 last_update_time Long 最近更新时间 请求示例 查询topic的分区列表 GET https
描述 messages Array of messages objects 消息列表。 messages_count Integer 消息总数。 offsets_count Integer 总页数。 offset Integer 当前页数。 表4 messages 参数 参数类型
external_configs Object 扩展配置。 topic_type Integer Topic类型。 响应示例 { "count": 1, "topics": [ { "id": "topic-test", "replication": 3,
统的稳定性。 Kafka实例作为Logstash输出源的示意图如下。 图2 Kafka实例作为Logstash输出源 Logstash从数据库采集数据,然后发送到Kafka实例中进行存储。Kafka实例作为Logstash输出源时,由于Kafka的高吞吐量,可以存储大量数据。 约束与限制
dcs_instance_id String DCS实例ID。(仅目标端类型为Redis时会显示) target_db Integer 目标数据库,默认为-1。(仅目标端类型为Redis时会显示) consumer_strategy String 转储启动偏移量,latest为获取最
Leader副本的切换或迁移,会导致个别Broker节点上的数据更多,从而导致节点间的数据不均衡。 实施步骤 业务数据不均衡的处理措施: 优化业务中Topic的设计,对于数据量特别大的Topic,可对业务数据做进一步的细分,并分配到不同的Topic上。 生产者生产消息时,尽量把消
task_id 是 String 任务ID。 请求参数 无 响应参数 状态码: 200 表2 响应Body参数 参数 参数类型 描述 task_count String 任务数量。 tasks Array of tasks objects 任务列表。 表3 tasks 参数 参数类型 描述
使用开源软件成熟度低,无法保证关键业务,商业案例少;自研周期长,并需要长时间进行验证。 能力强大 100%兼容开源,支持一键扩容,深度优化开源代码提升性能和可靠性,支持消息查询、消息迁移等高级特性。 功能不完善,需额外投入进行开发。 稳定可靠 稳定高可用 支持跨AZ部署,提升
查询任务的最大时间,格式为YYYYMMDDHHmmss。 请求参数 无 响应参数 状态码: 200 表3 响应Body参数 参数 参数类型 描述 task_count String 任务数量。 tasks Array of tasks objects 任务列表。 表4 tasks 参数 参数类型 描述
200 表3 响应Body参数 参数 参数类型 描述 quotas Array of Quota objects 客户端流控配置列表。 count Integer 用户/客户端流控配置数目。 表4 Quota 参数 参数类型 描述 user String 用户名。 不对全部用户/客
当云服务资源不再使用时,可以将他们退订或删除,从而避免继续收费。详细介绍请参见停止计费。 成本管理 您可以从成本构成、成本分配、成本分析和成本优化四个维度来管理成本。更多详情,请参见成本管理。 产品定价 如您需要快速了解分布式消息服务Kafka版的具体价格,请参见分布式消息服务Kafka版价格详情。