检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
last_offset Long 最后偏移量 message_count Long 分区消息数 last_update_time Long 最近更新时间 请求示例 查询topic的分区列表 GET https://{endpoint}/v2/{project_id}/kafka/insta
表示消费组内的某一个消费者超时退出,一般触发场景是消费者长时间没有与服务端通信导致,比如处理消息耗时太久阻塞等。 对文件中每次Preparing到Stabilized完成的时间进行计算得到以下结果图。图中时间为UTC+0时间,对应北京时间需要加8小时。 图1 消费组rebalance图
单机实例副本数为1,集群实例副本数为3。 老化时间为72小时。 不开启同步复制和同步落盘。 消息时间戳类型为CreateTime。 批处理消息最大值为10485760字节。 集群实例如果在“配置参数”中修改“log.retention.hours”(老化时间)、“default.replication
拉框,选择时间段,在搜索对话框中输入“版本升级”,按“Enter”,快速查找定时升级任务。 在待修改的定时升级任务后,单击“修改”。 在弹出的“修改定时任务”对话框中,您可以修改定时升级任务的时间,还可以取消定时升级任务,具体操作如下。 修改定时升级任务的时间:修改时间,单击“确定”。
带宽限制值的估算方法,请参考带宽限制值估算方法。 执行时间 选择分区平衡任务执行的时间。 立即执行:表示立即执行分区平衡任务。 定时执行:表示在指定的时间执行分区平衡任务。 (可选)单击“一键测算”,在“预估耗时”中,显示执行自动平衡大概需要的时间。 一键测算功能对Kafka实例性能没有影响。
在左侧导航栏单击“后台任务管理”,进入后台任务管理页面。 在“后台任务”/“定时任务”页签,单击时间段下拉框,选择搜索时间,在搜索框中输入关键字,按“Enter”,界面显示相应时间段内启动的任务。 在后台任务管理页面,您还可以执行以下操作: 单击,刷新任务状态。 单击“删除”,
属于物理概念。下图通过消息的生产与消费流向,解释了Kafka的分区、代理与主题间的关系。 图1 Kafka消息流 老化时间 消息的最长保留时间,消费者必须在此时间结束前消费消息,否则消息将被删除。删除的消息,无法被消费。
消息积压诊断预检查 创建消息积压诊断任务 查询消息积压诊断报告列表 批量删除消息积压诊断报告 查询诊断报告详情 其他接口 包括: 查询维护时间窗时间段 查询可用区信息 查询产品规格列表 查询实例在CES的监控层级关系 查询Kafka产品规格核数
ms=1000。 request.timeout.ms 30000 结合实际业务调整 设置一个请求最大等待时间(单位为ms),超过这个时间则会抛Timeout异常。 超时时间如果设置大一些,如127000(127秒),高并发的场景中,能减少发送失败的情况。 block.on.buffer
producer_address String 生产者地址 broker_address String broker地址 join_time Long 加入时间 请求示例 查询Topic的当前生产者列表 GET https://{endpoint}/v2/{project_id}/kafka/in
ms=0。对于时延不敏感的信息,设置linger.ms在100~1000之间。 生产端的JVM内存要足够,避免内存不足导致发送阻塞。 时间戳设置为与当地时间一致,避免时间戳为未来时间导致消息无法老化。 尽量复用producer,不要频繁创建producer。当producer开启幂等时(生产者客户端3
为什么Console页面上,消息查询查不到消息? Kafka消息堆积了怎么办? 消息超过老化时间,消息仍存在的原因 Kafka实例是否支持延迟消息? 如何查看堆积消息数? 为什么消息创建时间显示1970? 如何修改message.max.bytes参数? 为什么offset不连续?
版本生命周期 分布式消息服务Kafka版的版本生命周期如表1所示。 表1 版本生命周期 消息引擎类型 版本名称 状态 商用发布时间 EOM时间 EOS时间 Kafka 1.1.0 在售 2018年5月 暂无计划 暂无计划 2.3.0 EOM 2020年6月 2023年5月5日 2025年9月
消息堆积,从而会造成消息消费延迟。 消息堆积原因 导致消息堆积的常见原因如下: 生产者短时间内生产大量消息到Topic,消费者无法及时消费。 消费者的消费能力不足(消费者并发低、消息处理时间长),导致消费效率低于生产效率。 消费者异常(如消费者故障、消费者网络异常等)导致无法消费消息。
带宽限制值的估算方法,请参考带宽限制值估算方法。 执行时间 选择分区平衡任务执行的时间。 立即执行:表示立即执行分区平衡任务。 定时执行:表示在指定的时间执行分区平衡任务。 图1 设置自动平衡参数 (可选)单击“一键测算”,在“预估耗时”中,显示执行自动平衡大概需要的时间。 一键测算功能对Kafka实例性能没有影响。
ID。 vpc_name String VPC的名称。 created_at String 完成创建时间。格式为时间戳,指从格林威治时间 1970年01月01日00时00分00秒起至指定时间的偏差总毫秒数。 product_id String 产品标识。 security_group_id
是否为contoller节点。 version Boolean 服务端版本。 register_time Long broker注册时间,为unix时间戳格式。 is_health Boolean Kafka实例节点的连通性是否正常。 响应示例 { "cluster": {
NULL 默认值:换行符“\n”。 deliver_time_interval Integer 根据用户配置的时间,周期性的将数据导入OBS,若某个时间段内无数据,则此时间段不会生成打包文件。 取值范围:30~900,缺省值:300,单位:秒。 说明: 使用OBS通道转储流式数据时该参数为必选配置。
什么是分布式消息服务Kafka版 Kafka是一个拥有高吞吐、可持久化、可水平扩展,支持流式数据处理等多种特性的分布式消息流处理中间件,采用分布式消息发布与订阅机制,在日志收集、流式数据传输、在线/离线系统分析、实时监控等领域有广泛的应用。 华为云分布式消息服务Kafka版是一款
管理消息 查看Kafka消息 修改Kafka消息老化时间 删除Kafka消息 诊断Kafka消息积压