检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
版本公告 版本支持公告 版本发布说明
漏洞公告 漏洞修复策略
larger than the size limit {max allowed size}. 请求消息大小超过阈值,目前为{消息大小},最大限制为:{最大消息大小}。 请检查请求消息大小 400 DMS.10540012 The message body is not in JSON
生产消息失败 问题现象 系统提示“Disk error when trying to access log file on the disk”错误。 根因描述 节点磁盘使用率超高导致生产消息失败。 问题解决措施 扩容实例的磁盘空间,具体操作请参考变更Kafka实例规格。
管理消息 查看Kafka消息 修改Kafka消息老化时间 删除Kafka消息 诊断Kafka消息积压
查询分区最早消息的位置 功能介绍 查询分区最早消息的位置。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/instances/{instance_id}/management/topics/{topic}/partitions/{partit
版本发布说明 表1列出了分布式消息服务Kafka版相对开源版本新增/优化的特性。 表1 版本发布说明 实例版本 发布时间 新增/优化特性 1.1.0和2.7 2023年7月 控制台支持查看重平衡日志 1.1.0和2.7 2023年4月 控制台支持手动创建消费组 1.1.0和2.7
查询分区最新消息的位置 功能介绍 查询分区最新消息的位置。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/instances/{instance_id}/management/topics/{topic}/partitions/{partition}/end-message
描述 key String 消息的key。 value String 消息内容。 topic String Topic名称。 partition Integer 分区编号。 message_offset Long 消息位置。 size Integer 消息大小,单位字节。 timestamp
消费者消费时间间隔过长。 消费者每次最多消费max.poll.records条消息,多数情况下客户端都会把一次消费到的数据处理完后才会开始下一次消费,如果单次消费的消息太多导致无法在max.poll.interval.ms时间内处理完或消息处理流程发生了异常(如需要写入后端数据库,后端数据库压力太大
弹性云服务器(Elastic Cloud Server) 弹性云服务器是由CPU、内存、操作系统、云硬盘组成的基础的计算组件。Kafka实例运行在弹性云服务器上,一个代理对应一台弹性云服务器。 云硬盘(Elastic Volume Service) 云硬盘为云服务器提供块存储
版本号说明 分布式消息服务Kafka版的版本号格式为:消息引擎类型 x.y.z,其中消息引擎类型为Kafka,版本号具体含义如图1所示。 图1 版本号示例 版本支持情况 分布式消息服务Kafka版支持的版本:1.1.0、2.7、3.x(推荐) 版本生命周期 分布式消息服务Kafka版的版本生命周期如表1所示。
topic名称。 partition Integer 分区编号。 message_offset Long 消息编号。 size Integer 消息大小,单位字节。 timestamp Long 生产消息的时间。 格式为Unix时间戳。单位为毫秒。 请求示例 GET https://{endpo
被称为堆积消息。消息没有被及时消费就会产生消息堆积,从而会造成消息消费延迟。 消息堆积原因 导致消息堆积的常见原因如下: 生产者短时间内生产大量消息到Topic,消费者无法及时消费。 消费者的消费能力不足(消费者并发低、消息处理时间长),导致消费效率低于生产效率。 消费者异常(如
解决方案以及参考信息等内容外,分布式消息服务Kafka版不提供有关漏洞细节的其他信息。 此外,分布式消息服务Kafka版为所有客户提供相同的信息,以平等地保护所有客户。分布式消息服务Kafka版不会向个别客户提供事先通知。 最后,分布式消息服务Kafka版不会针对产品中的漏洞开发
【下线公告】华为分布式消息服务Kafka版2.3.0版本停售公告 华为云计划于2023/05/05 00:00(北京时间)停售分布式消息服务Kafka版2.3.0版本。 下线范围 下线区域:所有区域 下线影响 该版本停售后,新用户将无法进行购买,已购买该版本的用户不受影响,可继续使用扩容等功能。
为什么offset不连续? 在生产者客户端中开启幂等或事务,然后生产消息,此时您会在消费者客户端或Kafka控制台的“消息查询”中观察到消息offset不连续的现象。这是因为开启了幂等或事务后,在生产消息时会产生一些元数据控制消息,这些控制消息也会生产到该Topic中, 且它们对消费者不可见,从而造成offset不连续的现象。
消息管理 查询消息 查询分区指定偏移量的消息 查询分区指定时间段的消息 查询分区最早消息的位置 查询分区最新消息的位置 Kafka删除消息 父主题: API V2(推荐)
在Logstash中,生产消息,如下图所示。 图5 生产消息 切换到Kafka控制台,单击实例名称,进入实例详情页。 在左侧导航栏单击“消息查询”,进入消息查询页面。 在“Topic名称”中选择“topic-logstash”,单击“搜索”,查询消息。 图6 查询消息 从图6可以看出,Logstash的Kafka
Kafka监控显示消息堆积数跟实例里的消息数不一致? 问题现象:监控显示消息堆积数为8.1亿+,Kafka控制台显示实例中6个Topic的消息数总和为1亿+,两者不一致。 问题结论:两者统计方式不同,Kafka控制台显示的消息数为实例中未消费的消息个数,而监控显示的消息堆积数=Topic中的消息积压数*消费组数。