检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
管理消息 查看Kafka消息 修改Kafka消息老化时间 删除Kafka消息 诊断Kafka消息积压
roker上的消息生产预留存储空间,应先进行磁盘扩容,再进行分区平衡。 使用自动平衡修改副本数 登录管理控制台。 在管理控制台左上角单击,选择Kafka实例所在的区域。 在管理控制台左上角单击,选择“应用中间件 > 分布式消息服务Kafka版”,进入分布式消息服务Kafka专享版页面。
查询分区最早消息的位置 功能介绍 查询分区最早消息的位置。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/instances/{instance_id}/management/topics/{topic}/partitions/{partit
登录管理控制台。 在管理控制台左上角单击,选择Kafka实例所在的区域。 在管理控制台左上角单击,选择“应用中间件 > 分布式消息服务Kafka版”,进入分布式消息服务Kafka专享版页面。 在左侧导航栏单击“Kafka实例”,进入Kafka实例列表页面。 单击Kafka实例的名称,进入实例详情页面。
被称为堆积消息。消息没有被及时消费就会产生消息堆积,从而会造成消息消费延迟。 消息堆积原因 导致消息堆积的常见原因如下: 生产者短时间内生产大量消息到Topic,消费者无法及时消费。 消费者的消费能力不足(消费者并发低、消息处理时间长),导致消费效率低于生产效率。 消费者异常(如
【下线公告】华为分布式消息服务Kafka版2.3.0版本停售公告 华为云计划于2023/05/05 00:00(北京时间)停售分布式消息服务Kafka版2.3.0版本。 下线范围 下线区域:所有区域 下线影响 该版本停售后,新用户将无法进行购买,已购买该版本的用户不受影响,可继续使用扩容等功能。
false:不开启 tenant_ips 否 Array of strings 创建实例时可以手动指定实例节点的内网IP地址,仅支持指定IPv4地址。 指定内网IP地址数量必须小于等于购买的节点数量。 如果指定的内网IP地址数量小于购买的节点数量时,系统会自动为剩余的节点随机分配内网IP地址。
查询分区最新消息的位置 功能介绍 查询分区最新消息的位置。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/instances/{instance_id}/management/topics/{topic}/partitions/{partition}/end-message
消费者消费时间间隔过长。 消费者每次最多消费max.poll.records条消息,多数情况下客户端都会把一次消费到的数据处理完后才会开始下一次消费,如果单次消费的消息太多导致无法在max.poll.interval.ms时间内处理完或消息处理流程发生了异常(如需要写入后端数据库,后端数据库压力太大
版本号说明 分布式消息服务Kafka版的版本号格式为:消息引擎类型 x.y.z,其中消息引擎类型为Kafka,版本号具体含义如图1所示。 图1 版本号示例 版本支持情况 分布式消息服务Kafka版支持的版本:1.1.0、2.7、3.x(推荐) 版本生命周期 分布式消息服务Kafka版的版本生命周期如表1所示。
7,升级内核版本后,Kafka版本还是2.7。 升级内核版本的影响 若Topic为单副本,升级期间无法对该Topic生产消息或消费消息,会造成业务中断。 若Topic为多副本,升级不会造成服务中断,但可能会导致消费的分区消息发生乱序,请谨慎评估业务影响,建议您在业务低峰期升级。 升级过程中会逐个节点升级,单个节
解决方案以及参考信息等内容外,分布式消息服务Kafka版不提供有关漏洞细节的其他信息。 此外,分布式消息服务Kafka版为所有客户提供相同的信息,以平等地保护所有客户。分布式消息服务Kafka版不会向个别客户提供事先通知。 最后,分布式消息服务Kafka版不会针对产品中的漏洞开发
为什么offset不连续? 在生产者客户端中开启幂等或事务,然后生产消息,此时您会在消费者客户端或Kafka控制台的“消息查询”中观察到消息offset不连续的现象。这是因为开启了幂等或事务后,在生产消息时会产生一些元数据控制消息,这些控制消息也会生产到该Topic中, 且它们对消费者不可见,从而造成offset不连续的现象。
Kafka监控显示消息堆积数跟实例里的消息数不一致? 问题现象:监控显示消息堆积数为8.1亿+,Kafka控制台显示实例中6个Topic的消息数总和为1亿+,两者不一致。 问题结论:两者统计方式不同,Kafka控制台显示的消息数为实例中未消费的消息个数,而监控显示的消息堆积数=Topic中的消息积压数*消费组数。
在管理控制台左上角单击,选择“应用中间件 > 分布式消息服务Kafka版”,进入分布式消息服务Kafka专享版页面。 在左侧导航栏选择“回收站”,进入“回收站”页面。 通过以下任意一种方法,导出实例列表。 勾选待导出的实例,单击“导出 > 导出已选中数据到XLSX”,导出指定实例列表。 单击“导出 >
端类型为Kafka时需要填写) provenance_header_enabled 否 Boolean 目标Topic接收复制的消息,此消息header中包含消息来源。两端实例数据双向复制时,请开启“添加来源header”,防止循环复制。(仅源端类型为Kafka时需要填写) consumer_strategy
什么是分布式消息服务Kafka版 Kafka是一个拥有高吞吐、可持久化、可水平扩展,支持流式数据处理等多种特性的分布式消息流处理中间件,采用分布式消息发布与订阅机制,在日志收集、流式数据传输、在线/离线系统分析、实时监控等领域有广泛的应用。 华为云分布式消息服务Kafka版是一款
message.max.bytes参数最大只能修改为10485760字节,如果您实际的业务场景中单条消息的大小超过此值,建议使用压缩算法或者业务逻辑做切分。 父主题: 消息问题
Kafka支持服务端认证客户端吗? 不支持。 父主题: 连接问题
在管理控制台左上角单击,选择“应用中间件 > 分布式消息服务Kafka版”,进入分布式消息服务Kafka专享版页面。 在左侧导航栏单击“Kafka实例”,进入Kafka实例列表页面。 在Kafka实例所在行,单击“更多 > 变更规格”,进入“分布式消息服务Kafka版变更规格”页面。 根据实际