检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
问题解决措施 区分业务使用不同消费组。 需要客户侧排查自身业务,优化自身业务处理逻辑,提高处理效率,降低阻塞时间。 背景知识介绍 消费组可以简单认为有两种状态REBALANCING和STABILIZED。 REBALANCING:消费组元数据发生变化,该状态下消费组中的所有消费者都无法进行
下载的证书JKS和CRT有什么区别? 使用Java语言连接实例时,需要用JKS格式的证书。使用Python语言连接实例时,需要用CRT格式的证书。 父主题: 连接问题
业务不中断,数据可能会丢失。 以上两种策略需要基于业务对数据和业务的可靠性来进行选择,只能作为极端场景下的一种处理方式。建议业务购买时保证有充足的磁盘容量,避免磁盘的使用达到容量阈值。 父主题: 实例问题
7版本在功能上向前兼容2.3.0版本,性能基线保持一致。 已经购买的Kafka 2.3.0实例是否支持续费? 支持续费。 Kafka 2.3.0停售后是否有替换版本? 新用户可以购买分布式消息服务Kafka版2.7版本(兼容Kafka 2.3.0版本)。 父主题: 产品公告
修改Topic分区数 变更实例规格 Kafka实例创建成功后,您可以根据业务需要,扩容基准带宽、代理个数、存储空间、代理规格,或者缩容代理规格。 扩容存储空间有次数限制,只能扩容20次。 支持区域: 全部 变更实例规格 公网访问 您需要通过公网地址访问Kafka实例时,可开启实例的公网访问功能,并设
Kafka支持服务端认证客户端吗? 连接开启SASL_SSL的Kafka实例时,ssl truststore文件可以用PEM格式的吗? 下载的证书JKS和CRT有什么区别? Kafka支持哪个版本的TLS? Kafka实例连接数有限制吗? 客户端单IP连接的个数为多少? Kafka实例的内网连接地址可以修改吗?
流式数据处理等多种特性的分布式消息流处理中间件,采用分布式消息发布与订阅机制,在日志收集、流式数据传输、在线/离线系统分析、实时监控等领域有广泛的应用。 华为云分布式消息服务Kafka版是一款基于开源社区版Kafka提供的消息队列服务,向用户提供计算、存储和带宽资源独占式的Kaf
Kafka消息堆积了怎么办? 消息拉取失败的原因 更多 智能客服 您好!我是有问必答知识渊博的智能问答机器人,有问题欢迎随时求助哦! 社区求助 华为云社区是华为云用户的聚集地。这里有来自PaaS中间件的技术牛人,为您解决技术难题。
解决方法:修改老化时间。 可能原因2:消息的createTime时间戳不对。 Console页面是根据时间查询的,所以查不到。时间戳是由客户端生成,不同客户端有不同的处理策略,有的客户端默认值会是0或者-1,则查询不到消息。 解决方法:检查客户端消息的createTime设置是否正确。 可能原因3:
消费者都会停止消费,等待Rebalance完成。 可能会触发Rebalance的原因: 消费组成员个数发生变化,例如有新的消费者加入,或者有消费者退出。 消费组订阅的Topic个数发生变化。 消费组订阅的Topic分区数发生变化。 重平衡日志记录Rebalance的详情,包括Re
例。由于在迁移生产业务之前,已经有消费业务运行在新Kafka实例上,因此不会存在端到端时延的问题。但在迁移生产的开始阶段,同时消费原Kafka与新Kafka实例,会导致部分消息之间的生产顺序无法保证,存在消息乱序的问题。此场景适用于对端到端时延有要求,却对消息顺序不敏感的业务。
CreateTime 批处理消息最大值 10485760字节 10485760字节 10485760字节 本文主要介绍手动创建Topic的操作,有以下几种方式,您可以根据实际情况选择任意一种方式: 在控制台创建Topic 在Kafka Manager创建Topic 在客户端创建Topic
假设分区平衡任务需要在200s内完成,每个副本的数据量为100MB,在以下几种场景中,估算带宽限制值。 场景一:Topic1有2分区2副本,Topic2有1分区1副本,所有Leader副本在同一个Broker上,如表4所示,Topic1和Topic2分别需要新增1个副本,如表5所示。
公共成本是指多个部门共享的计算、网络、存储或资源包产生的云成本,或无法直接通过企业项目、成本标签分配的云成本。这些成本不能直接归属于单一所有者,因此不能直接归属到某一类别。使用拆分规则,可以在各团队或业务部门之间公平地分配这些成本。详细介绍请参见使用成本单元查看成本分配。 成本分析
用率、分区订阅关系、消息积压情况和流量突增情况的检查结果。 图2 诊断前检查 “消息积压情况”显示无消息积压时,无法进行消息积压诊断。显示有消息积压,并且消费组正在以非assign方式消费消息中,才能进行积压诊断。 步骤二:开始诊断 单击“开始诊断”,在“诊断记录”区域,显示一条“状态”为“诊断中”的记录。
unavailable_zones Array of strings 资源售罄的可用区列表。 available_zones Array of strings 有可用资源的可用区列表。 表5 detail 参数 参数类型 描述 tps String 单位时间内的消息量最大值。 storage String
正常运行。至少2个Zookeeper节点正常运行,才能保证Zookeeper集群正常运行。 假设选择2个可用区,可用区1有1个Zookeeper节点,可用区2有2个Zookeeper节点。如果可用区1故障,则Kafka实例能正常使用;如果可用区2故障,则不能正常使用。Kafka实
在“消费组”页签中,查看“消息堆积数(消费组可消费消息数)”,找出消息堆积的消费组。 在左侧导航栏,单击“消费组管理”,进入消费组列表页面。 查看消息堆积的消费组是否有消费者在消费,如果有,让业务方加快消费效率,如果没有,让客户酌情删掉不使用的消费组。 处理方法2: 登录Kafka实例控制台,单击产生告警的实例名称,进入实例详情页。
Topic还分布在原有代理上,造成分区分布不均匀。通过修改分区平衡,实现将原有Topic分区的副本迁移到新代理上。 存储空间 扩容存储空间有次数限制,只能扩容20次。 扩容存储空间不会影响业务。 代理规格 若Topic为单副本,扩容/缩容期间无法对该Topic生产消息或消费消息,会造成业务中断。
生产者发送消息时指定了消息Key,按照对应的Key发送消息至对应的分区,会导致分区间的数据不均衡。 系统重新实现了分区分配策略,但策略逻辑有问题,会导致分区间的数据不均衡。 Kafka扩容了Broker节点,新增的节点没有分配分区,会导致节点间的数据不均衡。 业务使用过程中随着集