检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
消息被消费后,没有删除,导致Kafka存储空间占满? 消息被消费后,并不会被删除,只有超过老化时间,才会被删除。 您可以通过减小老化时间或者扩容存储空间,解决此问题。 父主题: Topic和分区问题
虚拟私有云在Kafka实例创建完成后,不支持修改。 子网 选择已经创建好的或共享的子网。 子网在Kafka实例创建完成后,不支持修改。 子网开启IPv6后,Kafka实例支持IPv6功能。 IPv6 子网开启IPv6后,页面才显示此参数。开启IPv6后,客户端可以使用IPv6地址连接实例。
客户端删除消费组后,在Kafka Manager中仍可以看到此消费组? 客户端删除消费组后,此消费组已经被删除了。在Kafka Manager中仍可以看到此消费组,是因为Kafka Manager存在缓存。 通过以下任意一种方法解决此问题: 重启Kafka Manager。 Kafka
为什么限制Topic的总分区数? Kafka以分区为粒度管理消息,分区多导致生产、存储、消费都碎片化,影响性能稳定性。在使用过程中,当Topic的总分区数达到上限后,用户就无法继续创建Topic。 不同规格配置的Topic总分区数不同,如下表所示。 表1 Kafka集群实例规格 规格名称 代理个数范围 单个代理TPS
客户端和实例是否使用相同的安全组? 是,如果保留了创建安全组后,系统默认添加的入方向“允许安全组内的弹性云服务器彼此通信”规则和出方向“放通全部流量”规则,则无需添加其他规则。否则,请添加表1所示规则。 表1 安全组规则 方向 协议 类型 端口 源地址 说明 入方向 TCP IPv4 9092 Kafka客户端所在的IP地址或地址组
"name": "xxxxxxxx" //项目名称 } } } } 获取Token后,再调用其他接口时,您需要在请求消息头中添加“X-Auth-Token”,其值即为Token。例如Token值为“ABCDEFJ....”,
消息积压诊断”,进入消息积压诊断页面。 选择需要诊断的消费组名称和Topic名称,单击“诊断前检查”。 诊断前检查成功后,如果“消息积压情况”显示有消息积压,并且消费组正在以非assign方式消费消息中,单击“开始诊断”。 诊断成功后,在诊断记录所在行,单击“查看详情”,进入“诊断详情”页面,查看导致消息堆积的可能
Connect不会影响业务。 约束与限制 关闭Smart Connect后,实例会停止收取用于Smart Connect的代理费用,并自动删除用于Smart Connect的代理。 关闭Smart Connect后,再重新开启Smart Connect,已删除的Smart Connect任务无法找回,需要重新创建。
0MB,当segment文件存储的消息大小到达500MB后,才会新建下一个segment文件。Kafka删除消息是删除segment文件,而不是删除一条消息。Kafka要求至少保留一个segment文件用来存储消息,如果正在使用的segment文件中包含超过老化时间的消息,由于此
Python客户端 Go客户端 05 实践 Kafka作为一款热门的消息队列中间件,广泛应用于企业解决方案、金融支付、电信、电子商务、社交、即时通信、视频、物联网、车联网等众多领域。 实践场景 使用MirrorMaker跨集群数据同步 如何设置消费组可消费消息数超过阈值时,发送告警短信/邮件
task 源端和目的端redis类型不符 请修改源端和目的端redis类型后重试。 400 DMS.00400876 The topic does not exist. Topic不存在 请核实Topic后重试。 400 DMS.00400970 RabbitMQ plugin is
且可能会造成分区平衡一直无法结束。如果分区平衡一直无法结束,请联系客服处理。 分区平衡任务启动后,不能删除正在进行分区平衡的Topic,否则会导致分区平衡任务无法结束。 分区平衡后Topic的metadata会改变,如果生产者不支持重试机制,会有少量的请求失败,导致部分消息生产失败。
“公网访问”后,单击,弹出确认关闭对话框。 单击“确定”,跳转到“后台任务管理”页面。当任务状态显示为“成功”时,表示成功关闭公网访问。 关闭公网访问后,需要设置对应的安全组规则,才能成功通过内网连接Kafka。连接Kafka的具体操作请参考连接实例。 创建安全组后,系统默认添加
否则会连接失败。 创建安全组后,系统默认添加入方向“允许安全组内的弹性云服务器彼此通信”规则和出方向“放通全部流量”规则,此时使用内网通过同一个VPC访问Kafka实例,无需添加表2的规则。 表2 安全组规则 方向 协议 类型 端口 源地址 说明 入方向 TCP IPv4 9094
在左侧导航栏选择“消费组管理”,进入消费组列表页面。 在待修改信息的消费组所在行,单击“编辑”,弹出“编辑”对话框。 修改描述信息,单击“确定”。 修改完成后,在消费组列表页面的“描述”列查看修改后的描述信息。 父主题: 管理消费组
ACL用户 Kafka实例开启密文接入后,支持对Topic进行ACL(Access Control List)权限管理,您可以在Topic中为不同的用户设置不同的生产消费消息的权限,以达到用户之间的权限隔离。 本章节主要介绍Kafka实例开启密文接入后,如何创建用户、重置用户密码、修改
Kafka的消费组删除了,怎么监控页面还可以看到这个消费组? 监控数据是每分钟进行采集上报,上报的数据经过整理后才会显示在监控页面上,此过程大约需要几分钟到十几分钟,建议您在删除消费组后,过一段时间再去监控页面查看。 父主题: 监控告警问题
Manager的Kafka实例名称,进入实例详情页面。 在“基本信息”页面的“连接信息 > Kafka Manager”后,单击,关闭Kafka Manager。 关闭Kafka Manager后,控制台不显示Kafka Manager连接地址,不支持重置Kafka Manager密码和重启Kafka
Topic权限 Kafka实例开启密文接入后,支持对Topic进行ACL(Access Control List)权限管理,您可以在Topic中为不同的用户设置不同的生产消费消息的权限,以达到用户之间的权限隔离。 本章节主要介绍Kafka实例开启密文接入后,如何对Topic进行用户授权。 约束与限制
Kafka实例版本可以升级吗? Kafka实例创建成功后,实例版本不支持升级。您可以重新创建Kafka实例,实现升级Kafka实例的版本。 父主题: 实例问题