检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Kafka Manager和云监控显示的信息不一致 问题现象:在后台删除某个消费组后,在云监控已经不显示此消费组,但是Kafka Manager中依然存在。 问题原因:Kafka Manager存在缓存。 处理方法:登录Kafka控制台,在实例所在行,单击“更多 > 重启Manager”。
实例版本在控制台和Kafka Manager上显示不一致? Kafka实例的版本以控制台为准。Kafka Manager使用了开源Kafka 2.2.0的公共信息配置,所以显示的版本是2.2.0,和购买的Kafka实例版本没有关系。 父主题: Kafka Manager问题
Kafka客户端参数配置建议 Kafka客户端的配置参数很多,以下提供Producer和Consumer几个常用参数配置。不同版本的Kafka客户端参数名称可能不同,以下配置参数适用于1.1.0及以上版本。其他参数和版本配置,请参考Kafka配置。 表1 Producer参数 参数
ms在100~1000之间。 生产端的JVM内存要足够,避免内存不足导致发送阻塞。 时间戳设置为与当地时间一致,避免时间戳为未来时间导致消息无法老化。 尽量复用producer,不要频繁创建producer。当producer开启幂等时(生产者客户端3.0及之后的版本默认开启幂等),生产消息会在服务端创建生
Kafka监控显示消息堆积数跟实例里的消息数不一致? 问题现象:监控显示消息堆积数为8.1亿+,Kafka控制台显示实例中6个Topic的消息数总和为1亿+,两者不一致。 问题结论:两者统计方式不同,Kafka控制台显示的消息数为实例中未消费的消息个数,而监控显示的消息堆积数=Topic中的消息积压数*消费组数。
配置Kafka客户端 Kafka客户端参数配置建议 Kafka客户端使用建议 父主题: 连接实例
使用客户端连接Kafka(开启SASL) 本章节介绍如何使用开源的Kafka客户端访问开启密文接入的Kafka实例的方法。密文接入表示客户端访问Kafka实例时,需要进行SASL认证。如果Kafka安全协议为“SASL_SSL”,客户端和Kafka实例进行通信时,数据使用加密传输,安全性更高。
Kafka开源客户端获取 Kafka实例完全兼容开源客户端,如果您使用其他语言,也可以从Kafka官网获取客户端,按照Kafka官网提供的连接说明,与Kafka实例对接。
使用客户端连接Kafka(关闭SASL) 本章节介绍如何使用开源的Kafka客户端访问关闭SASL的Kafka实例的方法。关闭SASL表示客户端访问Kafka实例时,无需进行认证,数据通过明文传输,性能更好。 2020年7月以及之后购买的实例,Kafka实例的每个代理允许客户端单I
为什么消息创建时间显示1970? 消息创建时间是由生产客户端在生产消息时通过CreateTime指定的,如果生产消息时没有设置此参数,消息创建时间会默认为1970。 父主题: 消息问题
Kafka支持服务端认证客户端吗? 不支持。 父主题: 连接问题
为什么不建议使用Sarama客户端收发消息? 问题现象 使用Sarama客户端收发消息存在以下问题: Sarama客户端无法感知分区变化,当Topic分区数增加时,需要重启客户端后才能正常消费。 Sarama客户端消息最大处理时间(MaxProcessingTime)默认值为10
是否必选 参数类型 描述 user 否 String 用户名。 不对全部用户/客户端限流时,用户名和客户端ID不能同时为空。 client 否 String 客户端ID。 不对全部用户/客户端限流时,用户名和客户端ID不能同时为空。 user-default 否 Boolean 是否使用用户默认设置。
是否必选 参数类型 描述 user 否 String 用户名。 不对全部用户/客户端限流时,用户名和客户端ID不能同时为空。 client 否 String 客户端ID。 不对全部用户/客户端限流时,用户名和客户端ID不能同时为空。 user-default 否 Boolean 是否使用用户默认设置。
objects 客户端流控配置列表。 count Integer 用户/客户端流控配置数目。 表4 Quota 参数 参数类型 描述 user String 用户名。 不对全部用户/客户端限流时,用户名和客户端ID不能同时为空。 client String 客户端ID。 不对全部
单击“确定”,完成开启SSL双向认证。 步骤四:修改客户端配置文件 开启SSL双向认证后,需要在客户端的“consumer.properties”和“producer.properties”文件中,分别修改服务端证书配置,并增加客户端证书配置。 security.protocol=SSL
是否必选 参数类型 描述 user 否 String 用户名。 不对全部用户/客户端限流时,用户名和客户端ID不能同时为空。 client 否 String 客户端ID。 不对全部用户/客户端限流时,用户名和客户端ID不能同时为空。 user-default 否 Boolean 是否使用用户默认设置。
客户端单IP连接的个数为多少? 2020年7月以及之后购买的实例,Kafka实例的每个代理允许客户端单IP连接的个数默认为1000个,在此之前购买的实例,Kafka实例的每个代理允许客户端单IP连接的个数默认为200个,如果超过了,会出现连接失败问题。您可以通过修改配置参数来修改单IP的连接数。
broker-0的CPU使用率(客户端服务器和实例在不同的AZ中) CPU消耗=17.20% 图9 broker-1的CPU使用率(客户端服务器和实例在相同的AZ中) CPU消耗=56.70% 图10 broker-1的CPU使用率(客户端服务器和实例在不同的AZ中) CPU消耗=16
可能原因1:消息已被老化。 解决方法:修改老化时间。 可能原因2:消息的createTime时间戳不对。 Console页面是根据时间查询的,所以查不到。时间戳是由客户端生成,不同客户端有不同的处理策略,有的客户端默认值会是0或者-1,则查询不到消息。 解决方法:检查客户端消息的createTime设置是否正确。