-
在Windows服务器中无法登录Kafka Manager - 分布式消息服务Kafka版
在Windows服务器中无法登录Kafka Manager 问题现象 在Windows服务器的浏览器中输入Kafka Manager地址,无法登录Kafka Manager,报错信息如下图。 根因描述 Windows服务器和Kafka实例不在同一个VPC同一个子网内,或者安全组配置不正确,导致网络无法连通。
-
Kafka实例的ZK地址是什么? - 分布式消息服务Kafka版
Kafka实例的ZK地址是什么? Kafka实例依赖ZK进行管理,开放ZK可能引发误操作导致业务受损,ZK仅Kafka内部使用,不对外提供服务。 您可使用Kafka开源客户端连接Kafka实例,调用源生API生产与消费消息。 父主题: 实例问题
-
Kafka消息堆积了怎么办? - 分布式消息服务Kafka版
Kafka消息堆积了怎么办? 问题现象:实例的监控指标“堆积消息数”产生了告警。 处理方法1: 登录Kafka实例控制台,单击产生告警的实例名称,进入实例详情页。 在左侧导航栏,单击“监控”,进入监控页面。 在“消费组”页签中,查看“消息堆积数(消费组可消费消息数)”,找出消息堆积的消费组。
-
使用客户端连接Kafka(明文接入) - 分布式消息服务Kafka版
2020年7月以及之后购买的实例,Kafka实例的每个代理允许客户端单IP连接的个数默认为1000个,在此之前购买的实例,Kafka实例的每个代理允许客户端单IP连接的个数默认为200个,如果超过了,会出现连接失败问题。您可以通过修改Kafka实例配置参数来修改单IP的连接数。 前提条件
-
Kafka的消费组删除了,怎么监控页面还可以看到这个消费组? - 分布式消息服务Kafka版
Kafka的消费组删除了,怎么监控页面还可以看到这个消费组? 监控数据是每分钟进行采集上报,上报的数据经过整理后才会显示在监控页面上,此过程大约需要几分钟到十几分钟,建议您在删除消费组后,过一段时间再去监控页面查看。 父主题: 监控告警问题
-
Kafka实例的内网连接地址可以修改吗? - 分布式消息服务Kafka版
Kafka实例的内网连接地址可以修改吗? 不支持修改,且不支持指定IP地址。 父主题: 连接问题
-
Kafka实例的连接地址默认有多少个? - 分布式消息服务Kafka版
Kafka实例的连接地址默认有多少个? Kafka实例的连接地址个数和实例的代理个数有关,连接地址个数即为代理个数。每类实例规格对应的代理个数如下表所示。 表1 Kafka实例规格(集群版实例) 实例规格 代理个数范围 单个代理TPS 单个代理分区上限 单个代理建议消费组数 单个代理客户端总连接数上限
-
选择和配置安全组 - 分布式消息服务Kafka版
使用内网通过同一个VPC访问实例 客户端和实例是否使用相同的安全组? 是,如果保留了创建安全组后,系统默认添加的入方向“允许安全组内的弹性云服务器彼此通信”规则和出方向“放通全部流量”规则,则无需添加其他规则。否则,请添加表1所示规则。 表1 安全组规则 方向 协议 端口 源地址 说明 入方向 TCP 9092
-
与其他云服务的关系 - 分布式消息服务Kafka版
弹性公网IP提供独立的公网IP资源,包括公网IP地址与公网出口带宽服务。Kafka实例绑定弹性公网IP后,可以通过公网访问Kafka实例。 标签管理服务(Tag Management Service) 标签管理服务是一种快速便捷将标签集中管理的可视化服务,提供跨区域、跨服务的集中标签管理和资源分类功能。
-
Logstash对接Kafka生产消费消息 - 分布式消息服务Kafka版
获取途径 内网连接地址 在Kafka实例详情页的“连接信息”区域,获取“内网连接地址”。 开启的SASL认证机制 在Kafka实例详情页的“连接信息”区域,获取“开启的SASL认证机制”。 启用的安全协议 在Kafka实例详情页的“连接信息”区域,获取“启用的安全协议”。 证书
-
开启公网访问后,在哪查看公网IP地址? - 分布式消息服务Kafka版
开启公网访问后,在哪查看公网IP地址? 在Kafka控制台,单击Kafka实例名称,进入实例详情页面。在“基本信息”页签,查看公网IP地址(即“公网连接地址”)。 如果您需要连接Kafka实例,请参考连接Kafka。 父主题: 连接问题
-
与RabbitMQ、RocketMQ的差异 - 分布式消息服务Kafka版
议。 跨语言支持 支持多语言的客户端 采用Scala和Java编写,支持多种语言的客户端。 采用Erlang编写,支持多种语言的客户端。 流量控制 待规划 支持client和user级别,通过主动设置可将流控作用于生产者或消费者。 RabbitMQ的流控基于Credit-Base
-
状态码 - 分布式消息服务Kafka版
表明请求超出了客户端访问频率的限制或者服务端接收到多于它能处理的请求。建议客户端读取相应的Retry-After首部,然后等待该首部指出的时间后再重试。 500 InternalServerError 表明服务端能被请求访问到,但是不能理解用户的请求。 501 Not Implemented 服务器不支持请求的功能,无法完成请求。
-
使用客户端连接Kafka(密文接入) - 分布式消息服务Kafka版
2020年7月以及之后购买的实例,Kafka实例的每个代理允许客户端单IP连接的个数默认为1000个,在此之前购买的实例,Kafka实例的每个代理允许客户端单IP连接的个数默认为200个,如果超过了,会出现连接失败问题。您可以通过修改Kafka实例配置参数来修改单IP的连接数。 如果实例
-
图解Kafka、RabbitMQ和RocketMQ的差异 - 分布式消息服务Kafka版
图解Kafka、RabbitMQ和RocketMQ的差异
-
Kafka Manager概述 - 分布式消息服务Kafka版
Manager概述 Kafka Manager是开源的Kafka集群管理工具,需要通过浏览器才能访问Kafka Manager的地址。在Kafka Manager页面,您可以查看Kafka集群的监控、代理等信息。 2023年5月17日及以后创建的实例不提供Kafka Manager,Kafka实例控制台已支持Kafka
-
配置Kafka的SSL双向认证 - 分布式消息服务Kafka版
已准备一台Linux系统的服务器。 实例已开启Kafka SASL_SSL。 配置SSL双向认证流程 图1 配置SSL双向认证流程图 步骤一:制作客户端验证服务端的证书 登录Linux系统的服务器,执行以下命令,生成server.keystore.jks证书的孵化器。 keytool -genkey
-
配置Kafka实例的公网访问 - 分布式消息服务Kafka版
配置Kafka实例的公网访问 您需要通过公网地址访问Kafka实例时,可开启实例的公网访问功能,并设置弹性IP地址。 当业务不再使用公网访问功能时,也可以关闭实例的公网访问功能。 Kafka控制台的“基本信息 > 连接信息”的内容存在两种不同的显示,导致开启/关闭公网访问的步骤有所不同。
-
测试Kafka生产速率和CPU消耗 - 分布式消息服务Kafka版
在“节点”页签,查看服务端节点的CPU使用率。 图7 broker-0的CPU使用率(客户端服务器和实例在相同的AZ中) CPU消耗=58.10% 图8 broker-0的CPU使用率(客户端服务器和实例在不同的AZ中) CPU消耗=17.20% 图9 broker-1的CPU使用率(客户端服务器和实例在相同的AZ中)
-
spring-kafka的使用 - 分布式消息服务Kafka版
spring-kafka的使用 本文介绍如何使用spring-kafka连接华为云Kafka实例进行消息的生产和消费。相关代码您可以从kafka-springboot-demo中获取。 下文所有Kafka的配置信息,如实例连接地址、Topic名称、用户信息等,请参考收集连接信息获取。