检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用内网通过同一个VPC访问Kafka实例的连接地址（内网连接地址） 图2 使用内网通过同一个VPC访问Kafka实例的连接地址（内网明文连接地址） 如果是公网访问，Kafka连接地址如下图所示。 图3 公网访问Kafka实例的连接地址（公网连接地址） 图4 公网访问Kafka实例的连接地址（公网明文连接地址） 如
请参考表2。 已获取连接Kafka实例的地址。 在Kafka控制台的“基本信息 > 连接信息”中获取实例连接地址。Kafka实例连接地址在Kafka控制台存在两种不同的显示，一种为“内网连接地址”/“公网连接地址”，另一种为“内网密文连接地址”/“公网密文连接地址”，具体以控制台显示为准。
客户端单IP连接的个数为多少？ 2020年7月以及之后购买的实例，Kafka实例的每个代理允许客户端单IP连接的个数默认为1000个，在此之前购买的实例，Kafka实例的每个代理允许客户端单IP连接的个数默认为200个，如果超过了，会出现连接失败问题。您可以通过修改配置参数来修改单IP的连接数。
Kafka客户端参数配置建议 Kafka客户端的配置参数很多，以下提供Producer和Consumer几个常用参数配置。不同版本的Kafka客户端参数名称可能不同，以下配置参数适用于1.1.0及以上版本。其他参数和版本配置，请参考Kafka配置。 表1 Producer参数 参数
Kafka客户端使用建议 consumer使用建议 consumer的owner线程需确保不会异常退出，避免客户端无法发起消费请求，阻塞消费。 确保处理完消息后再做消息commit，避免业务消息处理失败，无法重新拉取处理失败的消息。 通常不建议对每条消息都进行commit，如果对
配置Kafka客户端 Kafka客户端参数配置建议 Kafka客户端使用建议 父主题： 连接实例
Kafka支持服务端认证客户端吗？ 不支持。 父主题： 连接问题
连接Kafka网络要求 客户端可以通过公网连接Kafka实例，也可以通过内网连接Kafka实例。使用内网连接时，注意以下几点： 如果客户端和Kafka实例部署在同一个VPC内，网络默认互通。 如果客户端和Kafka实例部署在不同VPC中，由于VPC之间逻辑隔离，客户端和Kafka
为什么不建议使用Sarama客户端收发消息？ 问题现象 使用Sarama客户端收发消息存在以下问题： Sarama客户端无法感知分区变化，当Topic分区数增加时，需要重启客户端后才能正常消费。 Sarama客户端消息最大处理时间（MaxProcessingTime）默认值为10
创建VPC对等连接，将两个VPC的网络打通，实现跨VPC访问。具体步骤请参考VPC对等连接说明。 利用VPC终端节点在不同VPC间建立跨VPC的连接通道，实现Kafka客户端通过内网访问Kafka实例。具体步骤请参考使用VPCEP实现跨VPC访问Kafka。 父主题： 连接问题
终端节点：用于在VPC和终端节点服务之间建立便捷、安全、私密的连接通道。 图1 跨VPC访问Kafka实例原理图 客户端使用VPCEP跨VPC访问Kafka时，使用的是明文连接还是密文连接？ 使用明文连接还是密文连接，取决于“跨VPC访问协议”。跨VPC访问协议是在创建Kafka
Kafka连接问题排查和解决 概述 本章节主要描述Kafka连接问题的排查和解决。 问题分类 当您发现与Kafka实例连接出现异常时，可以根据本文的内容，从以下几个方面进行排查。 检查网络 检查Consumer和Producer的配置 客户端连接问题-Java客户端 客户端连接问题-Go客户端
Kafka开源客户端获取 Kafka实例完全兼容开源客户端，如果您使用其他语言，也可以从Kafka官网获取客户端，按照Kafka官网提供的连接说明，与Kafka实例对接。
Kafka支持SASL客户端认证、调用接口支持Token和AK/SK两种认证，Kerberos认证目前不支持。 如果使用SASL认证方式，则在开源客户端基础上使用分布式消息服务Kafka版提供的证书文件。具体操作参考使用客户端连接Kafka（开启SASL）。 父主题： 连接问题
合适的值即可。但是这样的长连接可能会对客户端和服务端造成一定的压力，特别是分区数较多且每个消费者开启多个线程的情况下。 如图1所示，Topic含有多个分区，消费组中有多个消费者同时进行消费，每个线程均为长连接。当Topic中消息较少或者没有消息时，连接不断开，所有消费者不间断地拉取消息，这样造成了一定的资源浪费。
Python 本文以Linux CentOS环境为例，介绍Python版本的Kafka客户端连接指导，包括Kafka客户端安装，以及生产、消费消息。 使用前请参考收集连接信息收集Kafka所需的连接信息。 准备环境 Python 一般系统预装了Python，您可以在命令行输入pyt
truststore.jks”需要存放到客户端中，并记录存放路径，此路径用于客户端连接Kafka实例时，配置文件中“ssl.truststore.location”参数的值。 步骤二：制作服务端验证客户端的证书 登录Linux系统的服务器，执行以下命令，生成client.keystore
Java客户端接入示例 本文介绍Maven方式引入Kafka客户端，并完成Kafka实例连接以及消息生产与消费的相关示例。如果您需要在IDE中查看Demo具体表现，请查看Java开发环境搭建。 下文所有Kafka的配置信息，如实例连接地址、Topic名称、用户信息等，请参考收集连接信息获取。
Kafka实例连接数有限制吗？ 不同规格的Kafka实例，连接数限制如下： 表1 老规格Kafka实例的连接数 基准带宽 连接数上限 100MB/s 3000 300MB/s 10000 600MB/s 20000 1200MB/s 20000 表2 新规格Kafka实例的连接数 实例规格
Kafka实例是否支持无密码访问？ 支持，连接明文接入的Kafka实例时，无需密码。具体操作，请参考使用客户端连接Kafka（关闭SASL）。 父主题： 连接问题
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
