检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
新规格除了原有的磁盘类型，还支持通用型SSD、极速型SSD等多种磁盘类型，客户选择更加灵活。 Kafka实例规格参考 kafka.2u4g.cluster.small，三个代理 Kafka客户端连接数在6000以内，消费组个数在45个以内，业务TPS为60000以内时推荐选用。
日志同步主要有三个关键部分：日志采集客户端，Kafka消息队列以及后端的日志处理应用。 日志采集客户端，负责用户各类应用服务的日志数据采集，以消息方式将日志“批量”、“异步”发送到Kafka客户端。 Kafka客户端批量提交和压缩消息，对应用服务的性能影响非常小。
Kafka支持服务端认证客户端吗？ 连接开启SASL_SSL的Kafka实例时，ssl truststore文件可以用PEM格式的吗？ 下载的证书JKS和CRT有什么区别？ Kafka支持哪个版本的TLS？ Kafka实例连接数有限制吗？ 客户端单IP连接的个数为多少？
查看消费组列表（Kafka客户端） 未开启密文接入的Kafka实例，在Kafka客户端的“/bin”目录下，通过以下命令查询消费组列表。 .
在消费者列表中，可以查看消费者ID、消费者地址和客户端ID。 （可选）如果需要查询某个消费者，在搜索框中，输入消费者ID，按“Enter”。 查看消费者列表（客户端） 未开启密文接入的Kafka实例，在Kafka客户端的“/bin”目录下，通过以下命令查询消费者列表。 .
多副本的Topic需要在生产客户端配置重试机制，方法如下： 生产客户端为Kafka开源客户端时，检查是否配置retries参数，建议此参数值设置为3~5。 生产客户端为Flink客户端时，检查是否配置重启策略，配置重启策略可以参考如下代码。
Java Java客户端接入示例 Java开发环境搭建
表1 Kafka集群实例规格 规格名称 代理个数范围 单个代理TPS 单个代理分区上限 单个代理建议消费组数 单个代理客户端总连接数上限 存储空间范围（GB） 单个代理流量规格（MB/s） kafka.2u4g.cluster.small 3~30 20000 100 15 2000
在Kafka客户端的“/bin”目录下，通过kafka-consumer-groups.sh --bootstrap-server ${connection-address} --describe --group ${consumer-group-name}命令查看消费组中每个Topic
是否支持Kerberos认证 不支持 客户端单IP连接数 2020年7月以及之后购买的实例，Kafka实例的每个代理允许客户端单IP连接的个数默认为1000个，在此之前购买的实例，Kafka实例的每个代理允许客户端单IP连接的个数默认为200个，如果超过了，会出现连接失败问题。
图1 按需计费Kafka实例生命周期 华为云根据客户等级定义了不同客户的宽限期和保留期时长。 避免和处理欠费 欠费后需要及时充值，详细操作请参见账户充值。 若不再使用Kafka实例，您可以将他们删除，以免继续扣费。
变更规格 扩容存储空间 扩容代理数量 扩容基准带宽 扩容代理规格 缩容代理规格 创建流控 创建用户/客户端/Topic流控。 编辑流控 修改流控参数。 删除流控 删除用户/客户端/Topic流控。 Kafka分区平衡 修改Topic的分区平衡。
自动创建的Topic、在客户端使用命令行创建的Topic、在客户端通过代码创建的Topic、以及使用Kafka Manager创建的Topic。 订阅关系：包含消费组名称、消费组状态、Coordinator(ID)和堆积数。 单击消费组名称，跳转到对应消费组的详情页面。
华为云根据客户等级定义了不同客户的宽限期和保留期时长。 在Kafka实例到期前均可开通自动续费，到期前7日凌晨3:00首次尝试自动续费，如果扣款失败，每天凌晨3:00尝试一次，直至Kafka实例到期或者续费成功。
开启同步复制后，需要在客户端配置acks=all或者-1，否则无效。 父主题： Topic管理
Logstash、Kafka Integration Plugin与Kafka客户端的版本对应关系如表1所示。请确保Kafka客户端版本大于或等于Kafka实例的版本。
表1 版本发布说明 实例版本 发布时间 新增/优化特性 1.1.0和2.7 2023年7月 控制台支持查看重平衡日志 1.1.0和2.7 2023年4月 控制台支持手动创建消费组 1.1.0和2.7 2023年2月 控制台支持客户端、Topic级别生产消费流量控制 1.1.0和2.7
连接实例 客户端使用内网/公网连接Kafka实例，并生产消费消息。
多副本的Topic需要在生产客户端配置重试机制，方法如下： 生产客户端为Kafka开源客户端时，检查是否配置retries参数，建议此参数值设置为3~5。 生产客户端为Flink客户端时，检查是否配置重启策略，配置重启策略可以参考如下代码。
不同规格的Kafka实例，连接数限制如下： 表1 老规格Kafka实例的连接数 基准带宽 连接数上限 100MB/s 3000 300MB/s 10000 600MB/s 20000 1200MB/s 20000 表2 新规格Kafka实例的连接数 实例规格 单个代理客户端总连接数上限
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
