检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
下表所示。 表1 Kafka集群实例规格 规格名称 代理个数范围 单个代理TPS 单个代理分区上限 单个代理建议消费组数 单个代理客户端总连接数上限 存储空间范围（GB） 单个代理流量规格（MB/s） kafka.2u4g.cluster.small 3~30 20000 100
数。测试场景为连接内网访问明文接入、磁盘类型为超高I/O的实例。如果您想要了解更多关于TPS的性能，请参考测试Kafka实例TPS。 表1 Kafka集群实例规格 规格名称 代理个数范围 单个代理TPS 单个代理分区上限 单个代理建议消费组数 单个代理客户端总连接数上限 存储空间范围
消费者每次最多消费max.poll.records条消息，多数情况下客户端都会把一次消费到的数据处理完后才会开始下一次消费，如果单次消费的消息太多导致无法在max.poll.interval.ms时间内处理完或消息处理流程发生了异常（如需要写入后端数据库，后端数据库压力太大，慢SQL，时延增加等）导致消费时间增加，在max
--describe --all-groups 参数说明如下：connection-address表示Kafka实例的连接地址，在Kafka控制台的“基本信息 > 连接信息”中获取。 示例如下： [root@ecs-kafka bin]# ./kafka-consumer-groups
为什么JVM堆内存使用率出现明显波动？ JVM堆内存使用率在监控页面呈现锯齿状属于正常现象，在扩容规格或升级Kafka实例内核版本后，可能导致JVM堆内存使用率最大值升高、波动幅度变大，这种波动属于JVM堆内存回收的正常机制，对业务无影响。 父主题： 监控告警问题
作导致业务受损，当前仅Kafka内部使用，不对外提供服务。 版本 当前服务端版本为1.1.0、2.7、3.x。实例创建后，服务端版本不支持升级。 兼容0.10以上的客户端版本，推荐使用和服务端一致的版本。 登录Kafka节点所在机器 不能登录。 存储空间 集群实例只支持扩大存储空间，不支持减小存储空间。
Java开发环境搭建 基于收集连接信息的介绍，假设您已经获取了实例连接相关的信息，以及配置好客户端的网络环境。本章节以生产与发送消息的Demo为例，介绍Kafka客户端的环境配置。 开发环境 Maven Apache Maven 3.0.3及以上版本，可至Maven官方下载页面下载。
topic-name：Topic名称，支持自定义。 connection-address：在Kafka控制台的“基本信息 > 连接信息”中，获取Kafka实例的连接地址。 number-of-partitions：Topic的分区数。出于性能考虑，建议单个Topic的分区数设置为200以内。
异 产品规格 03 入门 创建Kafka实例之后，您可以通过命令行模式和客户端方式连接实例进行生产消息和消费消息。 命令行模式连接 连接未开启SASL的实例 连接已开启SASL的实例 客户端方式连接 Java客户端 Python客户端 Go客户端 05 实践 Kafka作为一款热
择“broker”，查看Kafka实例代理的相关监控。 Smart Connect代理的监控指标包括：磁盘容量使用率、内存使用率、JVM堆内存使用率、节点存活状态和连接数。 表2 节点支持的监控指标 指标ID 指标名称 指标含义 取值范围 测量对象 监控周期（原始指标） broker_data_size
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
1KB大小的消息为例的每秒处理消息条数。测试场景为连接内网访问明文接入、磁盘类型为超高I/O的实例。 表1 Kafka单机实例规格 规格名称 代理个数 单个代理TPS 单个代理分区上限 单个代理建议消费组数 单个代理客户端总连接数上限 存储空间范围 单个代理流量规格（MB/s） kafka
业务系统基于开源的Kafka进行开发，只需加入少量认证安全配置，即可使用分布式消息服务Kafka版，做到无缝迁移。 Kafka实例兼容开源社区Kafka 1.1.0、2.7、3.x版本。在客户端使用上，推荐使用和服务端版本一致的版本。 安全保证 独有的安全加固体系，提供业务操作云端审计，消息传输加密等有效安全措施。
将生产客户端的Kafka连接地址修改为新Kafka实例的连接地址。 重启生产业务，使得生产者将新的消息发送到新Kafka实例中。 观察各消费组在原Kafka的消费进度，直到原Kafka中数据都已经被消费完毕。 将消费客户端的Kafka连接地址修改为新Kafka实例的连接地址。 重启消费业
为什么磁盘读/写流量、磁盘平均读/写操作耗时和CPU使用率出现明显波动？ 磁盘读流量、磁盘写流量、磁盘平均读操作耗时、磁盘平均写操作耗时和CPU使用率这几个监控指标采集的是瞬时值，仅作为系统资源评估参考。它们出现明显波动通常情况下是由于Kafka数据采用异步落盘会消耗磁盘I/O和
--command-config {SASL认证的consumer.properties配置文件}，“consumer.properties”配置文件参考使用客户端连接Kafka（开启SASL）。 父主题： 消息问题
开启SASL_SSL后，实例已开启的SASL认证机制。 SSL证书 单击“下载”，下载连接实例的SSL证书。 内网连接地址 未开启公网访问时，连接实例的地址。 显示的连接地址个数为实例代理个数。 Manager内网访问地址 未开启公网访问时，连接Kafka Manager的地址。 2023年5月17日及以后创建的实例不提供此地址。
9999 Kafka客户端所在的IP地址或地址组 访问Kafka Manager。 登录Kafka Manager 创建一台与Kafka实例相同VPC和相同安全组的Windows服务器，详细步骤请参考购买并登录Windows弹性云服务器。 如果是已经开启了公网访问，该步骤为可选，在本地浏
客户端消息生产速率=14468 登录Kafka实例控制台，单击测试实例名称，进入实例详情页。 在左侧导航栏单击“监控”，进入监控页面。 在“节点”页签，查看服务端节点的CPU使用率。 图13 broker-0的CPU使用率（1副本） CPU消耗=58.10% 图14 broker-0的CPU使用率（3副本）
跨VPC访问和DNAT访问。 同一VPC内使用IPv4地址访问，访问端口为9092。 同一VPC内使用IPv6地址访问，访问端口为9192。 公网访问，访问端口为9094。 使用VPCEP跨VPC访问，访问端口为9011。 使用对等连接跨VPC访问，访问端口为9092。 DNAT访问，访问端口为9011。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
