检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
测试实例性能 测试Kafka生产速率和CPU消耗 测试Kafka实例TPS
测试Kafka实例TPS 通过以下几个场景，测试不同实例规格的TPS。 测试场景一（实例是否开启SASL）：相同的Topic，实例分为开启SASL和未开启SASL 测试场景二（同步/异步复制）：相同的实例，不同复制机制的Topic 测试场景三（是否同步落盘）：相同的实例，不同落盘机制的Topic
测试Kafka生产速率和CPU消耗 本章节从批处理大小、是否跨AZ生产、副本数、同步/异步复制的维度进行分布式消息服务Kafka版的性能测试，对比客户端消息生产速率和服务端CPU消耗，得出性能测试结果。 测试场景一（批处理大小）：相同的Kafka实例和Topic，不同的消息大小
Kafka体验版实例规格为EXP，为单代理实例，不支持Kafka Manager、Smart Connect和多AZ等功能。 Kafka体验版实例只适用体验和业务测试场景，无法保证性能和可靠性。如果需要在生产环境使用Kafka实例，建议购买按需或包年包月的Kafka实例。 Kafka体验版仅在华南-广州的区域支持，其他区域暂不支持。
\src\test\java\com\dms\consumer 消费消息的测试代码。 DmsProducerTest.java .\src\test\java\com\dms\producer 生产消息的测试代码。 pom.xml .\ maven配置文件，包含Kafka客户端引用。
#安全协议为“SASL_PLAINTEXT”时，配置信息如下。 security.protocol=SASL_PLAINTEXT 生产消息 测试代码 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23
"heartbeats", "B.checkpoints.internal" and # "mm2-offset-syncs.B.internal" # 测试环境可以为1，生产环境建议以下配置大于1，比如设为3 checkpoints.topic.replication.factor=3 heartbeats
本文将介绍按需计费Kafka实例的计费规则。 适用场景 按需计费适用于具有不能中断的短期、突增或不可预测的应用或服务，例如电商抢购、临时测试、科学计算。 适用计费项 分布式消息服务Kafka版对您选择的Kafka实例和Kafka的磁盘存储空间收费。以下计费项支持按需计费。 表1
Kafka 2.7版本，适用于测试场景，不建议用于生产业务。 TPS（Transaction per second），在Kafka场景中，指每秒能写入到Kafka实例的最大消息数量。下表中TPS性能，是指以1KB大小的消息为例的每秒处理消息条数。测试场景为连接内网访问明文接入、磁盘类型为超高I/O的实例。
容灾和多活 根据对数据与服务的不同可靠性要求，您可以选择在单可用区内（单机房）部署Kafka实例，或跨可用区（同城灾备）部署，也可以通过数据同步工具（MirrorMaker）进行跨实例的数据同步。 在单可用区或多可用区中部署实例 使用MirrorMaker跨实例数据同步 副本冗余 副本
配置消息堆积数监控 方案概述 在消息处理过程中，如果客户端的消费速度跟不上服务端的发送速度，未处理的消息会越来越多，这部分消息就被称为堆积消息。消息没有被及时消费就会产生消息堆积，从而会造成消息消费延迟。 如果您想要在消费组的消息堆积数超过阈值时，通过短信/邮件及时收到通知信息，
证书文件：client.jks。 已下载Kafka命令行工具1.1.0版本或者Kafka命令行工具2.3.0版本或者Kafka命令行工具2.7.2版本或者Kafka命令行工具3.4.0版本，确保Kafka实例版本与命令行工具版本相同。 已在服务器中安装Java Development
创建Topic，否则会连接失败。 已下载Kafka命令行工具1.1.0版本或者Kafka命令行工具2.3.0版本或者Kafka命令行工具2.7.2版本或者Kafka命令行工具3.4.0版本，确保Kafka实例版本与命令行工具版本相同。 已在服务器中安装Java Development
op等其他大数据应用系统化存储与分析。 图4 日志同步示意图 上图中Logstash、ElasticSearch分别为日志分析和检索的开源工具，Hadoop表示大数据分析系统。
IP（使用DNAT访问） 步骤五：验证接口连通性 参考使用客户端连接Kafka（关闭SASL）或者使用客户端连接Kafka（开启SASL），测试是否可以生产和消费消息。 测试接口连通性时，注意以下几点： 连接Kafka实例的地址为“advertised.listeners IP:9011”，以图6
Kafka实例支持通过以下两种方式删除消费组，您可以根据实际情况选择任意一种方式。 在控制台删除消费组 在Kafka客户端使用命令行工具删除消费组（确保Kafka实例版本与命令行工具版本相同） 约束与限制 若“auto.create.groups.enable”设置为“true”，当消费组的状态为
单机和集群Kafka实例差异概述 单机实例是分布式消费服务Kafka版提供的单代理实例，只适用体验和业务测试场景，无法保证性能和可靠性。如果需要在生产环境使用Kafka实例，建议购买集群实例。 单机实例和集群实例支持的特性和功能有部分差异，具体如表1所示。 表1 单机实例和集群实例的差异说明
listeners IP 步骤五：验证接口连通性 参考使用客户端连接Kafka（关闭SASL）或者使用客户端连接Kafka（开启SASL），测试是否可以生产和消费消息。 测试接口连通性时，注意以下几点： 连接Kafka实例的地址为“advertised.listeners IP:9011”，以图8
访问Kafka Manager Kafka Manager是开源的Kafka集群管理工具，需要通过浏览器才能访问Kafka Manager的地址。在Kafka Manager页面，您可以查看Kafka集群的监控、代理等信息。 2023年5月17日及以后创建的实例不提供Kafka
a实例的最大消息数量。下表中TPS性能，是指以1KB大小的消息为例的每秒处理消息条数。测试场景为连接内网访问明文接入、磁盘类型为超高I/O的实例。如果您想要了解更多关于TPS的性能，请参考测试Kafka实例TPS。 表1 Kafka集群实例规格 规格名称 代理个数范围 单个代理TPS
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
