检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
测试实例性能 测试Kafka生产速率和CPU消耗 测试Kafka实例TPS
测试Kafka生产速率和CPU消耗 本章节从批处理大小、是否跨AZ生产、副本数、同步/异步复制的维度进行分布式消息服务Kafka版的性能测试，对比客户端消息生产速率和服务端CPU消耗，得出性能测试结果。 测试场景一（批处理大小）：相同的Kafka实例和Topic，不同的消息大小 测试场景二（是否跨AZ
结论：生产消息到同一个Kafka实例的不同Topic中，Topic除了分区数量，其他参数相同。随着分区数的增加，Kafka的性能通常会随之增加，当分区数达到一定程度后，继续增加分区数可能会导致性能下降。 父主题： 测试实例性能
为什么限制Topic的总分区数？ Kafka以分区为粒度管理消息，分区多导致生产、存储、消费都碎片化，影响性能稳定性。在使用过程中，当Topic的总分区数达到上限后，用户就无法继续创建Topic。 不同规格配置的Topic总分区数不同，如下表所示。 表1 Kafka集群实例规格 规格名称
日志采集客户端，负责用户各类应用服务的日志数据采集，以消息方式将日志“批量”、“异步”发送到Kafka客户端。 Kafka客户端批量提交和压缩消息，对应用服务的性能影响非常小。 Kafka将日志存储在消息文件中，实现日志的持久化存储。 日志处理应用，如Logstash，订阅并消费Kafka中的日志消息
0的用户能否继续使用？Kafka 2.3.0与Kafka 2.7的功能和性能是否存在差异？ 已购买Kafka 2.3.0的用户不受影响，现有功能可继续使用。Kafka 2.7版本在功能上向前兼容2.3.0版本，性能基线保持一致。 已经购买的Kafka 2.3.0实例是否支持续费？ 支持续费。
单机和集群Kafka实例差异概述 单机实例是分布式消费服务Kafka版提供的单代理实例，只适用体验和业务测试场景，无法保证性能和可靠性。如果需要在生产环境使用Kafka实例，建议购买集群实例。 单机实例和集群实例支持的特性和功能有部分差异，具体如表1所示。 表1 单机实例和集群实例的差异说明
海量消息堆积与弹性扩容 内建的分布式集群技术，使得服务具有高度扩展性。分区数可配置多达200个，存储空间、代理数量和代理规格支持弹性扩展，保证在高并发、高性能和大规模场景下的访问能力，轻松实现百亿级消息的堆积和访问能力。 多规格灵活选择 Kafka实例的带宽与存储资源可灵活配置，并且自定义Topic的分区数、副本数。
实例，不支持Kafka Manager、Smart Connect和多AZ等功能。 Kafka体验版实例只适用体验和业务测试场景，无法保证性能和可靠性。如果需要在生产环境使用Kafka实例，建议购买按需或包年包月的Kafka实例。 Kafka体验版仅在华南-广州的区域支持，其他区域暂不支持。
使用开源软件成熟度低，无法保证关键业务，商业案例少；自研周期长，并需要长时间进行验证。 能力强大 100%兼容开源，支持一键扩容，深度优化开源代码提升性能和可靠性，支持消息查询、消息迁移等高级特性。 功能不完善，需额外投入进行开发。 稳定可靠 稳定高可用 支持跨AZ部署，提升可靠性
务。 TPS（Transaction per second），在Kafka场景中，指每秒能写入到Kafka实例的最大消息数量。下表中TPS性能，是指以1KB大小的消息为例的每秒处理消息条数。测试场景为连接内网访问明文接入、磁盘类型为超高I/O的实例。 表1 Kafka单机实例规格
本章节介绍如何使用开源的Kafka客户端访问关闭SASL的Kafka实例的方法。关闭SASL表示客户端访问Kafka实例时，无需进行认证，数据通过明文传输，性能更好。 约束与限制 2020年7月以及之后购买的实例，Kafka实例的每个代理允许客户端单IP连接的个数默认为1000个，在此之前购买的实
的配置选项。 性能和吞吐量较低，适用于一些对性能要求不高的简单应用场景。 Sarama Sarama采用原生Golang语言编写，对于异步以及高并发操作支持度较好。 问题较多，文档相对较少。 Sarama在处理大量消息时，会占用较多的内存资源，可能会对应用程序的性能造成一定的影响。
second），在Kafka场景中，指每秒能写入到Kafka实例的最大消息数量。下表中TPS性能，是指以1KB大小的消息为例的每秒处理消息条数。测试场景为连接内网访问明文接入、磁盘类型为超高I/O的实例。如果您想要了解更多关于TPS的性能，请参考测试Kafka实例TPS。 表1 Kafka集群实例规格 规格名称
当Topic中的数据量比较大时，单副本Topic查询消息可能会报“内部服务错误”，建议根据数据量适当减小查询时间范围。 使用消息内容查询消息时，由于查询资源和性能限制，最大搜索范围为10000条消息且所有消息的总大小不超过200MB，最多返回满足查询要求的前10条消息。 控制台只能展示4KB以内的消
常用的压缩算法包括：ZIP，GZIP，SNAPPY，LZ4等。选择压缩算法时，需考虑数据的压缩率和压缩耗时。通常压缩率越高的算法，压缩耗时也越高。对于性能要求高的系统，可以选择压缩速度快的算法，比如LZ4；对于需要更高压缩比的系统，可以选择压缩率高的算法，比如GZIP。 可以在生产者端配置“compression
侧的“编辑Topic”。 在待修改分区数的Topic所在行，单击“编辑”。 在“编辑Topic”对话框中，输入分区数，单击“确定”。 出于性能考虑，Kafka控制台限定单个Topic的分区数上限为200。 在Kafka Manager修改Topic分区数 登录Kafka Manager。
Manager创建Topic 登录Kafka Manager后，在页面顶部选择“Topic > Create”，然后按照界面参数填写即可。出于性能考虑，建议单个Topic的分区数设置为200以内。 图2 在Kafka Manager中创建Topic 在客户端创建Topic Kafka客户端版本为2
身的安全，涵盖华为云数据中心的物理环境设施和运行其上的基础服务、平台服务、应用服务等。这不仅包括华为云基础设施和各项云服务技术的安全功能和性能本身，也包括运维运营安全，以及更广义的安全合规遵从。 租户：负责云服务内部的安全，安全地使用云。华为云租户的安全责任在于对使用的IaaS、
Kafka以分区为粒度管理消息，分区多导致生产、存储、消费都碎片化，影响性能稳定性。在使用过程中，当Topic的总分区数达到上限后，用户无法继续创建Topic。 单个Topic分区数 按照开源Kafka现有逻辑，单个Topic分区数只支持增加，不支持减少。 出于性能考虑，建议单个Topic的分区数设置为200以内。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
