分布式消息服务KAFKA版-测试Kafka生产速率和CPU消耗:测试环境

时间:2024-12-12 16:47:07

测试环境

进行性能测试前,您需要先构建如下的测试环境:

  1. 购买一个Kafka实例,参数信息如下,购买方法请参考购买Kafka实例
    • 区域:华北-北京四
    • 可用区:可用区1
    • 实例名称:kafka-test
    • 企业项目:default
    • 版本:2.7
    • 代理规格:kafka.2u4g.cluster
    • 代理个数:3
    • 存储空间:超高I/O,200GB
    • 容量阈值策略:自动删除
    • 虚拟私有云:选择虚拟私有云
    • 安全组:选择安全组
    • 内网访问:开启“明文接入”
    • 公网访问:不开启
    • 更多配置:不开启“Smart Connect”和“Kafka自动创建Topic”

    购买完成后,在实例详情页获取Kafka实例的内网明文连接地址。

  2. 在购买的Kafka实例中,创建如下参数的3个Topic,具体步骤请参考创建Kafka Topic
    • Topic-01:3分区1副本,异步复制
    • Topic-02:3分区3副本,异步复制
    • Topic-03:3分区3副本,同步复制
  3. 获取测试工具。

    获取Kafka命令行工具2.7.2版本

  4. 购买客户端服务器。
    购买如下参数的2台E CS 服务器,具体步骤请参考购买弹性云服务器
    • 区域、可用区、虚拟私有云、子网、安全组与Kafka实例保持一致,规格为4U8G,Linux系统的ECS。
    • 区域、虚拟私有云、子网、安全组与Kafka实例保持一致,“可用区”为“可用区2”,规格为4U8G,Linux系统的ECS。

    购买完成ECS后,需要在ECS中完成以下配置:

    • 安装Java JDK,并配置JAVA_HOME与PATH环境变量。
      export JAVA_HOME=/root/jdk1.8.0_231 
      export PATH=$JAVA_HOME/bin:$PATH
    • 下载Kafka命令行工具2.7.2版本,并解压。
      tar -zxf kafka_2.12-2.7.2.tgz
support.huaweicloud.com/usermanual-kafka/kafka-ug-0067.html