华为云首页用户手册

AI开发平台MODELARTS-推理性能测试:静态benchmark验证

时间：2024-09-14 22:29:34

AI开发平台MODELARTS

静态benchmark验证

本章节介绍如何进行静态benchmark验证。

已经上传benchmark验证脚本到推理容器中。如果在Step5 进入容器安装推理依赖软件步骤中已经上传过AscendCloud-LLM-x.x.x.zip并解压，无需重复执行。
进入benchmark_tools目录下，切换一个conda环境，执行如下命令安装性能测试的关依赖。
```
conda activate python-3.9.10
pip install -r requirements.txt
```
运行静态benchmark验证脚本benchmark_parallel.py，具体操作命令如下，可以根据参数说明修改参数。
```
cd benchmark_tools 
python benchmark_parallel.py --backend vllm --host ${docker_ip} --port 8080 --tokenizer /path/to/tokenizer  --epochs 5 \
--parallel-num 1 4 8 16 32  --prompt-tokens 1024 2048 --output-tokens 128 256 --benchmark-csv benchmark_parallel.csv
```
参数说明
- --backend：服务类型，支持tgi、vllm、mindspore、openai等。上面命令中使用vllm举例。
- --host ${docker_ip}：服务部署的IP，${docker_ip}替换为宿主机实际的IP地址。
- --port：推理服务端口8080。
- --tokenizer：tokenizer路径，HuggingFace的权重路径。
- --epochs：测试轮数，默认取值为5
- --parallel-num：每轮并发数，支持多个，如 1 4 8 16 32。
- --prompt-tokens：输入长度，支持多个，如 128 128 2048 2048，数量需和--output-tokens的数量对应。
- --output-tokens：输出长度，支持多个，如 128 2048 128 2048，数量需和--prompt-tokens的数量对应。
- --benchmark-csv：结果保存文件，如benchmark_parallel.csv。
脚本运行完成后，测试结果保存在benchmark_parallel.csv中，示例如下图所示。
图1 静态benchmark测试结果（示意图）