检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
步骤一：检查环境 SSH登录机器后，检查NPU设备检查。运行如下命令，返回NPU设备信息。
部署推理服务 在Notebook调试环境中部署推理服务 介绍如何在Notebook中配置NPU环境，部署并启动推理服务，完成精度测试和性能测试。 如果需要部署量化模型，需在Notebook中进行模型权重转换后再部署推理服务。
SSH登录机器后，检查NPU设备检查。运行如下命令，返回NPU设备信息。
通过计算测试集161条数据的平均得分，作为最终得分。
以下值是在gpu-memory-utilization为0.9时测试得出，为服务部署所需的最小昇腾卡数及该卡数下推荐的最大max-model-len长度，不代表最佳性能。
/scripts_modellink/dev_pipeline.sh 命令详解如下： <cfgs_yaml_file>：性能测试配置的yaml文件地址，如代码目录中performance_cfgs.yaml相对或绝对路径。
/scripts_modellink/dev_pipeline.sh 命令详解如下： <cfgs_yaml_file>：性能测试配置的yaml文件地址，如代码目录中performance_cfgs.yaml相对或绝对路径。
在“预测”页签，单击“上传”，上传一个测试图片，单击“预测”查看预测结果。此处提供一个样例图片供预测使用。 本案例中使用的订阅模型可以识别81类常见超市商品，模型对预测图片有一定范围和要求，不满足条件的图片会影响预测结果的准确性。
运行如下命令，返回NPU设备信息。
运行如下命令，返回NPU设备信息。
运行如下命令，返回NPU设备信息。
运行如下命令，返回NPU设备信息。
运行如下命令，返回NPU设备信息。
运行如下命令，返回NPU设备信息。
使用benchmark工具测试新生成的mindir模型性能，同AOE调优前的模型进行对比，可以看到模型性能有所提升。
在“预测”页签，单击“上传”，上传一个测试图片，单击“预测”查看预测结果。此处提供一个样例图片供预测使用。 本案例中使用的订阅模型可以识别81类常见超市商品，模型对预测图片有一定范围和要求，不满足条件的图片会影响预测结果的准确性。
max_eval_samples int 最大测试数据数。 计算规格选择，按需选择计算规格。单击“选择”，在弹窗中选择资源规格，单击“确定”。 在“所在区”选择计算规格所在的区域。默认显示全部区域的计算规格。 选择计算规格不可用的资源会置灰。
从OBS移动到本地，例如将“obs://bucket_name/obs_file.txt”移动到“/tmp/obs_file.txt”。
Step5 推理性能测试 推理性能测试操作请参见推理性能测试。 父主题： 主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.910）
执行推理脚本进行测试，此处使用的推理硬件是CPU。由于CPU执行较慢，验证待迁移的代码可能需要大约15分钟左右才能完成。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
