检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
“预测”即可看到预测结果。 图9 预测-openai 在线服务的更多内容介绍请参见文档查看服务详情。 Step5 推理性能测试 推理性能测试操作请参见推理性能测试。 父主题： 主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.910）
on-vocab8404-pytorch/example/asr_example.wav的识别结果如下： 图2 测试音频识别结果 步骤九：在Aishell1测试集上测试 python infer.py --model_path 模型文件所在的绝对路径 --input_file aishell
部署推理服务 在Notebook调试环境中部署推理服务 介绍如何在Notebook中配置NPU环境，部署并启动推理服务，完成精度测试和性能测试。 如果需要部署量化模型，需在Notebook中进行模型权重转换后再部署推理服务。 在推理生产环境中部署推理服务 介绍如何在创建AI应
--test_count=3 (随机选择 3个数据作为测试集) user_id: 用户的唯一不重复的ID值，必选。 excel_addr: 待处理的excel文件的地址，必选。 dataset_name: 处理后的数据集名称，必选。 proportion: 测试集所占份数，范围[1,9]，可选。 test_count:
--test_count=3 (随机选择 3个数据作为测试集) user_id: 用户的唯一不重复的ID值，必选。 excel_addr: 待处理的excel文件的地址，必选。 dataset_name: 处理后的数据集名称，必选。 proportion: 测试集所占份数，范围[1,9]，可选。 test_count:
--test_count=3 (随机选择 3个数据作为测试集) user_id: 用户的唯一不重复的ID值，必选。 excel_addr: 待处理的excel文件的地址，必选。 dataset_name: 处理后的数据集名称，必选。 proportion: 测试集所占份数，范围[1,9]，可选。 test_count:
--test_count=3 (随机选择 3个数据作为测试集) user_id: 用户的唯一不重复的ID值，必选。 excel_addr: 待处理的excel文件的地址，必选。 dataset_name: 处理后的数据集名称，必选。 proportion: 测试集所占份数，范围[1,9]，可选。 test_count:
--test_count=3 (随机选择 3个数据作为测试集) user_id: 用户的唯一不重复的ID值，必选。 excel_addr: 待处理的excel文件的地址，必选。 dataset_name: 处理后的数据集名称，必选。 proportion: 测试集所占份数，范围[1,9]，可选。 test_count:
举例。仅做测试验证，可以不需要通过创建deployment或者volcano job的方式，直接启动容器进行测试。训练测试用例使用NLP的bert模型，详细代码和指导可参考Bert。 拉取镜像。本测试镜像为bert_pretrain_mindspore:v1，已经把测试数据和代码打进镜像中。
\"crossbow\"], \"type\": \"string\"}}}" }' Step5 推理性能和精度测试 推理性能和精度测试操作请参见推理性能测试和推理精度测试。 附录：基于vLLM（v0.3.2）不同模型推理支持的max-model-len长度说明 基于vLLM（v0
健康检查配置有问题 镜像如果配置了健康检查，服务启动失败，从以下两个方面进行排查： 健康检查端口是否可以正常工作 自定义镜像中配置了健康检查，需要在测试镜像时，同步测试健康检查接口是否可以正常工作，具体参考从0-1制作自定义镜像并创建AI应用中的本地验证镜像方法。 创建模型界面上配置的健康检查地址与实际配置的是否一致
--test_count=3 (随机选择 3个数据作为测试集) user_id: 用户的唯一不重复的ID值，必选。 excel_addr: 待处理的excel文件的地址，必选。 dataset_name: 处理后的数据集名称，必选。 proportion: 测试集所占份数，范围[1,9]，可选。 test_count:
--test_count=3 (随机选择 3个数据作为测试集) user_id: 用户的唯一不重复的ID值，必选。 excel_addr: 待处理的excel文件的地址，必选。 dataset_name: 处理后的数据集名称，必选。 proportion: 测试集所占份数，范围[1,9]，可选。 test_count:
--test_count=3 (随机选择 3个数据作为测试集) user_id: 用户的唯一不重复的ID值，必选。 excel_addr: 待处理的excel文件的地址，必选。 dataset_name: 处理后的数据集名称，必选。 proportion: 测试集所占份数，范围[1,9]，可选。 test_count:
“预测”即可看到预测结果。 图9 预测-openai 在线服务的更多内容介绍请参见文档查看服务详情。 Step5 推理性能测试 推理性能测试操作请参见推理性能测试。 父主题： 主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.911）
图3 输入有效的远端文件URL 图4 远端文件上传成功 异常处理 远端文件上传失败。可能是网络原因。请先在浏览器中输入该远端文件的URL地址，测试该文件是否能下载。 图5 远端文件上传失败 父主题： 上传文件至JupyterLab
部署推理服务 在Notebook调试环境中部署推理服务 介绍如何在Notebook中配置NPU环境，部署并启动推理服务，完成精度测试和性能测试。 如果需要部署量化模型，需在Notebook中进行模型权重转换后再部署推理服务。 在推理生产环境中部署推理服务 介绍如何在创建AI应
--test_count=3 (随机选择 3个数据作为测试集) user_id: 用户的唯一不重复的ID值，必选。 excel_addr: 待处理的excel文件的地址，必选。 dataset_name: 处理后的数据集名称，必选。 proportion: 测试集所占份数，范围[1,9]，可选。 test_count:
来。参考代码如下： import log # 创建一个logger logger = log.getLogger(__name__) # 测试日志输出 logger.info("This is an info message") 父主题： 模型管理
--test_count=3 (随机选择 3个数据作为测试集) user_id: 用户的唯一不重复的ID值，必选。 excel_addr: 待处理的excel文件的地址，必选。 dataset_name: 处理后的数据集名称，必选。 proportion: 测试集所占份数，范围[1,9]，可选。 test_count:
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
