检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
部署推理服务 在Notebook调试环境中部署推理服务 介绍如何在Notebook中配置NPU环境，部署并启动推理服务，完成精度测试和性能测试。 如果需要部署量化模型，需在Notebook中进行模型权重转换后再部署推理服务。
proportion: 测试集所占份数，范围[1,9]，可选。 test_count: 测试集的个数，范围[1,处理后数据集总长度 - 1]，可选。
proportion：测试集所占份数，范围[1,9]，可选。 test_count：测试集的个数，范围[1，处理后数据集总长度 - 1]，可选。
测试音频speech_paraformer-large-vad-punc_asr_nat-zh-cn-16k-common-vocab8404-pytorch/example/asr_example.wav的识别结果如下： 图2 测试音频识别结果 步骤九：在Aishell1测试集上测试
部署推理服务 在Notebook调试环境中部署推理服务 介绍如何在Notebook中配置NPU环境，部署并启动推理服务，完成精度测试和性能测试。 如果需要部署量化模型，需在Notebook中进行模型权重转换后再部署推理服务。
proportion: 测试集所占份数，范围[1,9]，可选。 test_count: 测试集的个数，范围[1,处理后数据集总长度 - 1]，可选。
proportion：测试集所占份数，范围[1,9]，可选。 test_count：测试集的个数，范围[1，处理后数据集总长度 - 1]，可选。
proportion: 测试集所占份数，范围[1,9]，可选。 test_count: 测试集的个数，范围[1,处理后数据集总长度 - 1]，可选。
本测试镜像为bert_pretrain_mindspore:v1，已经把测试数据和代码打进镜像中。
图2 自定义镜像中的代码开放的端口 图3 创建模型界面上配置的端口 健康检查配置有问题 镜像如果配置了健康检查，服务启动失败，从以下两个方面进行排查： 健康检查端口是否可以正常工作 自定义镜像中配置了健康检查，需要在测试镜像时，同步测试健康检查接口是否可以正常工作，具体参考从0-1
proportion：测试集所占份数，范围[1,9]，可选。 test_count：测试集的个数，范围[1，处理后数据集总长度 - 1]，可选。
proportion: 测试集所占份数，范围[1,9]，可选。 test_count: 测试集的个数，范围[1，处理后数据集总长度 - 1]，可选。
proportion：测试集所占份数，范围[1,9]，可选。 test_count：测试集的个数，范围[1，处理后数据集总长度 - 1]，可选。
list cce:addonInstance:create cce:addonInstance:update cce:addonInstance:delete apm:icmgr:create 使用ModelArts Lite Cluster资源池时必须配置。
Step5 推理性能和精度测试 推理性能和精度测试操作请参见推理性能测试和推理精度测试。 父主题： 主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.911）
Step5 推理性能和精度测试 推理性能和精度测试操作请参见推理性能测试和推理精度测试。 父主题： 主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.910）
请先在浏览器中输入该远端文件的URL地址，测试该文件是否能下载。 图5 远端文件上传失败 父主题： 上传文件至JupyterLab
proportion: 测试集所占份数，范围[1,9]，可选。 test_count: 测试集的个数，范围[1，处理后数据集总长度 - 1]，可选。
nccl-test测试。
proportion: 测试集所占份数，范围[1,9]，可选。 test_count: 测试集的个数，范围[1,处理后数据集总长度 - 1]，可选。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
