检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
proportion: 测试集所占份数,范围[1,9],可选。 test_count: 测试集的个数,范围[1,处理后数据集总长度 - 1],可选。
proportion:测试集所占份数,范围[1,9],可选。 test_count:测试集的个数,范围[1,处理后数据集总长度 - 1],可选。
本测试镜像为bert_pretrain_mindspore:v1,已经把测试数据和代码打进镜像中。
Step6 推理性能和精度测试 推理性能和精度测试操作请参见推理性能测试和推理精度测试。 父主题: 主流开源大模型基于Standard适配PyTorch NPU推理指导(6.3.905)
proportion:测试集所占份数,范围[1,9],可选。 test_count:测试集的个数,范围[1,处理后数据集总长度 - 1],可选。
proportion: 测试集所占份数,范围[1,9],可选。 test_count: 测试集的个数,范围[1,处理后数据集总长度 - 1],可选。
proportion:测试集所占份数,范围[1,9],可选。 test_count:测试集的个数,范围[1,处理后数据集总长度 - 1],可选。
图2 自定义镜像中的代码开放的端口 图3 创建模型界面上配置的端口 健康检查配置有问题 镜像如果配置了健康检查,服务启动失败,从以下两个方面进行排查: 健康检查端口是否可以正常工作 自定义镜像中配置了健康检查,需要在测试镜像时,同步测试健康检查接口是否可以正常工作,具体参考从0-1
请先在浏览器中输入该远端文件的URL地址,测试该文件是否能下载。 图5 远端文件上传失败 父主题: 上传文件至JupyterLab
proportion: 测试集所占份数,范围[1,9],可选。 test_count: 测试集的个数,范围[1,处理后数据集总长度 - 1],可选。
Step7 推理性能和精度测试 推理性能和精度测试操作请参见推理性能测试和推理精度测试。
参考代码如下: import log # 创建一个logger logger = log.getLogger(__name__) # 测试日志输出 logger.info("This is an info message") 父主题: 模型管理
performance.txt 是 benchmark性能测试结果。 accuracy.txt 是 精度测试结果。 *.bin 是 自动构造的输入随机bin文件,可能存在多个。
proportion: 测试集所占份数,范围[1,9],可选。 test_count: 测试集的个数,范围[1,处理后数据集总长度 - 1],可选。
proportion:测试集所占份数,范围[1,9],可选。 test_count:测试集的个数,范围[1,处理后数据集总长度 - 1],可选。
nccl-test测试。
将模型部署为实时推理作业 将模型部署为一个Web Service,并且提供在线的测试UI与监控功能,部署成功的在线服务,将为用户提供一个可调用的API。 将模型部署为批量推理服务 批量服务可对批量数据进行推理,完成数据处理后自动停止。
使用预测功能测试在线服务 模型部署为在线服务成功后,您可以在“预测”页签进行代码调试或添加文件测试。
proportion: 测试集所占份数,范围[1,9],可选。 test_count: 测试集的个数,范围[1,处理后数据集总长度 - 1],可选。
性能测试。 性能调优三板斧。 性能分析与诊断。 迁移测试报告。 推理迁移验收表。