检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
推理性能和精度测试操作请参见推理性能测试和推理精度测试。
请先在浏览器中输入该远端文件的URL地址，测试该文件是否能下载。 图5 远端文件上传失败 父主题： 上传文件至JupyterLab
部署推理服务 在Notebook调试环境中部署推理服务 介绍如何在Notebook中配置NPU环境，部署并启动推理服务，完成精度测试和性能测试。 如果需要部署量化模型，需在Notebook中进行模型权重转换后再部署推理服务。
proportion: 测试集所占份数，范围[1,9]，可选。 test_count: 测试集的个数，范围[1,处理后数据集总长度 - 1]，可选。
proportion: 测试集所占份数，范围[1,9]，可选。 test_count: 测试集的个数，范围[1,处理后数据集总长度 - 1]，可选。
proportion: 测试集所占份数，范围[1,9]，可选。 test_count: 测试集的个数，范围[1,处理后数据集总长度 - 1]，可选。
将模型部署为实时推理作业 将模型部署为一个Web Service，并且提供在线的测试UI与监控功能，部署成功的在线服务，将为用户提供一个可调用的API。 将模型部署为批量推理服务 批量服务可对批量数据进行推理，完成数据处理后自动停止。
nccl-test测试。
使用预测功能测试在线服务 模型部署为在线服务成功后，您可以在“预测”页签进行代码调试或添加文件测试。
可以在JupyterLab的Terminal中通过执行git clone https://github.com/jupyterlab/extension-examples.git测试网络连通情况。
也可以使用手机热点网络连接进行测试排查。 检查代理配置是否正确。 图2 PyCharm网络代理设置 四、AK/SK不正确 获取到的AK/SK信息不正确，请确认获取到正确的AK/SK信息再进行尝试，具体请参考创建访问密钥（AK和SK）。
图1 部署模型的流程 在线推理服务，可以实现高并发，低延时，弹性伸缩，并且支持多模型灰度发布、A/B测试。 支持各种部署场景，既能部署为云端的在线推理服务和批量推理任务，也能部署到端，边等各种设备。 一键部署，可以直接推送部署到边缘设备中，选择智能边缘节点，推送模型。
如果上述方法还出现了错误，可以去notebook里面调试打印CUDA_VISIBLE_DEVICES变量，或者用以下代码测试，查看结果是否返回的是True。
Step5 推理性能和精度测试 推理性能和精度测试操作请参见推理性能测试和推理精度测试。 父主题： 主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.910）
抽取kv-cache量化系数生成的json文件路径; 如果只测试推理功能和性能，不需要此json文件，此时scale系数默认为1，但是可能会造成精度下降。
部署在线服务Predictor需要线上服务端根据AI引擎创建容器，较耗时；本地Predictor部署较快，最长耗时10s，可用以测试模型，不建议进行模型的工业应用。
单击操作列的“推理测试”，在测试页面根据任务类型以及页面提示完成对应的测试。 调用API 待推理服务的状态变为“运行中”时，可单击操作列的“调用”，复制对应的接口代码，在本地环境或云端的开发环境中进行接口。
建议把调试过程中的修改点通过Dockerfile固化到容器构建正式流程，并重新测试。 父主题： 单机单卡
配置IAM权限 配置ModelArts委托权限 配置SWR组织权限 测试用户权限 父主题： 基本配置
部署推理服务 在Notebook调试环境中部署推理服务 介绍如何在Notebook中配置NPU环境，部署并启动推理服务，完成精度测试和性能测试。 如果需要部署量化模型，需在Notebook中进行模型权重转换后再部署推理服务。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
