检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
分离部署对外服务使用的是scheduler实例端口，在后续推理性能测试和精度测试时，服务端口需要和scheduler实例端口保持一致。
此时，选中的图片将被自动移动至“已标注”页签，且在“未标注”和“全部”页签中，标签的信息也将随着标注步骤进行更新，如增加的标签名称、各标签对应的图片数量。 图2 添加标签 如果您还不太清楚如何进行标注，可参考数据集详情页面的“标注样例说明”完成标注。
prompt拼接格式如下，其中 {instruction} 为用户推理测试时输入的内容。
prompt拼接格式如下，其中 {instruction} 为用户推理测试时输入的内容。
prompt拼接格式如下，其中 {instruction} 为用户推理测试时输入的内容。
prompt拼接格式如下，其中 {instruction} 为用户推理测试时输入的内容。
调优前后性能对比 在完成上一章几类调优方式之后，在单卡场景下实测性能调优比对结果如下表所示： 设备 batch_size Steps/Sec 1p-GPU Ant8 16 3.17 1p-NPU snt9b 313T 16 2.17 1p-NPU snt9b 313T调优后 16
方式一：通过OpenAI服务API接口启动服务使用以下推理测试命令。${docker_ip}替换为实际宿主机的IP地址。
/scripts_modellink/dev_pipeline.sh 命令详解如下： <cfgs_yaml_file>：性能测试配置的yaml文件地址，如代码目录中performance_cfgs.yaml相对或绝对路径。
/scripts_modellink/dev_pipeline.sh 命令详解如下： <cfgs_yaml_file>：性能测试配置的yaml文件地址，如代码目录中performance_cfgs.yaml相对或绝对路径。
在Stable Diffusion迁移适配时，更多的时候是在适配Diffusers和Stable Diffusion WebUI，使其能够在昇腾的设备上运行。
具体操作请参见使用预测功能测试在线服务。 实例 查看异步在线服务的实例信息。这里的实例个数和部署服务时设置的“实例数”相对应，如果修改服务或服务异常，实例数会有变化。如果存在某个实例异常希望重建实例，您可单击“删除”按钮，该实例被删除后会自动新建一个相同计算规格的实例。
如果模型是用device_map参数量化的，请确保在保存之前将整个模型移动到GPU或CPU。例如，要将模型保存在CPU上。
如果模型是用device_map参数量化的，请确保在保存之前将整个模型移动到GPU或CPU。例如，要将模型保存在CPU上。
如果模型是用device_map参数量化的，请确保在保存之前将整个模型移动到GPU或CPU。例如，要将模型保存在CPU上。
如果模型是用device_map参数量化的，请确保在保存之前将整个模型移动到GPU或CPU。例如，要将模型保存在CPU上。
如果模型是用device_map参数量化的，请确保在保存之前将整个模型移动到GPU或CPU。例如，要将模型保存在CPU上。
预置脚本测试整体流程 一般使用run.sh封装训练外的文件复制工作（数据、代码：OBS-->容器，输出结果：容器-->OBS），run.sh的构建方法参考基于ModelArts Standard运行GPU训练作业。
SSH登录机器后，检查NPU设备检查。运行如下命令，返回NPU设备信息。
分离部署对外服务使用的是scheduler实例端口，在后续推理性能测试和精度测试时，服务端口需要和scheduler实例端口保持一致。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
