检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
本文档使用的推理接口是vllm。 --host：服务IP地址，如127.0.0.1。 --port：服务端口。
在线服务的更多内容介绍请参见文档查看服务详情。 图5 预测 Step5 推理服务高阶配置（可选） 如需开启以下高阶配置，请在•创建推理脚本文件run_vllm.sh章节创建的推理脚本run_vllm.sh中增加需要开启的高阶配置。
本文档使用的推理接口是vllm。 --host：服务IP地址，如127.0.0.1。 --port：服务端口。
本文档使用的推理接口是vllm。 --host：服务IP地址，如127.0.0.1。 --port：服务端口。
本文档使用的推理接口是vllm。 --host：服务IP地址，如127.0.0.1。 --port：服务端口。
图2 预测结果 由于“运行中”的在线服务将持续耗费资源，如果不需再使用此在线服务，建议在“在线服务”的操作列单击“更多>停止”，即可停止在线服务的部署，避免产生不必要的费用。如果需要继续使用此服务，可单击“启动”恢复。
在推理生产环境中部署推理服务 介绍如何在创建AI应用，部署并启动推理服务，在线预测在线服务。 父主题： 主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.908）
图2 检测框的四点坐标示意图 由于“运行中”的在线服务将持续耗费资源，如果不需再使用此在线服务，建议在版本管理区域，单击“停止”，即可停止在线服务的部署，避免产生不必要的费用。如果需要继续使用此服务，可单击“启动”恢复。
部署文本分类服务 模型部署 模型部署操作即将模型部署为在线服务，并且提供在线的测试UI与监控能力。完成模型训练后，可选择准确率理想且训练状态为“运行成功”的版本部署上线。具体操作步骤如下。
参考部署为在线服务将模型部署为在线服务。
部署图像分类服务 模型部署 模型部署操作即将模型部署为在线服务，并且提供在线的测试UI与监控能力。完成模型训练后，可选择准确率理想且训练状态为“运行成功”的版本部署上线。具体操作步骤如下。
部署声音分类服务 模型部署 模型部署操作即将模型部署为在线服务，并且提供在线的测试UI与监控能力。完成模型训练后，可选择准确率理想且训练状态为“运行成功”的版本部署上线。具体操作步骤如下。
图1 自动学习生成的模型 自动学习生成的模型，支持哪些其他操作 支持部署为在线服务、批量服务或边缘服务。 在自动学习页面中，仅支持部署为在线服务，如需部署为批量服务或边缘服务，可在“模型管理 > 模型”页面中直接部署。
图1 自动学习生成的模型 自动学习生成的模型，支持哪些其他操作 支持部署为在线服务、批量服务或边缘服务。 在自动学习页面中，仅支持部署为在线服务，如需部署为批量服务或边缘服务，可在“模型部署”页面部署。 支持发布至市场 将产生的模型发布至AI Gallery，共享给其他用户。
通过大量开发者实践，针对主流昇腾云开源大模型，沉淀最佳的算力组合方案，为开发者在开发模型的最后一步，提供最佳实践的算力方案、实践指南和文档，节省开发者学习和试错资金成本，提升学习和开发效率。 父主题： 功能介绍
参考部署为在线服务将模型部署为在线服务。
ModelArts开发环境 ModelArts作为华为云上的AI开发平台，提供交互式云上开发环境，包含标准化昇腾算力资源和完整的迁移工具链，帮助用户完成昇腾迁移的调测过程，进一步可在平台上将迁移的模型一键部署成为在线服务向外提供推理服务，或者运行到自己的运行环境中。
在推理生产环境中部署推理服务 介绍如何在创建AI应用，部署并启动推理服务，在线预测在线服务。 父主题： 主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.905）
图5 预测-openai 在线服务的更多内容介绍请参见文档查看服务详情。 Step5 推理性能测试 推理性能测试操作请参见推理性能测试。 父主题： 主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.907）
图5 预测-openai 在线服务的更多内容介绍请参见文档查看服务详情。 Step5 推理性能测试 推理性能测试操作请参见推理性能测试。 父主题： 主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.906）
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
