检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
部署推理服务 本章节介绍如何使用vLLM 0.3.2框架部署并启动推理服务。 前提条件 已准备好DevServer环境，具体参考资源规格要求。推荐使用“西南-贵阳一”Region上的DevServer和昇腾Snt9b资源。 确保容器可以访问公网。 Step1 检查环境 SSH登录
部署推理服务 本章节介绍如何使用vLLM 0.4.2框架部署并启动推理服务。 前提条件 已准备好DevServer环境，具体参考资源规格要求。推荐使用“西南-贵阳一”Region上的DevServer和昇腾Snt9b资源。 安装过程需要连接互联网git clone，确保容器可以访问公网。
创建训练作业 功能介绍 创建训练作业。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI POST /v2/{project_id}/training-jobs 表1 路径参数
部署推理服务 本章节介绍如何使用vLLM 0.5.0框架部署并启动推理服务。 前提条件 已准备好DevServer环境，具体参考资源规格要求。推荐使用“西南-贵阳一”Region上的DevServer和昇腾Snt9b资源。 安装过程需要连接互联网git clone，确保容器可以访问公网。
非分离部署推理服务 本章节介绍如何使用vLLM 0.5.0框架部署并启动推理服务。 什么是非分离部署 全量推理和增量推理在同一节点上进行。 前提条件 已准备好DevServer环境，具体参考资源规格要求。推荐使用“西南-贵阳一”Region上的DevServer和昇腾Snt9b资源。
查询数据集列表 功能介绍 根据指定条件分页查询用户创建的所有数据集。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI GET /v2/{project_id}/datasets
非分离部署推理服务 本章节介绍如何使用vLLM 0.6.0框架部署并启动推理服务。 什么是非分离部署 全量推理和增量推理在同一节点上进行。 前提条件 已准备好DevServer环境，具体参考资源规格要求。推荐使用“西南-贵阳一”Region上的DevServer和昇腾Snt9b资源。
非分离部署推理服务 本章节介绍如何使用vLLM 0.6.0框架部署并启动推理服务。 什么是非分离部署 全量推理和增量推理在同一节点上进行。 前提条件 已准备好DevServer环境，具体参考资源规格要求。推荐使用“西南-贵阳一”Region上的DevServer和昇腾Snt9b资源。
开发环境的应用示例 本节通过调用一系列API，以创建开发环境实例为例介绍ModelArts API的使用流程。 概述 创建开发环境实例的流程如下： 调用认证鉴权接口获取用户Token，在后续的请求中需要将Token放到请求消息头中作为认证。 调用查询支持的镜像列表接口查看开发环境的镜像类型和版本。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
