检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如果需要增加模型量化功能，启动推理服务前，先参考使用AWQ量化、使用SmoothQuant量化或使用GPTQ量化章节对模型做量化处理 启动服务与请求。此处提供vLLM服务API接口启动和OpenAI服务API接口启动2种方式。详细启动服务与请求方式参考：https://docs
成的开发环境保存成一个镜像。 方式一：保存镜像需要指定镜像名称、镜像标签、SWR服务的组织等信息，保存镜像需要等待几分钟时间，期间不能对Notebook有额外操作。 SWR服务的组织可以在SWR服务中进行创建，也可以使用SDK创建默认的SWR组织，默认最多只能创建5个组织。 在“
是 String 用户项目ID。获取方法请参见获取项目ID和名称。 instance_id 是 String 实例ID。 请求消息 无请求参数。 响应消息 响应参数如表2所示。 表2 响应参数 参数 参数类型 说明 instance_id String 实例ID。 请求示例 如下
EndpointsRes objects 服务器的私有IP信息。 image ServerImageResponse object 服务器镜像信息。 category String 服务器归属类型。 HPS：超节点服务器 SPOD：整柜服务器 SERVER：单台服务器 server_hps ServerHpsInfo
表1 请求服务参数说明 参数 是否必选 默认值 参数类型 描述 model 是 无 Str 通过OpenAI服务API接口启动服务时，推理请求必须填写此参数。取值必须和启动推理服务时的model ${model_path}参数保持一致。 通过vLLM服务API接口启动服务时，推理请求不涉及此参数。
用户项目ID。获取方法请参见获取项目ID和名称。 job_id 是 Long 训练作业的ID。 version_id 是 Long 训练作业的版本ID。 请求消息 无请求参数。 响应消息 响应参数如表2所示。 表2 响应参数 参数 参数类型 说明 is_success Boolean 请求是否成功。 error_message
EndpointsRes objects 服务器的私有IP信息。 image ServerImageResponse object 服务器镜像信息。 category String 服务器归属类型。 HPS：超节点服务器 SPOD：整柜服务器 SERVER：单台服务器 server_hps ServerHpsInfo
project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 instance_id 是 String 实例ID。 请求消息 请求参数如表2所示。 表2 请求参数 参数 是否必选 参数类型 说明。 action 是 String 操作开发环境实例，支持： start
EndpointsRes objects 服务器的私有IP信息。 image ServerImageResponse object 服务器镜像信息。 category String 服务器归属类型。 HPS：超节点服务器 SPOD：整柜服务器 SERVER：单台服务器 server_hps ServerHpsInfo
Query参数 参数 是否必选 参数类型 描述 type 否 String 作业所属业务。可选值如下： train：训练作业 infer：推理服务 notebook：Notebook作业 status 否 String 作业状态。可选值如下： Queue：排队中 Pending：等待中
EndpointsRes objects 服务器的私有IP信息。 image ServerImageResponse object 服务器镜像信息。 category String 服务器归属类型。 HPS：超节点服务器 SPOD：整柜服务器 SERVER：单台服务器 server_hps ServerHpsInfo
空间，以实际取值为准。 请求参数 表3 请求Header参数 参数 是否必选 参数类型 描述 Content-Type 否 String 消息体的类型。设置为text/plain，返回临时预览链接。设置为application/octet-stream，返回临时下载链接。 X-Auth-Token
5-72B-Chat-AWQ 参数说明： model：模型路径。 Step4 启动AWQ量化服务 参考部署推理服务，使用量化后权重部署AWQ量化服务。 注：Step3 创建服务启动脚本启动脚本中，服务启动命令需添加如下命令。 -q awq 或者--quantization awq 父主题：
在“运行时长控制”选择是否指定运行时长。 不限时长：不限制作业的运行时长，AI Gallery工具链服务部署完成后将一直处于“运行中”。 指定时长：设置作业运行几小时后停止，当AI Gallery工具链服务运行时长达到指定时长时，系统将会暂停作业。时长设置不能超过计算资源的剩余额度。 说明：
用户项目ID。获取方法请参见获取项目ID和名称。 job_id 是 Long 训练作业的ID。 version_id 是 Long 训练作业的版本ID。 请求消息 无请求参数。 响应消息 响应参数如表2所示。 表2 响应参数 参数 参数类型 说明 is_success Boolean 请求是否成功。 error_message
String 用户项目ID。获取方法请参见获取项目ID和名称。 config_name 是 String 训练作业参数的名称。 请求消息 无请求参数。 响应消息 响应参数如表2所示。 表2 响应参数 参数 参数类型 说明 is_success Boolean 请求是否成功。 error_message
EndpointsRes objects 服务器的私有IP信息。 image ServerImageResponse object 服务器镜像信息。 category String 服务器归属类型。 HPS：超节点服务器 SPOD：整柜服务器 SERVER：单台服务器 server_hps ServerHpsInfo
project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 job_id 是 String 可视化作业的ID。 请求消息 无请求参数。 响应消息 响应参数如表2所示。 表2 响应参数 参数 类型 说明 is_success Boolean 请求是否成功。 error_code
耗时几分钟到几十分钟不等。 批量服务部署完成后，将立即启动，运行过程中将按照您选择的资源按需计费。 您可以前往批量服务列表，查看批量服务的基本情况。在批量服务列表中，刚部署的服务“状态”为“部署中”，当批量服务的“状态”变为“运行完成”时，表示服务部署完成。 Manifest文件规范
USE_OPENAI：仅在服务入口实例生效，用于配置api-server服务是否使用openai服务，默认为1。当配置为1时，启动服务为openai服务；当配置为0时，启动服务为vllm服务。 其中常见的参数如下： --host：服务部署的IP --port：服务部署的端口，注意如果不
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
