检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
接口约束 使用模板导入模型与不使用模板导入这两类导入方式的Body参数要求不一样。以下Body参数说明中以模板参数表示适合使用模板导入模型时填写的参数，非模板参数表示适合不使用模板导入时填写的参数，公共参数表示与导入方式无关的参数。
表2 请求参数 参数 是否必选 参数类型 说明 job_desc 是 String 对训练作业的描述，字符串的长度限制为[0, 256]。 响应消息 响应参数如表3所示。 表3 响应参数 参数 参数类型 描述 is_success Boolean 请求是否成功。
URI GET /v1/{project_id}/job/resource-specs 参数说明如表1所示。 表1 参数说明 参数 是否必选 参数类型 说明 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。
除了ModelArts总览页呈现的计费项之外，如果用户使用了OBS、云硬盘EVS存储，也会扣费。 请前往OBS控制台，及时清空OBS中的数据。 请在ModelArts控制台上，删除带有EVS存储的Notebook实例。前往EVS控制台，及时清空EVS中的数据。
--quantize-model：体现此参数表示会生成量化模型权重。不需要生成量化模型权重时，不体现此参数 --generate-scale：体现此参数表示会生成量化系数，生成后的系数保存在--scale-output参数指定的路径下。
--quantize-model：体现此参数表示会生成量化模型权重。不需要生成量化模型权重时，不体现此参数 --generate-scale：体现此参数表示会生成量化系数，生成后的系数保存在--scale-output参数指定的路径下。
URI POST /v1/{project_id}/training-jobs 参数说明如表1所示。 表1 参数说明 参数 是否必选 参数类型 说明 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 请求消息 请求参数如表2所示。
请求消息 无请求参数。 响应消息 响应参数如表2所示。 表2 响应参数 参数 参数类型 说明 error_message String 调用失败时的错误信息。 调用成功时无此字段。 error_code String 调用失败时的错误码，具体请参见错误码。 调用成功时无此字段。
Notebook实例的存储配置采用的是云硬盘EVS。云硬盘EVS存储容量最大支持4096GB，达到4096GB时，不允许再扩容。单次最大可以扩容100GB。 Notebook实例停止后，扩容后的EVS容量仍然有效。EVS计费也是按照扩容后的容量进行计费。
请求消息 请求参数如表2所示。 表2 请求参数 参数 是否必选 参数类型 说明 job_name 是 String 可视化作业名称。限制为1-20位只含数字，字母，下划线，中划线的名称。
DevServer权限 表1 DevServer细化权限说明 权限 对应API接口 授权项 依赖的授权项 IAM项目 企业项目 创建DevServer实例 POST /v1/{project_id}/dev-servers modelarts:devserver:create ecs
请求消息 无请求参数。 响应消息 响应参数如表2所示。 表2 响应参数 参数 参数类型 说明 instance_id String 实例ID。 请求示例 如下以删除实例ID为“6fa459ea-ee8a-3ca4-894e-db77e160355e”的实例为例。
启动vLLM，如果是使用命令行的方式，指定--quantization "gptq"参数，其他参数请参考Step6 启动推理服务 python -m vllm.entrypoints.openai.api_server --model <your_model> --quantization
docker pull {image_url} Step3 启动容器镜像 启动容器镜像前请先按照参数说明修改${}中的参数。可以根据实际需要增加修改参数。启动容器命令如下。
--log-interval：是一个用于设置日志输出间隔的参数，表示输出日志的频率。在训练大规模模型时，可以通过设置这个参数来控制日志的输出。
docker pull {image_url} 步骤3 启动容器镜像 启动容器镜像前请先按照参数说明修改${}中的参数。可以根据实际需要增加修改参数。启动容器命令如下。
文件内容，参数详解可参考表1。
--group-size：量化group size参数，指定-1时为per-channel权重量化，W4A16支持128和-1，W8A16支持-1。 --w-bit：量化比特数，W4A16设置4，W8A16设置8。
如果需要分页，请设置“page”参数值为“1”。 默认“page”参数值为“0”，不支持分页。 请求消息 无。 响应消息 响应参数如表3所示。 表3 响应参数 参数 参数类型 说明 is_success Boolean 请求是否成功。
文件内容，参数详解可参考表1。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
