检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
opencompass脚本 ├──vllm_api.py #启动vllm api服务器 ├──vllm.py #构造vllm评测配置脚本名字 相关文档 和本文档配套的模型训练文档请参考《主流开源大模型基于Lite Cluster
资源规格推荐使用“西南-贵阳一”Region上的Lite k8s Cluster和昇腾Snt9B资源。 本文档中的CCE集群版本选择v1.27~1.28。版本使用的容器引擎为Containerd。 推理部署使用的服务框架是vLLM。vLLM支持v0.6.0版本。
请求示例 DELETE https://endpoint/v1/{project_id}/training-jobs/10/versions/10 响应示例 成功响应示例 { "is_success": true } 失败响应示例 { "is_success"
DELETE https://endpoint/v1/{project_id}/visualization-jobs/10 响应示例 成功响应示例 { "is_success": true } 失败响应示例 { "is_success": false, "error_message
具体操作如下： 开始之前，请确保安装了以下库： pip install auto-gptq pip install --upgrade accelerate optimum transformers 设置GPTQConfig的参数，并且创建一个数据集用于校准量化的权重，以及一个tokenizer
表5 响应参数 参数 参数类型 说明 is_success Boolean 请求是否成功。 error_message String 调用失败时的错误信息。 调用成功时无此字段。 error_code String 调用失败时的错误码，具体请参见错误码。 调用成功时无此字段。
Model imported successfully. - 正常 模型文件导入成功。 Model file imported successfully. - 正常 模型大小计算完成。
DELETE https://endpoint/v1/{project_id}/training-jobs/10 响应示例 成功响应示例 { "is_success": true } 失败响应示例 { "is_success": false, "error_message
DELETE https://endpoint/v1/{project_id}/training-job-configs/test-trainconfig 响应示例 成功响应示例 { "is_success": true } 失败响应示例 { "is_success
POST https://endpoint/v1/{project_id}/visualization-jobs/10/restart 响应示例 成功响应示例 { "is_success": true } 失败响应示例 { "is_success": false
失败响应示例 { "is_success": false, "error_message": "Error string", "error_code": "ModelArts.0105" } 状态码 状态码请参见状态码。
POST https://endpoint/v1/{project_id}/visualization-jobs/10/stop 响应示例 成功响应示例 { "is_success": true } 失败响应示例 { "is_success": false,
} 失败响应示例 { "is_success": false, "error_message": "Illegal name: %%123", "error_code": "ModelArts.0104" } 状态码 状态码请参见表1。
POST https://endpoint/v1/{project_id}/training-jobs/10/versions/10/stop 响应示例 成功响应示例 { "is_success": true } 失败响应示例 { "is_success": false
success Boolean 操作是否执行成功。
表2 响应参数 参数 参数类型 说明 is_success Boolean 请求是否成功。 error_message String 调用失败时的错误信息。 调用成功时无此字段。 error_code String 调用失败时的错误码，具体请参见错误码。调用成功时无此字段。
Lite Cluster 资源池创建失败的原因与解决方法？ Cluster资源池节点故障如何定位 特权池信息数据显示均为0%如何解决？ 重置节点后无法正常使用？
如果用到CCE，版本要求是CCE Turbo v1.28及以上 300iDUO PyTorch： swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_2_1_ascend:pytorch_2.1.0-cann_8.0.rc3-
sync：同步在线服务 async：异步在线服务 accelerators Array of Accelerator objects AI引擎可使用的加速卡。
资源规格推荐使用“西南-贵阳一”Region上的Lite k8s Cluster和昇腾Snt9B资源。 本文档中的CCE集群版本选择v1.27~1.28。版本使用的容器引擎为Containerd。 推理部署使用的服务框架是vLLM。vLLM支持v0.6.0版本。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
