检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
opencompass脚本 ├──vllm_api.py #启动vllm api服务器 ├──vllm.py #构造vllm评测配置脚本名字 相关文档 和本文档配套的模型训练文档请参考《主流开源大模型基于Lite Cluster
POST https://endpoint/v1/{project_id}/training-jobs/10/versions/10/stop 响应示例 成功响应示例 { "is_success": true } 失败响应示例 { "is_success": false
POST https://endpoint/v1/{project_id}/visualization-jobs/10/stop 响应示例 成功响应示例 { "is_success": true } 失败响应示例 { "is_success": false,
OBS OperateAccess 必选 SWR容器镜像仓库 授予子用户使用SWR服务权限。ModelArts的自定义镜像功能依赖镜像服务SWR FullAccess权限。
SWR的权限有SWR FullAccess、SWR OperateAccess、SWR ReadOnlyAccess。但SWR FullAccess、SWR OperateAccess、SWR ReadOnlyAccess仅限容器镜像服务企业版使用，目前企业版已暂停公测。
opencompass脚本 ├──vllm_api.py #启动vllm api服务器 ├──vllm.py #构造vllm评测配置脚本名字 相关文档 和本文档配套的模型训练文档请参考《主流开源大模型基于Lite Cluster
Cluster运行的，需要购买并开通k8s Cluster资源。
Cluster运行的，需要购买并开通k8s Cluster资源。
具体操作如下： 开始之前，请确保安装了以下库： pip install auto-gptq pip install --upgrade accelerate optimum transformers 设置GPTQConfig的参数，并且创建一个数据集用于校准量化的权重，以及一个tokenizer
具体操作如下： 开始之前，请确保安装了以下库： pip install auto-gptq pip install --upgrade accelerate optimum transformers 设置GPTQConfig的参数，并且创建一个数据集用于校准量化的权重，以及一个tokenizer
表5 响应参数 参数 参数类型 说明 is_success Boolean 请求是否成功。 error_message String 调用失败时的错误信息。 调用成功时无此字段。 error_code String 调用失败时的错误码，具体请参见错误码。 调用成功时无此字段。
打开名称为“credentials.csv”的文件，即可查看访问密钥（Access Key Id和Secret Access Key）。 父主题： 权限相关
Cluster运行的，需要购买并开通k8s Cluster资源。
请求示例 DELETE https://endpoint/v1/{project_id}/training-jobs/10/versions/10 响应示例 成功响应示例 { "is_success": true } 失败响应示例 { "is_success"
失败响应示例 { "is_success": false, "error_message": "Error string", "error_code": "ModelArts.0105" } 状态码 状态码请参见状态码。
DELETE https://endpoint/v1/{project_id}/visualization-jobs/10 响应示例 成功响应示例 { "is_success": true } 失败响应示例 { "is_success": false, "error_message
资源规格推荐使用“西南-贵阳一”Region上的Lite k8s Cluster和昇腾Snt9B资源。 本文档中的CCE集群版本选择v1.27~1.28。版本使用的容器引擎为Containerd。 推理部署使用的服务框架是vLLM。vLLM支持v0.6.0版本。
如果用到CCE，版本要求是CCE Turbo v1.28及以上 300iDUO PyTorch： swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_2_1_ascend:pytorch_2.1.0-cann_8.0.rc3-
} 失败响应示例 { "is_success": false, "error_message": "Illegal name: %%123", "error_code": "ModelArts.0104" } 状态码 状态码请参见表1。
POST https://endpoint/v1/{project_id}/visualization-jobs/10/restart 响应示例 成功响应示例 { "is_success": true } 失败响应示例 { "is_success": false
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
