检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如果只是查看监控，给子账号授予CES ReadOnlyAccess权限即可。 如果还需要在CES上设置监控告警，则需要再加上CES FullAccess权限，以及SMN消息通知权限。 （可选）配置VPC权限。
版本要求是CCE Turbo v1.25及以上 软件包获取地址 软件包名称 软件包说明 获取地址 AscendCloud-6.3.906-xxx.zip 包含 三方大模型训练和推理代码包：AscendCloud-LLM AIGC代码包：AscendCloud-AIGC 算子依赖包
OBS OperateAccess 必选 SWR容器镜像仓库 授予子用户使用SWR服务权限。ModelArts的自定义镜像功能依赖镜像服务SWR FullAccess权限。
opencompass脚本 ├──vllm_api.py #启动vllm api服务器 ├──vllm.py #构造vllm评测配置脚本名字 相关文档 和本文档配套的模型训练文档请参考《主流开源大模型基于Lite Cluster
SWR的权限有SWR FullAccess、SWR OperateAccess、SWR ReadOnlyAccess。但SWR FullAccess、SWR OperateAccess、SWR ReadOnlyAccess仅限容器镜像服务企业版使用，目前企业版已暂停公测。
opencompass脚本 ├──vllm_api.py #启动vllm api服务器 ├──vllm.py #构造vllm评测配置脚本名字 相关文档 和本文档配套的模型训练文档请参考《主流开源大模型基于Lite Cluster
Model imported successfully. - 正常 模型文件导入成功。 Model file imported successfully. - 正常 模型大小计算完成。
Cluster运行的，需要购买并开通k8s Cluster资源。
DELETE https://endpoint/v1/{project_id}/training-jobs/10 响应示例 成功响应示例 { "is_success": true } 失败响应示例 { "is_success": false, "error_message
DELETE https://endpoint/v1/{project_id}/training-job-configs/test-trainconfig 响应示例 成功响应示例 { "is_success": true } 失败响应示例 { "is_success
资源规格推荐使用“西南-贵阳一”Region上的Lite k8s Cluster和昇腾Snt9B资源。 本文档中的CCE集群版本选择v1.27~1.28。版本使用的容器引擎为Containerd。 推理部署使用的服务框架是vLLM。vLLM支持v0.6.0版本。
具体操作如下： 开始之前，请确保安装了以下库： pip install auto-gptq pip install --upgrade accelerate optimum transformers 设置GPTQConfig的参数，并且创建一个数据集用于校准量化的权重，以及一个tokenizer
具体操作如下： 开始之前，请确保安装了以下库： pip install auto-gptq pip install --upgrade accelerate optimum transformers 设置GPTQConfig的参数，并且创建一个数据集用于校准量化的权重，以及一个tokenizer
} 失败响应示例 { "is_success": false, "error_message": "Illegal name: %%123", "error_code": "ModelArts.0104" } 状态码 状态码请参见表1。
POST https://endpoint/v1/{project_id}/visualization-jobs/10/restart 响应示例 成功响应示例 { "is_success": true } 失败响应示例 { "is_success": false
POST https://endpoint/v1/{project_id}/training-jobs/10/versions/10/stop 响应示例 成功响应示例 { "is_success": true } 失败响应示例 { "is_success": false
POST https://endpoint/v1/{project_id}/visualization-jobs/10/stop 响应示例 成功响应示例 { "is_success": true } 失败响应示例 { "is_success": false,
请求示例 DELETE https://endpoint/v1/{project_id}/training-jobs/10/versions/10 响应示例 成功响应示例 { "is_success": true } 失败响应示例 { "is_success"
失败响应示例 { "is_success": false, "error_message": "Error string", "error_code": "ModelArts.0105" } 状态码 状态码请参见状态码。
DELETE https://endpoint/v1/{project_id}/visualization-jobs/10 响应示例 成功响应示例 { "is_success": true } 失败响应示例 { "is_success": false, "error_message
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
