AI开发平台MODELARTS-DeepSeek蒸馏版模型基于ModelArts Lite Server适配vLLM的推理部署指导:软件配套版本

时间:2025-03-12 09:40:18

软件配套版本

本方案支持的软件配套版本和依赖包获取地址如表4所示。

表4 软件配套版本和获取地址

软件名称

说明

下载地址

AscendCloud-6.5.912-xxx.zip

说明:

软件包名称中的xxx表示时间戳。

包含了本教程中使用到的推理部署代码和推理评测代码、推理依赖的算子包。

获取路径:Support-E,在此路径中查找下载ModelArts 6.5.912版本。

说明:

如果上述软件获取路径打开后未显示相应的软件信息,说明您没有下载权限,请联系您所在企业的华为方技术支持下载获取。

support.huaweicloud.com/bestpractice-modelarts/modelarts_ds_infer_5901001.html