AI开发平台MODELARTS-DeepSeek蒸馏版模型基于ModelArts Lite Server适配vLLM的推理部署指导:软件配套版本
软件配套版本
本方案支持的软件配套版本和依赖包获取地址如表4所示。
软件名称 |
说明 |
下载地址 |
---|---|---|
AscendCloud-6.5.912-xxx.zip
说明:
软件包名称中的xxx表示时间戳。 |
包含了本教程中使用到的推理部署代码和推理评测代码、推理依赖的算子包。 |
获取路径:Support-E,在此路径中查找下载ModelArts 6.5.912版本。
说明:
如果上述软件获取路径打开后未显示相应的软件信息,说明您没有下载权限,请联系您所在企业的华为方技术支持下载获取。 |