AI开发平台MODELARTS-DeepSeek蒸馏版模型基于ModelArts Lite Server适配vLLM的推理部署指导:镜像版本
镜像版本
本方案中用到的基础镜像地址和配套版本关系如下表所示,请提前了解。
镜像用途 |
镜像地址 |
配套版本 |
---|---|---|
基础镜像 |
swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_2_1_ascend:pytorch_2.1.0-cann_8.0.rc3-py_3.9-hce_2.0.2409-aarch64-snt9b-20241112192643-c45ac6b |
cann_8.0.rc3 |