AI开发平台MODELARTS-DeepSeek蒸馏版模型基于ModelArts Lite Server适配vLLM的推理部署指导:镜像版本

时间:2025-03-12 09:40:18

镜像版本

本方案中用到的基础镜像地址和配套版本关系如下表所示,请提前了解。

表3 基础容器镜像地址

镜像用途

镜像地址

配套版本

基础镜像

swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_2_1_ascend:pytorch_2.1.0-cann_8.0.rc3-py_3.9-hce_2.0.2409-aarch64-snt9b-20241112192643-c45ac6b

cann_8.0.rc3

support.huaweicloud.com/bestpractice-modelarts/modelarts_ds_infer_5901001.html