AI开发平台MODELARTS-准备镜像:Step2 获取推理镜像

时间:2025-01-03 09:38:58

Step2 获取推理镜像

建议使用官方提供的镜像部署推理服务。镜像地址{image_url}获取请参见表1

containerd 容器引擎有命名空间的概念。Kubernetes 下使用的 containerd 默认命名空间是 k8s.io。所以在导入镜像时需要指定命令空间为 k8s.io,否则使用 crictl images 无法查询到。以下命令可选其一进行镜像拉取:

  • 使用 containerd 自带的工具 ctr 进行镜像拉取。
    ctr -n k8s.io images pull {image_url}
  • 使用 nerdctl 工具进行镜像拉取。
    nerdctl --namespace k8s.io pull {image_url}

注意:集群有多个节点,要确保每个节点都拥有镜像。

镜像获取完成后可通过如下其中一个命令进行查看:
# ctr 工具查看
ctr -n k8s.io image list
# 或
crictl image

# nerdctl 工具查看
nerdctl --namespace k8s.io image list
support.huaweicloud.com/bestpractice-modelarts/modelarts_llm_infer_91025.html