AI开发平台MODELARTS-推理服务部署:Step3 启动容器镜像

时间:2024-04-30 18:09:29

Step3 启动容器镜像

启动容器镜像前请先按照参数说明修改${}中的参数。

docker run -itd \
-p 8085:8085 \
--device=/dev/davinci0 \
--device=/dev/davinci1 \
--device=/dev/davinci2 \
--device=/dev/davinci3 \
--device=/dev/davinci4 \
--device=/dev/davinci5 \
--device=/dev/davinci6 \
--device=/dev/davinci7 \
-v /etc/localtime:/etc/localtime  \
-v /usr/local/Ascend/driver:/usr/local/Ascend/driver \
-v /etc/ascend_install.info:/etc/ascend_install.info \
--device=/dev/davinci_manager \
--device=/dev/devmm_svm \
--device=/dev/hisi_hdc \
-v /var/log/npu/:/usr/slog \
-v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
-v /sys/fs/cgroup:/sys/fs/cgroup:ro \
-v ${dir}:${container_dir} \
--name ${container_name} \
${image_id} \
/bin/bash

参数说明:

  • -e ASCEND_VISIBLE_DEVI CES =0-7,挂载机器上的0-7卡。
  • -p 8085:8085代表需要在宿主机和容器中绑定的端口。示例中,http server使用了8085端口,根据实际需要修改。
  • -v ${dir}:${container_dir} 代表需要在容器中挂载宿主机的目录。宿主机和容器使用不同大的文件系统,dir为宿主机中权重文件目录,container_dir为要挂载到的容器中的目录。为方便两个地址可以相同。请确保在容器中有weight_dir的权限。可以在宿主机中执行chmod 777 -R ${weight_dir}来放开权限
  • --name ${container_name} 容器名称,进入容器时会用到
  • {image_id} 为docker镜像的id,在宿主机上可通过docker images查询得到。
support.huaweicloud.com/bestpractice-modelarts/modelarts_10_1571.html