AI开发平台MODELARTS-推理服务部署:Step3 启动容器镜像

时间：2024-04-30 18:09:29

AI开发平台MODELARTS 推理部署（ATB）

Step3 启动容器镜像

启动容器镜像前请先按照参数说明修改${}中的参数。

docker run -itd \
-p 8085:8085 \
--device=/dev/davinci0 \
--device=/dev/davinci1 \
--device=/dev/davinci2 \
--device=/dev/davinci3 \
--device=/dev/davinci4 \
--device=/dev/davinci5 \
--device=/dev/davinci6 \
--device=/dev/davinci7 \
-v /etc/localtime:/etc/localtime  \
-v /usr/local/Ascend/driver:/usr/local/Ascend/driver \
-v /etc/ascend_install.info:/etc/ascend_install.info \
--device=/dev/davinci_manager \
--device=/dev/devmm_svm \
--device=/dev/hisi_hdc \
-v /var/log/npu/:/usr/slog \
-v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
-v /sys/fs/cgroup:/sys/fs/cgroup:ro \
-v ${dir}:${container_dir} \
--name ${container_name} \
${image_id} \
/bin/bash

参数说明：

-e ASCEND_VISIBLE_DEVI CES =0-7，挂载机器上的0-7卡。
-p 8085:8085代表需要在宿主机和容器中绑定的端口。示例中，http server使用了8085端口，根据实际需要修改。
-v ${dir}:${container_dir} 代表需要在容器中挂载宿主机的目录。宿主机和容器使用不同大的文件系统，dir为宿主机中权重文件目录，container_dir为要挂载到的容器中的目录。为方便两个地址可以相同。请确保在容器中有weight_dir的权限。可以在宿主机中执行chmod 777 -R ${weight_dir}来放开权限
--name ${container_name} 容器名称，进入容器时会用到
{image_id} 为docker镜像的id，在宿主机上可通过docker images查询得到。

上一篇：AI开发平台MODELARTS-推理服务部署:Step1 检查环境

下一篇：AI开发平台MODELARTS-推理服务部署:Step5 启动推理服务