AI开发平台MODELARTS-准备镜像:Step3 启动容器镜像
Step3 启动容器镜像
启动容器镜像前请先按照参数说明修改${}中的参数。可以根据实际需要增加修改参数。启动容器命令如下。
container_work_dir="/home/ma-user/ws" # 容器内挂载的目录 work_dir="/home/ma-user/ws" # 宿主机挂载目录,存放了代码、数据、权重 container_name="ascendspeed" # 启动的容器名称 image_name="${container_name} " # 启动的镜像ID docker run -itd \ --device=/dev/davinci0 \ --device=/dev/davinci1 \ --device=/dev/davinci2 \ --device=/dev/davinci3 \ --device=/dev/davinci4 \ --device=/dev/davinci5 \ --device=/dev/davinci6 \ --device=/dev/davinci7 \ --device=/dev/davinci_manager \ --device=/dev/devmm_svm \ --device=/dev/hisi_hdc \ -v /usr/local/sbin/npu-smi:/usr/local/sbin/npu-smi \ -v /usr/local/dcmi:/usr/local/dcmi \ -v /usr/local/Ascend/driver:/usr/local/Ascend/driver \ --cpus 192 \ --memory 1000g \ --shm-size 32g \ --net=host \ -v ${work_dir}:${container_work_dir} \ --name ${container_name} \ $image_name \ /bin/bash
参数说明:
- --name ${container_name} 容器名称,进入容器时会用到,此处可以自己定义一个容器名称,例如ascendspeed。
- -v ${work_dir}:${container_work_dir} 代表需要在容器中挂载宿主机的目录。宿主机和容器使用不同的文件系统。work_dir为宿主机中工作目录,目录下存放着训练所需代码、数据等文件。container_work_dir为要挂载到的容器中的目录。为方便两个地址可以相同。
- ${image_name} 为docker镜像的ID,在宿主机上可通过docker images查询得到。
docker exec -it ${container_name} bash #配置镜像源,例如配置清华源 pip install -i https://pypi.tuna.tsinghua.edu.cn/simple pybind11==2.11.1 #安装三方依赖库 pip install -e git+https://gitee.com/ascend/DeepSpeed.git@v0.9.2#egg=deepspeed_npu #安装其他依赖库 #进入scripts目录并安装 requirements.txt文件的依赖库。 cd /home/ma-user/ws/6.3.902-Ascend/llm_train/AscendSpeed/scripts pip install requirements.txt
执行如下命令统一文件属组。启动容器时默认用户为ma-user用户,使用其他属组如root用户上传的数据和文件等,可能会存在权限不足的问题,因此需要执行如下命令统一文件属主。
sudo chown -R ma-user:ma-group ${container_work_dir}
# ${container_work_dir}:/home/ma-user/ws 容器内挂载的目录
例如:
sudo chown -R ma-user:ma-group /home/ma-user/ws