AI开发平台ModelArts-准备镜像:步骤三启动容器镜像

时间：2025-02-12 15:14:13

AI开发平台ModelArts

步骤三启动容器镜像

启动容器镜像前请先按照参数说明修改${}中的参数。可以根据实际需要增加修改参数。启动容器命令如下。
```
export work_dir="自定义挂载的工作目录"     #容器内挂载的目录，例如/home/ma-user/wsexport container_work_dir="自定义挂载到容器内的工作目录"export container_name="自定义容器名称"export image_name="镜像名称"docker run -itd \    --device=/dev/davinci0 \    --device=/dev/davinci1 \    --device=/dev/davinci2 \    --device=/dev/davinci3 \    --device=/dev/davinci4 \    --device=/dev/davinci5 \    --device=/dev/davinci6 \    --device=/dev/davinci7 \    --device=/dev/davinci_manager \    --device=/dev/devmm_svm \    --device=/dev/hisi_hdc \    -v /usr/local/sbin/npu-smi:/usr/local/sbin/npu-smi \    -v /usr/local/dcmi:/usr/local/dcmi \    -v /usr/local/Ascend/driver:/usr/local/Ascend/driver \    --cpus 192 \    --memory 1000g \    --shm-size 200g \    --net=host \    -v ${work_dir}:${container_work_dir} \    --name ${container_name} \    $image_name \    /bin/bash
```
参数说明：
- --name ${container_name} 容器名称，进入容器时会用到，此处可以自己定义一个容器名称，例如ascendspeed。
- -v ${work_dir}:${container_work_dir} 代表需要在容器中挂载宿主机的目录。宿主机和容器使用不同的文件系统。work_dir为宿主机中工作目录，目录下存放着训练所需代码、数据等文件。container_work_dir为要挂载到的容器中的目录。为方便两个地址可以相同。
  - 容器不能挂载/home/ma-user目录，此目录为ma-user用户家目录。
  - driver及npu-smi需同时挂载至容器。
  - 不要将多个容器绑到同一个NPU上，会导致后续的容器无法正常使用NPU功能。
- ${image_name} 为docker镜像的ID，在宿主机上可通过docker images查询得到。
- --shm-size：表示共享内存，用于多进程间通信。由于需要转换较大内存的模型文件，因此大小要求200g及以上。
通过容器名称进入容器中。启动容器时默认用户为ma-user用户。
```
docker exec -it ${container_name} bash
```

上传代码和数据到宿主机时使用的是root用户，此处需要执行如下命令统一文件属主为ma-user用户。

#统一文件属主为ma-user用户sudo chown -R ma-user:ma-group  ${container_work_dir}# ${container_work_dir}:/home/ma-user/ws 容器内挂载的目录#例如：sudo chown -R ma-user:ma-group  /home/ma-user/ws

使用ma-user用户安装依赖包。
```
#进入scripts目录换cd /home/ma-user/ws/llm_train/AscendSpeed#执行安装命令sh scripts/install.sh
```
- 在执行scripts/install.sh安装命令时，需要确认机器是否已连通网络。若无法连通网络，可使用离线安装的方式，具体参考离线训练安装包准备说明。
- 若要对ChatCLMv3、GLMv4系列模型进行训练时，需要修改 install.sh 脚本中的 transformers 的版本。由默认 transformers==4.45.0 修改为：transformers==4.44.2
- 为了避免因使用不同版本的transformers库进行训练和推理而导致冲突的问题，建议用户分别为训练和推理过程创建独立的容器环境。
通过运行install.sh脚本，还会git clone下载Megatron-LM、MindSpeed、ModelLink源码（install.sh中会自动下载配套版本，如果手动下载源码还需修改版本）至llm_train/AscendSpeed文件夹中。下载的源码文件结构如下：
```
AscendSpeed/    |──ascendcloud_patch/   # 针对昇腾云平台适配的功能补丁包    |──scripts/             # 训练需要的启动脚本    |——src/                 # 启动命令行封装脚本，在install.sh里面自动构建    |──Megatron-LM/         # 适配昇腾的Megatron-LM训练框架    |──MindSpeed/           # MindSpeed昇腾大模型加速库    |──ModelLink/           # ModelLink端到端的大语言模型方案          |——megatron/      # 注意：该文件夹从Megatron-LM中复制得到          |——...
```
如果git下载代码时报错，请参见Git下载代码时报错解决。