AI开发平台MODELARTS-准备镜像:Step3 启动容器镜像

时间：2024-11-15 09:44:20

AI开发平台MODELARTS 准备工作

Step3 启动容器镜像

启动容器镜像前请先按照参数说明修改${}中的参数。可以根据实际需要增加修改参数。启动容器命令如下。
```
export work_dir="自定义挂载的工作目录"     #容器内挂载的目录，例如/home/ma-user/ws
export container_work_dir="自定义挂载到容器内的工作目录"
export container_name="自定义容器名称"
export image_name="镜像名称"
docker run -itd \
    --device=/dev/davinci0 \
    --device=/dev/davinci1 \
    --device=/dev/davinci2 \
    --device=/dev/davinci3 \
    --device=/dev/davinci4 \
    --device=/dev/davinci5 \
    --device=/dev/davinci6 \
    --device=/dev/davinci7 \
    --device=/dev/davinci_manager \
    --device=/dev/devmm_svm \
    --device=/dev/hisi_hdc \
    -v /usr/local/sbin/npu-smi:/usr/local/sbin/npu-smi \
    -v /usr/local/dcmi:/usr/local/dcmi \
    -v /usr/local/Ascend/driver:/usr/local/Ascend/driver \
    --cpus 192 \
    --memory 1000g \
    --shm-size 200g \
    --net=host \
    -v ${work_dir}:${container_work_dir} \
    --name ${container_name} \
    $image_name \
    /bin/bash
```
参数说明：
- --name ${container_name} 容器名称，进入容器时会用到，此处可以自己定义一个容器名称，例如ascendspeed。
- -v ${work_dir}:${container_work_dir} 代表需要在容器中挂载宿主机的目录。宿主机和容器使用不同的文件系统。work_dir为宿主机中工作目录，目录下存放着训练所需代码、数据等文件。container_work_dir为要挂载到的容器中的目录。为方便两个地址可以相同。
  - 容器不能挂载/home/ma-user目录，此目录为ma-user用户家目录。
  - driver及npu-smi需同时挂载至容器。
  - 不要将多个容器绑到同一个NPU上，会导致后续的容器无法正常使用NPU功能。
- ${image_name} 为docker镜像的ID，在宿主机上可通过docker images查询得到。
- --shm-size：表示共享内存，用于多进程间通信。由于需要转换较大内存的模型文件，因此大小要求200g及以上。
通过容器名称进入容器中。启动容器时默认用户为ma-user用户。
```
docker exec -it ${container_name} bash
```

上传代码和数据到宿主机时使用的是root用户，此处需要执行如下命令统一文件属主为ma-user用户。

#统一文件属主为ma-user用户
sudo chown -R ma-user:ma-group  ${container_work_dir}
# ${container_work_dir}:/home/ma-user/ws 容器内挂载的目录
#例如：sudo chown -R ma-user:ma-group  /home/ma-user/ws

使用ma-user用户安装依赖包。
```
#进入scripts目录换
cd /home/ma-user/ws/llm_train/AscendSpeed
#执行安装命令
sh scripts/install.sh
```
- 为了避免因使用不同版本的 transformers 库进行训练和推理而导致冲突的问题，建议用户分别为训练和推理过程创建独立的容器环境。

通过运行install.sh脚本，还会git clone下载Megatron-LM、MindSpeed、ModelLink源码（install.sh中会自动下载配套版本，如果手动下载源码还需修改版本）至llm_train/AscendSpeed文件夹中。下载的源码文件结构如下：

|——AscendCloud-LLM
    |──llm_train                 # 模型训练代码包
          |──AscendSpeed         # 基于AscendSpeed的训练代码
                 |──ascendcloud_patch/   # 针对昇腾云平台适配的功能补丁包
                 |──scripts/             # 训练需要的启动脚本
                 |——src/                 # 启动命令行封装脚本，在install.sh里面自动构建
          |──Megatron-LM/         # 适配昇腾的Megatron-LM训练框架
          |──MindSpeed/           # MindSpeed昇腾大模型加速库
          |──ModelLink/           # ModelLink端到端的大语言模型方案
                 |——megatron/     # 注意：该文件夹从Megatron-LM中复制得到
                 |——...

上一篇：AI开发平台MODELARTS-准备镜像:镜像地址

下一篇：AI开发平台MODELARTS-准备镜像:Step1 检查环境