AI开发平台MODELARTS-准备镜像:Step3 启动容器镜像

时间:2024-04-30 18:09:30

Step3 启动容器镜像

  1. 启动容器镜像前请先按照参数说明修改${}中的参数。可以根据实际需要增加修改参数。启动容器命令如下。
    container_work_dir="/home/ma-user/ws"   # 容器内挂载的目录
    work_dir="/home/ma-user/ws"                   # 宿主机挂载目录,存放了代码、数据、权重
    container_name="ascendspeed"            # 启动的容器名称
    image_name="${container_name} "         # 启动的镜像ID
    docker run -itd \
        --device=/dev/davinci0 \
        --device=/dev/davinci1 \
        --device=/dev/davinci2 \
        --device=/dev/davinci3 \
        --device=/dev/davinci4 \
        --device=/dev/davinci5 \
        --device=/dev/davinci6 \
        --device=/dev/davinci7 \
        --device=/dev/davinci_manager \
        --device=/dev/devmm_svm \
        --device=/dev/hisi_hdc \
        -v /usr/local/sbin/npu-smi:/usr/local/sbin/npu-smi \
        -v /usr/local/dcmi:/usr/local/dcmi \
        -v /usr/local/Ascend/driver:/usr/local/Ascend/driver \
        --cpus 192 \
        --memory 1000g \
        --shm-size 200g \
        --net=host \
        -v ${work_dir}:${container_work_dir} \
        --name ${container_name} \
        $image_name \
        /bin/bash

    参数说明:

    • --name ${container_name} 容器名称,进入容器时会用到,此处可以自己定义一个容器名称,例如ascendspeed。
    • -v ${work_dir}:${container_work_dir} 代表需要在容器中挂载宿主机的目录。宿主机和容器使用不同的文件系统。work_dir为宿主机中工作目录,目录下存放着训练所需代码、数据等文件。container_work_dir为要挂载到的容器中的目录。为方便两个地址可以相同。
      • 容器不能挂载/home/ma-user目录,此目录为ma-user用户家目录。
      • driver及npu-smi需同时挂载至容器。
    • ${image_name} 为docker镜像的ID,在宿主机上可通过docker images查询得到。
  2. 通过容器名称进入容器中。
    docker exec -it ${container_name} bash

    启动容器时默认用户为ma-user用户。如果需要切换到root用户可以执行以下命令:

    sudo su
    source /home/ma-user/.bashrc

    如果继续使用ma-user,在使用其他属组如root用户上传的数据和文件时,可能会存在权限不足的问题,因此需要执行如下命令统一文件属主。

    sudo chown -R ma-user:ma-group  ${container_work_dir}   
    # ${container_work_dir}:/home/ma-user/ws 容器内挂载的目录
    例如:
    sudo chown -R ma-user:ma-group  /home/ma-user/ws
  3. 安装依赖包。
    #进入scripts目录,xxx为包版本,请按照实际情况替换
    cd /home/ma-user/ws/xxx-Ascend/llm_train/AscendSpeed/scripts
    #执行安装命令
    pip install -r requirements.txt
support.huaweicloud.com/bestpractice-modelarts/modelarts_10_1605.html