AI开发平台MODELARTS-使用基础镜像构建新的训练镜像:基于训练基础镜像构建新镜像的操作步骤

时间:2024-04-30 17:31:41

基于训练基础镜像构建新镜像的操作步骤

您可以参考如下步骤基于训练基础镜像来构建新镜像。

  1. 安装Docker。如果docker images命令可以执行成功,表示Docker已安装,此步骤可跳过。

    以linux x86_64架构的操作系统为例,获取Docker安装包。您可以使用以下指令安装Docker。

    curl -fsSL get.docker.com -o get-docker.sh
    sh get-docker.sh
  2. 准备名为context的文件夹。
    mkdir -p context
  3. 准备可用的pip源文件pip.conf 。本示例使用华为开源镜像站提供的pip源,其pip.conf文件内容如下。
    [global]
    index-url = https://repo.huaweicloud.com/repository/pypi/simple
    trusted-host = repo.huaweicloud.com
    timeout = 120

    在华为开源镜像站https://mirrors.huaweicloud.com/home中,搜索pypi,可以查看pip.conf文件内容。

  4. 参考如下Dockerfile文件内容来基于ModelArts提供的训练基础镜像来构建一个新镜像。将编写好的Dockerfile文件放置在context文件夹内。训练基础镜像地址请参见训练基础镜像列表
    FROM {ModelArts提供的训练基础镜像地址}
    
    # 配置pip
    RUN mkdir -p /home/ma-user/.pip/
    COPY --chown=ma-user:ma-group pip.conf /home/ma-user/.pip/pip.conf
    
    # 设置容器镜像预置环境变量
    # 将python解释器路径加入到PATH环境变量中
    # 请务必设置PYTHONUNBUFFERED=1, 以免日志丢失
    ENV PATH=${ANACONDA_DIR}/envs/${ENV_NAME}/bin:$PATH \
        PYTHONUNBUFFERED=1
    
    RUN /home/ma-user/anaconda/bin/pip install --no-cache-dir numpy
  5. 构建新镜像。在Dockerfile文件所在的目录执行如下命令构建容器镜像training:v1。
    docker build . -t training:v1
  6. 将构建好的新镜像上传至SWR(参考如何登录并上传镜像到SWR)。
  7. 参考使用 自定义镜像 创建训练作业(CPU/GPU)章节在ModelArts上使用。
support.huaweicloud.com/docker-modelarts/docker-modelarts_0118.html