AI开发平台MODELARTS-使用预置镜像制作自定义镜像用于训练模型:使用预置框架构建自定义镜像原理介绍

时间:2025-03-04 20:53:09

使用预置框架构建 自定义镜像 原理介绍

如果先前基于预置框架且通过指定代码目录和启动文件的方式来创建的训练作业;但是随着业务逻辑的逐渐复杂,您期望可以基于预置框架修改或增加一些软件依赖的时候,可以使用预置框架构建自定义镜像,即在创建训练作业页面选择预置框架名称后,在预置框架版本下拉列表中选择“自定义”。

该方式的训练流程与直接基于预置框架创建的训练作业相同,例如:

  • 系统会自动注入一系列环境变量,如下所示。
    • PATH=${MA_HOME}/anaconda/bin:${PATH}
    • LD_LIBRARY_PATH=${MA_HOME}/anaconda/lib:${LD_LIBRARY_PATH}
    • PYTHONPATH=${MA_JOB_DIR}:${PYTHONPATH}
  • 选择的启动文件将会被系统自动以python命令直接启动,因此请确保镜像中的Python命令为您预期的Python环境。通过系统自动注入的PATH环境变量,可以参考下述命令确认训练作业最终使用的Python版本。
    • export MA_HOME=/home/ma-user; docker run --rm {image} ${MA_HOME}/anaconda/bin/python -V
    • docker run --rm {image} $(which python) -V
  • 系统会自动添加预置框架关联的超参。
support.huaweicloud.com/usermanual-standard-modelarts/docker-modelarts_0118.html