AI开发平台MODELARTS-训练管理中使用自定义镜像介绍:使用预置框架 + 自定义镜像

时间:2024-07-31 11:23:58

使用预置框架 + 自定义镜像

此功能与直接基于预置框架创建训练作业的区别仅在于,镜像是由用户自行选择的。用户可以基于预置框架制作自定义镜像。基于预置框架制作自定义镜像可参考使用基础镜像构建新的训练镜像章节。

图1 使用预置框架+自定义镜像创建算法

该功能的行为与直接基于预置框架创建的训练作业相同,例如:

  • 系统将会自动注入一系列环境变量
    • PATH=${MA_HOME}/anaconda/bin:${PATH}
    • LD_LIBRARY_PATH=${MA_HOME}/anaconda/lib:${LD_LIBRARY_PATH}
    • PYTHONPATH=${MA_JOB_DIR}:${PYTHONPATH}
  • 您选择的启动文件将会被系统自动以python命令直接启动,因此请确保镜像中的Python命令为您预期的Python环境。注意到系统自动注入的PATH环境变量,您可以参考下述命令确认训练作业最终使用的Python版本:
    • export MA_HOME=/home/ma-user; docker run --rm {image} ${MA_HOME}/anaconda/bin/python -V
    • docker run --rm {image} $(which python) -V
  • 系统将会自动添加预置框架关联的超参
support.huaweicloud.com/docker-modelarts/develop-modelarts-0077.html