AI开发平台MODELARTS-创建算法:设置算法启动方式（预置框架+自定义）

时间：2024-10-15 14:28:15

AI开发平台MODELARTS 使用ModelArts Standard训练模型

选择“预置框架”+“自定义”镜像创建算法。

图2 使用预置框架+ 自定义镜像创建算法

用户需根据实际算法代码情况设置“镜像”、“代码目录”和“启动文件”。选择的AI镜像和编写算法代码时选择的框架必须一致。例如编写算法代码使用的是TensorFlow，则在创建算法时也要选择TensorFlow镜像。

表2 启动方式参数说明
参数	说明
“启动方式”	选择“预置框架”。预置框架的引擎版本选择“自定义”。
“镜像”	用户制作的镜像需要提前上传到SWR，才可以在这里选择。制作镜像的方式请参见训练作业的自定义镜像制作流程。
“代码目录”	算法代码存储的OBS路径。训练代码、依赖安装包或者预生成模型等训练所需文件上传至该代码目录下。请注意不要将训练数据放在代码目录路径下。训练数据比较大，训练代码目录在训练作业启动后会下载至后台，可能会有下载失败的风险。训练作业启动时，ModelArts会将训练代码目录及其子目录下载至训练后台容器中。例如：OBS路径“obs://obs-bucket/training-test/demo-code”作为代码目录，OBS路径下的内容会被自动下载至训练容器的“${MA_JOB_DIR}/demo-code”目录中，demo-code为OBS存放代码路径的最后一级目录，用户可以根据实际修改。说明：训练代码编程语言不限。训练启动文件必须为Python语言。文件数（含文件、文件夹数量）小于或等于1000个。文件总大小要小于或等于5GB。文件深度要小于或等于32
“启动文件”	必须为“代码目录”下的文件，且以“.py”结尾，即ModelArts目前只支持使用Python语言编写的启动文件。代码目录路径中的启动文件为训练启动的入口。

选择预置框架+自定义时，该功能的后台行为与直接基于预置框架运行训练作业相同，例如：

系统将会自动注入一系列环境变量
- PATH=${MA_HOME}/anaconda/bin:${PATH}
- LD_LIBRARY_PATH=${MA_HOME}/anaconda/lib:${LD_LIBRARY_PATH}
- PYTHONPATH=${MA_JOB_DIR}:${PYTHONPATH}
您选择的启动文件将会被系统自动以python命令直接启动，因此请确保镜像中的Python命令为您预期的Python环境。注意到系统自动注入的PATH环境变量，您可以参考下述命令确认训练作业最终使用的Python版本：
- export MA_HOME=/home/ma-user; docker run --rm {image} ${MA_HOME}/anaconda/bin/python -V
- docker run --rm {image} $(which python) -V
系统将会自动添加预置框架关联的超参