AI开发平台MODELARTS-训练作业日志中提示“No such file or directory”:检查报错的路径是否为OBS路径

时间：2024-11-22 17:40:42

AI开发平台MODELARTS

检查报错的路径是否为OBS路径

使用ModelArts时，用户数据需要存放在自己OBS桶中，但是训练代码运行过程中不能使用OBS路径读取数据。

原因：

训练作业创建成功后，由于在运行容器直连OBS服务进行训练性能很差，系统会自动下载训练数据至运行容器的本地路径。所以，在训练代码中直接使用OBS路径会报错。例如训练代码的OBS路径为obs://bucket-A/training/，训练代码会被自动下载至${MA_JOB_DIR}/training/。

假设训练代码的OBS目录为obs://bucket-A/XXX/{training-project}/，“{training-project}”是存放训练代码的文件夹名称。训练时会自动下载OBS中{training-project}目录下的数据到训练容器的本地路径$MA_JOB_DIR/{training-project}/。

如果报错路径为训练数据路径，需要在以下两个地方完成适配，具体适配方法请参考自定义算法适配章节的输入输出配置部分：

上一篇：AI开发平台MODELARTS-训练作业日志中提示“No such file or directory”:使用自定义镜像创建训练作业时，检查启动文件路径

下一篇：AI开发平台MODELARTS-训练作业日志中提示“No such file or directory”:使用自定义镜像创建训练作业时，检查启动文件路径