华为云首页用户手册

AI开发平台MODELARTS-训练作业运行失败排查指导:原因分析及处理方法

AI开发平台MODELARTS-训练作业运行失败排查指导:原因分析及处理方法

时间：2024-11-22 17:40:43

AI开发平台MODELARTS

原因分析及处理方法

查看训练作业的“日志”，出现报错“MoxFileNotExistsException(resp, 'file or directory or bucket not found.')”。
- 原因：Moxing在进行文件复制时，未找到train_data_obs目录。
- 处理建议：修改train_data_obs目录为正确地址，重新启动训练作业。
  
  另外在Moxing下载OBS对象过程中，不要删除相应OBS目录下的对象，否则Moxing在下载到被删除的对象时会下载失败。
查看训练作业的“日志”，出现报错“CUDA capability sm_80 is not compatible with the current PyTorch installation.The current PyTorch install supports CUDA capabilities sm_37 sm_50 sm_60 sm_70'”。
- 原因：训练作业使用的镜像CUDA版本只支持sm_37、sm_50、sm_60和sm_70的加速卡，不支持sm_80。
- 处理建议：使用自定义镜像创建训练作业，并安装高版本的cuda以及对应的PyTorch版本。
查看训练作业的“日志”，出现报错“ERROR:root:label_map.pbtxt cannot be found. It will take a long time to open every annotation files to generate a tmp label_map.pbtxt.”。
- 如果使用的是AI Gallery订阅的算法，建议先检查数据的标签是否有问题。
- 如果使用的是物体检测类算法，建议检查数据的label框是否为非矩形。
  
  物体检测类算法仅支持矩形label框。
查看训练作业的“日志”，出现报错“RuntimeError: The server socket has failed to listen on any local network address. The server socket has failed to bind to [::]:29500 (errno: 98 - Address already in use). The server socket has failed to bind to 0.0.0.0:29500 (errno: 98 - Address already in use).”。
- 原因：训练作业的端口号有冲突。
- 处理建议：更改代码中的端口号，重启训练作业。
查看训练作业的“日志”，出现报错“WARNING: root: Retry=7, Wait=0.4, Times tamp=1697620658.6282516”。
- 原因：Moxing版本太低。
- 处理建议：联系技术支持将Moxing版本升级至2.1.6及以上版本。

上一篇：AI开发平台MODELARTS-训练作业性能降低:处理方法

下一篇：AI开发平台MODELARTS-创建训练作业时出现“实例挂卷失败”的事件:处理步骤

新客秒杀 2核2G 3M L实例

68元/年

普惠上云领千元上云礼券

立即前往

企业专享 X实例 4核8G 5M

888元/年

热门域名 1元随心购

1元/年起

AI开发平台MODELARTS-训练作业运行失败排查指导:原因分析及处理方法

意见反馈

0/200

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

推荐文章

解决方案
相关专题