AI开发平台MODELARTS-附录：训练常见问题:问题4：Error waiting on exit barrier错误

时间：2024-11-12 16:42:44

AI开发平台MODELARTS

错误截图：

报错原因：多线程退出各个节点间超时时间默认为300s，时间设置过短。

解决措施：

修改容器内torch/distributed/elastic/agent/server/api.py文件参数：

vim /home/ma-user/anaconda3/envs/PyTorch-2.2.0/lib/python3.10/site-packages/torch/distributed/elastic/agent/server/api.py

修改def _exit_barrier(self)方法中的barrier_timeout参数，修改后如图1所示。

#修改前
barrier_timeout=self._exit_barrier_timeout
#修改后
barrier_timeout=3000

图1 修改后的barrier_timeout参数

华为云11.11 2核1G 2M 云服务器

29元/年

立即注册领万元上云礼券

抽奖赢11111元免单

续费同价 L实例 2核2G 4M

98元/年

热门域名 1元随心购

1元/年

AI开发平台MODELARTS-附录：训练常见问题:问题4：Error waiting on exit barrier错误

意见反馈

0/200

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

7*24