华为云首页用户手册

AI开发平台MODELARTS-OBS拷贝过程中提示“BrokenPipeError: Broken pipe”:处理方法

AI开发平台MODELARTS-OBS拷贝过程中提示“BrokenPipeError: Broken pipe”:处理方法

时间：2024-07-19 15:36:05

AI开发平台MODELARTS OBS操作相关故障

处理方法

如果是限流问题，日志中还会有如下错误，OBS相关的错误码解释请参见OBS官方文档，这种情况建议提工单。
图2 错误日志
如果是client数太多，尤其对于5G以上文件，OBS接口不支持直接调用，需要分多个线程分段拷贝，目前OBS侧服务端超时时间是30S，可以通过如下设置减少进程数。
```
# 设置进程数
os.environ['MOX_FILE_LARGE_FILE_TASK_NUM']=1
import moxing as mox

# 拷贝文件
mox.file.copy_parallel(src_url=your_src_dir, dst_url=your_target_dir, threads=0, is_processing=False)
```
创建训练作业时，可通过环境变量“MOX_FILE_PARTIAL_MAXIMUM_SIZE”设置用户需要分段下载的大文件阈值（单位为Bytes），超过该阈值的文件将使用并发下载模式进行分段下载。

上一篇：华为云FLEXUS云服务_FLEXUS云服务器X实例-Flexus X实例开启性能模式后，性能可以提升多少？

下一篇：AI开发平台MODELARTS-Notebook提示磁盘空间已满:处理方法

AI开发平台MODELARTS-OBS拷贝过程中提示“BrokenPipeError: Broken pipe”:处理方法

意见反馈

0/200

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

推荐文章

解决方案
相关专题