AI开发平台MODELARTS-训练作业卡死检测:常见案例:复制数据卡死
常见案例:复制数据卡死
问题现象
调用mox.file.copy_parallel复制数据时卡死。
解决方案
- 复制文件和文件夹均可采用:
import moxing as mox mox.file.set_auth(is_secure=False)
- 复制单个大文件5G以上时可采用:
from moxing.framework.file import file_io
查看当前moxing调用的接口版本:file_io._LARGE_FILE_METHOD,如果输出值为1则为V1版本,如果输出值为2,则为V2版本。
V1版本修改:file_io._NUMBER_OF_PRO CES SES=1
V2版本修改:可以 file_io._LARGE_FILE_METHOD = 1,将模式设置成V1然后用V1的方式修改规避,也可以直接file_io._LARGE_FILE_TASK_NUM=1。
- 复制文件夹时可采用:
mox.file.copy_parallel(threads=0,is_processing=False)
- ModelArts模型训练_模型训练简介_如何训练模型
- ModelArts分布式训练_分布式训练介绍_分布式调测
- ModelArts模型训练_创建训练作业_如何创建训练作业
- ModelArts计费说明_计费简介_ModelArts怎么计费
- ModelArts推理部署_纳管Atlas 500_边缘服务-华为云
- GaussDB案例_gaussdb java_高斯数据库案例_华为云
- ModelArts模型训练_超参搜索简介_超参搜索算法
- 华为云ModelArts_ModelArts开发_AI全流程开发
- GaussDB案例指南_高斯数据库函数_高斯数据库案例指南_华为云
- ModelArts自定义镜像_自定义镜像简介_如何使用自定义镜像