AI开发平台MODELARTS-训练作业卡死检测:常见案例:复制数据卡死

时间:2024-12-28 10:03:44

常见案例:复制数据卡死

问题现象

调用mox.file.copy_parallel复制数据时卡死。

解决方案

  • 复制文件和文件夹均可采用:
    import moxing as mox
    mox.file.set_auth(is_secure=False)
  • 复制单个大文件5G以上时可采用:
    from moxing.framework.file import file_io

    查看当前moxing调用的接口版本:file_io._LARGE_FILE_METHOD,如果输出值为1则为V1版本,如果输出值为2,则为V2版本。

    V1版本修改:file_io._NUMBER_OF_PRO CES SES=1

    V2版本修改:可以 file_io._LARGE_FILE_METHOD = 1,将模式设置成V1然后用V1的方式修改规避,也可以直接file_io._LARGE_FILE_TASK_NUM=1。

  • 复制文件夹时可采用:
    mox.file.copy_parallel(threads=0,is_processing=False) 
support.huaweicloud.com/usermanual-standard-modelarts/modelarts_trouble_0108.html