AI开发平台MODELARTS-复制数据卡死:解决方案

时间:2024-10-22 15:11:58

解决方案

  • 拷贝文件和文件夹均可采用:
    import moxing as mox
    mox.file.set_auth(is_secure=False)
  • 拷贝单个大文件5G以上时可采用:
    from moxing.framework.file import file_io

    查看当前moxing调用的接口版本:file_io._LARGE_FILE_METHOD,如果输出值为1则为V1版本,如果输出值为2,则为V2版本。

    V1版本修改:file_io._NUMBER_OF_PRO CES SES=1

    V2版本修改:可以 file_io._LARGE_FILE_METHOD = 1,将模式设置成V1然后用V1的方式修改规避,也可以直接file_io._LARGE_FILE_TASK_NUM=1。

  • 拷贝文件夹时可采用:
    mox.file.copy_parallel(threads=0,is_processing=False)
support.huaweicloud.com/trouble-modelarts/modelarts_trouble_0110.html