AI开发平台MODELARTS-评估训练结果:复制数据集到本地

时间:2024-08-26 19:27:17

复制数据集到本地

复制数据集到本地主要是为了防止长时间访问OBS容易导致OBS连接中断使得作业卡住,所以一般先将数据复制到本地再进行操作。

数据集复制有两种方式,推荐使用OBS路径复制。

  • OBS路径(推荐)

    直接使用moxing的copy_parallel接口,复制对应的OBS路径。

  • ModelArts数据管理中的数据集(即manifest文件格式)

    使用moxing的copy_manifest接口将文件复制到本地并获取新的manifest文件路径,然后使用SDK解析新的manifest文件。

ModelArts数据管理模块在重构升级中,对未使用过数据管理的用户不可见。建议新用户将训练数据存放至OBS桶中使用。

support.huaweicloud.com/develop-modelarts/develop-modelarts-0016.html