AI开发平台MODELARTS-评估训练结果:复制数据集到本地
复制数据集到本地
复制数据集到本地主要是为了防止长时间访问OBS容易导致OBS连接中断使得作业卡住,所以一般先将数据复制到本地再进行操作。
数据集复制有两种方式,推荐使用OBS路径复制。
- OBS路径(推荐)
- ModelArts数据管理中的数据集(即manifest文件格式)
使用moxing的copy_manifest接口将文件复制到本地并获取新的manifest文件路径,然后使用SDK解析新的manifest文件。
ModelArts数据管理模块在重构升级中,对未使用过数据管理的用户不可见。建议新用户将训练数据存放至OBS桶中使用。