AI开发平台ModelArts-添加评估结果:拷贝数据集到本地

时间:2023-11-01 16:16:40

拷贝数据集到本地

拷贝数据集到本地主要是为了防止长时间访问OBS容易导致OBS连接中断使得作业卡住,所以一般先将数据拷贝到本地再进行操作。

数据集拷贝有两种方式,推荐使用OBS路径进行处理拷贝。

  • OBS路径(推荐)

    直接使用moxing的copy_parallel接口,拷贝对应的OBS路径。

  • ModelArts数据管理中的数据集(即manifest文件格式)

    使用moxing的copy_manifest接口将文件拷贝到本地并获取新的manifest文件路径,然后使用SDK解析新的manifest文件。

support.huaweicloud.com/engineers-modelarts/modelarts_23_0130.html