华为云首页用户手册

AI开发平台MODELARTS-上传本地文件至JupyterLab:上传本地超大文件（50GB以上）至JupyterLab

AI开发平台MODELARTS-上传本地文件至JupyterLab:上传本地超大文件（50GB以上）至JupyterLab

时间：2024-11-21 19:46:06

AI开发平台MODELARTS 上传文件至JupyterLab

上传本地超大文件（50GB以上）至JupyterLab

不支持在Notebook的JupyterLab中直接上传大小超过50GB的文件。

50GB以上的文件需要先从本地上传到OBS中，再在Notebook中调用ModelArts的Moxing接口或者SDK接口读写OBS中的文件。

图12 在Notebook中上传下载大文件

具体操作如下：

从本地上传文件至OBS。具体操作请参见上传文件至OBS桶。

将OBS中的文件下载到Notebook，可以通过在Notebook中运行代码的方式完成数据下载，具体方式有2种，ModelArts的SDK接口或者调用MoXing接口。

方法一：使用ModelArts SDK接口将OBS中的文件下载到Notebook后进行操作。

示例代码：

      
           from modelarts.session import Session
session = Session()
session.obs.copy("obs://bucket-name/obs_file.txt","/home/ma-user/work/")

方法二：使用Moxing操作OBS文件将OBS中的文件同步到Notebook后进行操作。
```
import moxing as mox

#下载一个OBS文件夹sub_dir_0，从OBS下载至Notebook
mox.file.copy_parallel('obs://bucket_name/sub_dir_0', '/home/ma-user/work/sub_dir_0')
#下载一个OBS文件obs_file.txt，从OBS下载至Notebook
mox.file.copy('obs://bucket_name/obs_file.txt', '/home/ma-user/work/obs_file.txt')
```
如果下载到Notebook中的是zip文件，在Terminal中执行下列命令，解压压缩包。
```
unzip xxx.zip  #在xxx.zip压缩包所在路径直接解压
```
代码执行完成后，参考图13打开Terminal后执行ls /home/ma-user/work命令查看下载到Notebook中的文件。或者在JupyterLab左侧导航中显示下载的文件，如果没有显示，请刷新后查看，如图14所示。

图13 打开Terminal

图14 查看下载到Notebook中的文件

上一篇：AI开发平台MODELARTS-上传本地文件至JupyterLab:上传本地大文件（100MB~50GB）至JupyterLab

下一篇：AI开发平台MODELARTS-上传本地文件至JupyterLab:上传本地大文件（100MB~50GB）至JupyterLab

新客秒杀 2核2G 3M L实例

68元/年

普惠上云领千元上云礼券

立即前往

企业专享 X实例 4核8G 5M

888元/年

热门域名 1元随心购

1元/年起

AI开发平台MODELARTS-上传本地文件至JupyterLab:上传本地超大文件（50GB以上）至JupyterLab

意见反馈

0/200

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

推荐文章

解决方案
相关专题