AI开发平台MODELARTS-下载JupyterLab文件到本地:从JupyterLab中下载大于100MB的文件到本地

时间：2024-12-18 09:32:33

AI开发平台MODELARTS 通过JupyterLab在线使用Notebook实例进行AI开发

从JupyterLab中下载大于100MB的文件到本地

大于100MB的文件需要先从Notebook中上传到OBS，再从OBS下载到本地，具体操作如下：

打开Python运行环境。
以下图为例，在Launcher页面的Notebook区域，单击“python-3.7.10”。请您以实际环境为准。

图2 打开Python运行环境

使用MoXing将目标文件从Notebook上传到OBS中。

上传txt、压缩后文件夹的Python示例代码如下。代码中的“/home/ma-user/work/xxx”为文件在Notebook中的存储路径，“obs://bucket_name/xxx”为该文件上传到OBS的存储路径，请您按照实际路径进行修改。

上传一个obs_file.txt文件，从Notebook上传至OBS。

在命令行输入以下代码，按需修改路径后，单击运行代码。在OBS控制台的桶中，可以看到txt对象存在，表明上传成功。

      
           import moxing as mox
mox.file.copy('/home/ma-user/work/obs_file.txt', 'obs://bucket_name/obs_file.txt')

图3 运行代码示例

上传一个压缩后的sub_dir_0文件夹，从Notebook上传至OBS。
在命令行输入以下代码，按需修改路径后，单击运行代码。在OBS控制台的桶中，可以看到文件夹对象存在，表明上传成功。
```
import moxing as mox
mox.file.copy_parallel('/home/ma-user/work/sub_dir_0', 'obs://bucket_name/sub_dir_0')
```

使用OBS或ModelArts SDK将OBS中的文件下载到本地。

方式一：使用OBS进行下载
 在OBS中，可以将样例中的“obs_file.txt”下载到本地。如果您的数据较多，推荐OBS Browser+下载数据或文件夹。使用OBS下载文件的操作指导，请参见下载文件。

方式二：使用ModelArts SDK进行下载

在您的本地环境下载并安装ModelArts SDK。
完成ModelArts SDK的Session鉴权。

将OBS中的文件下载到本地，详情请参见从OBS下载数据。示例代码如下：

        
             from modelarts.session import Session

# 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全；
# 本示例以ak和sk保存在环境变量中来实现身份验证为例，运行本示例前请先在本地环境中设置环境变量HUAWEICLOUD_SDK_AK和HUAWEICLOUD_SDK_SK。
__AK = os.environ["HUAWEICLOUD_SDK_AK"]
__SK = os.environ["HUAWEICLOUD_SDK_SK"]
# 如果进行了加密还需要进行解密操作
session = Session(access_key=__AK,secret_key=__SK, project_id='***', region_name='***')

session.download_data(bucket_path="/bucket_name/obs_file.txt",path="/home/user/obs_file.txt")