AI开发平台ModelArts-数据上传至JupyterLab:步骤2:从OBS中将文件下载至Notebook

时间:2023-11-01 16:16:40

步骤2:从OBS中将文件下载至Notebook

由于Notebook实例可以挂载OBS或EVS作为存储位置,针对不同的实例,请操作方式不同。

  • 对于挂载EVS的Notebook实例下载文件
    • 使用Moxing操作OBS文件将OBS中的文件同步到Notebook后进行操作。
      读取一个OBS文件。例如读取“obs://bucket_name/obs_file.txt”文件内容,返回string(字符串类型)。
      12
      import moxing as moxfile_str = mox.file.read('obs://bucket_name/obs_file.txt')
      也可以使用打开文件对象并读取的方式来实现,两者是等价的。
      123
      import moxing as moxwith mox.file.File('obs://bucket_name/obs_file.txt', 'r') as f:  file_str = f.read()
    • 使用ModelArts SDK的从OBS下载数据接口将OBS中的文件下载到Notebook后进行操作。

      当单个文件大小超过5GB时,无法使用此方式上传。推荐使用MoXing接口上传大文件。

      示例代码:

      123
      from modelarts.session import Sessionsession = Session()session.download_data(bucket_path="/bucket-name/dir1/sdk.txt", path="/home/user/sdk/obs.txt")
  • 对于带OBS存储的Notebook实例下载文件

    将文件上传至创建Notebook实例时指定的OBS路径,然后使用Sync OBS功能将OBS中的文件同步到Notebook即可。

support.huaweicloud.com/engineers-modelarts/modelarts_23_0332.html