云服务器内容精选

华为云首页用户手册

使用Notebook进行AI开发调试

AI开发平台MODELARTS-创建Notebook实例:Notebook容器挂载目录介绍

Notebook容器挂载目录介绍创建Notebook实例，存储选择EVS时，Notebook会使用/home/ma-user/work目录作为用户的工作空间持久化存储。存放在work目录的内容，在实例停止、重新启动后依然保留，其他目录下的内容不会保留，使用开发环境时建议将需要持久化的数据放在/home/ma-user/work目录。更多Notebook实例的目录挂载情况（以下挂载点在保存镜像的时候不会保存）如表4所示。表4 Notebook挂载目录介绍挂载点是否只读备注 /home/ma-user/work/ 否客户数据的持久化目录。 /data 否客户PFS的挂载目录。 /cache 否裸机规格时支持，用于挂载宿主机NVMe的硬盘。 /train-worker1-log 否兼容训练任务调试过程。 /dev/shm 否用于PyTorch引擎加速。

AI开发平台MODELARTS 使用Notebook进行AI开发调试
AI开发平台MODELARTS-创建Notebook实例:打开Notebook实例

打开Notebook实例针对创建好的Notebook实例（即状态为“运行中”的实例），可以打开Notebook并在开发环境中启动编码。 pytorch、tensorflow、mindspore、tensorflow-mindspore、cylp-cbcpy、rlstudio-ray、mindquantum-mindspore镜像支持以下2种方式访问：在线JupyterLab访问，具体参见通过JupyterLab在线使用Notebook实例进行AI开发。本地IDE使用PyCharm工具，远程连接访问，具体参见通过PyCharm远程使用Notebook实例。本地IDE使用VS Code工具，远程连接访问，具体参见通过VS Code远程使用Notebook实例。本地IDE使用SSH工具，远程连接访问，具体参见通过SSH工具远程使用Notebook。 ModelArts提供的Notebook实例是以ma-user启动的，用户进入实例后，工作目录默认是/home/ma-user。

AI开发平台MODELARTS 使用Notebook进行AI开发调试
AI开发平台MODELARTS-创建Notebook实例:背景信息

背景信息 Notebook使用涉及到计费，具体收费项如下：处于“运行中”状态的Notebook，会消耗资源，产生费用。根据您选择的资源不同，收费标准不同，价格详情请参见产品价格详情。当您不需要使用Notebook时，建议停止Notebook，避免产生不必要的费用。创建Notebook时，如果选择使用云硬盘EVS存储配置，实例不删除，云硬盘EVS会一直收费，建议及时停止并删除Notebook，避免产品不必要的费用。在创建Notebook时，默认会开启自动停止功能，在指定时间内停止运行Notebook，避免资源浪费。只有处于“运行中”状态的Notebook，才可以执行打开、停止操作。一个账户最多创建10个Notebook。

AI开发平台MODELARTS 使用Notebook进行AI开发调试
AI开发平台MODELARTS-创建Notebook实例:Notebook选择存储说明

Notebook选择存储说明不同存储的实现方式都不同，在性能、易用性、成本的权衡中可以有不同的选择，没有一个存储可以覆盖所有场景，了解下云上开发环境中各种存储使用场景说明，更能提高使用效率。表5 云上开发环境中各种存储使用场景说明存储类型建议使用场景优点缺点云硬盘EVS 比较适合只在开发环境中进行数据和算法探索，性能较好。块存储SSD，可以理解为一个磁盘，整体IO性能比NFS要好，可以动态扩充，最大可以到4096GB。云硬盘EVS作为持久化存储挂载在/home/ma-user/work目录下，该目录下的内容在实例停止后会被保留，存储支持在线按需扩容。只能在单个开发环境中使用。并行文件系统PFS 说明：并行文件系统PFS为白名单功能，如需使用，请联系华为技术支持开通。仅支持挂载同一区域下的OBS并行文件系统（PFS）。适合直接使用PFS桶作为持久化存储进行AI开发和探索，使用场景如下。数据集的存储。将存储在PFS桶的数据集直接挂载到Notebook进行浏览和数据处理，在训练时直接使用。直接在创建Notebook的时候选择并行文件系统PFS。或在实例运行后，将承载数据集的OBS并行文件系统动态挂载至Notebook中，详细操作请参考动态挂载OBS并行文件系统。代码的存储。在Notebook调测完成，可以直接指定对应的对象存储路径作为启动训练的代码路径，方便临时修改。训练观测。可以将训练日志等输出路径进行挂载，在Notebook中实时查看和观测，特别是利用TensorBoard可视化功能完成对训练输出的分析。 PFS是一种经过优化的高性能对象存储文件系统，存储成本低，吞吐量大，能够快速处理高性能计算（HPC）工作负载。在需要使用对象存储服务场景下，推荐使用PFS挂载。说明：建议上传时按照128MB或者64MB打包或者切分，使用时边下载边解压后在本地存储读取，以获取更好的读写与吞吐性能。小文件频繁读写性能较差，例如直接作为存储用于模型重型训练，大文件解压等场景慎用。说明： PFS挂载需要用户对当前桶授权给ModelArts完整读写权限，Notebook删除后，此权限策略不会被删除。对象存储服务OBS 说明： OBS对象存储为白名单功能，如需使用，请联系华为技术支持开通。仅支持挂载同一区域下的OBS对象存储。在开发环境中做大规模的数据上传下载时，可以通过OBS桶做中转。存储成本低，吞吐量大，但是小文件读写较弱。建议上传时按照128MB或者64MB打包或者切分，使用时边下载边解压后在本地读取。对象存储语义，和Posix语义有区别，需要进一步理解。弹性文件服务SFS 目前只支持在专属资源池中使用；针对探索、实验等非正式生产场景，建议使用这种。开发环境和训练环境可以同时挂载一块SFS存储，省去了每次训练作业下载数据的要求，一般来说重IO读写模型，超过32卡的大规模训练不适合。实现为NFS，可以在多个开发环境、开发环境和训练之间共享，如果不需要重型分布式训练作业，特别是启动训练作业时，不需要额外再对数据进行下载，这种存储便利性可以作为首选。性能比EVS云硬盘块存储低。 OceanStor Pacific存储（SFS容量型2.0）目前只支持在天工专属资源池中使用。适合直接使用SFS容量型2.0提供的文件系统作为训练任务所需的存储进行AI模型的训练和探索。同时提供OBS接口，支持从云外导入训练数据。提供高性能文件客户端，满足重型训练任务中对存储高带宽诉求，同时提供OBS访问功能，同一份训练数据通过OBS接口导入到存储之后不需要再进相关转化，即可支持模型训练。提供对象存储语义，和Posix语义有区别，需要进一步理解。本地存储重型训练任务首选运行所在虚拟机或者裸金属机器上自带的SSD高性能存储，文件读写的吞吐量大，建议对于重型训练任务先将数据准备到对应目录再启动训练。默认在容器/cache目录下进行挂载，/cache目录可用空间请参考开发环境中不同Notebook规格资源“/cache”目录的大小。存储生命周期和容器生命周期绑定，每次训练都要下载数据。在开发环境中如何使用云硬盘EVS块存储？例如，在创建Notebook实例时选择云硬盘EVS存储小容量，Notebook运行过程中如果发现存储容量不够，可以扩容，请参考动态扩充云硬盘EVS容量。在开发环境中如何使用OBS并行文件系统？例如，在Notebook中训练时，可直接使用挂载至Notebook容器中的数据集，在运行过程中可以动态挂载OBS并行文件系统。

AI开发平台MODELARTS 使用Notebook进行AI开发调试
AI开发平台MODELARTS-Notebook使用场景

Notebook使用场景 ModelArts提供灵活开放的开发环境，您可以根据实际情况选择。 ModelArts提供了CodeLab功能，一方面，一键进入开发环境，同时预置了免费的算力规格，可直接免费体验 Notebook功能；另一方面，针对AI Gallery社区发布的Notebook样例（.ipynb格式文件），可直接在CodeLab中打开，查看他人分享的样例代码，具体请参见使用CodeLab免费体验Notebook。 ModelArts提供了云化版本的Notebook，无需关注安装配置，即开即用，具体参见创建Notebook实例。 ModelArts Notebook支持以下几种使用方式，用于开发基于PyTorch、TensorFlow和MindSpore等引擎的AI模型。支持通过JupyterLab工具在线打开Notebook，具体请参见通过JupyterLab在线使用Notebook实例进行AI开发。支持本地IDE的方式开发模型，通过开启SSH连接，用户本地IDE可以远程连接到ModelArts的Notebook开发环境中，调试和运行代码。本地IDE方式不影响用户的编码习惯，并且可以方便快捷的使用云上的Notebook开发环境。本地IDE当前支持VS Code、PyCharm、SSH工具。PyCharm和VS Code还分别有专门的插件PyCharm Toolkit、VS Code Toolkit，让远程连接操作更便捷。具体参见通过PyCharm远程使用Notebook实例、通过VS Code远程使用Notebook实例、本地IDE（SSH工具连接）。在AI开发过程中，如何将文件方便快速地上传到Notebook几乎是每个开发者都会遇到的问题。ModelArts提供了多种文件上传方式，在文件上传过程中，可以查看上传进度和速度。将本地文件上传，请参考支持上传本地文件； GitHub的开源仓库的文件上传，请参考支持Clone GitHub开源仓库；存放在OBS中的文件上传，请参考支持上传OBS文件；类似开源数据集这样的远端文件上传，请参考支持上传远端文件；在Notebook的使用中，可以快速查找实例，可以在同一个Notebook实例中切换镜像，方便用户灵活调整实例的AI引擎；可以切换节点运行规格，方便用户灵活调整规格资源；可以初期存储使用量较小时选择小存储，可以在创建完成后根据需要扩充EVS容量；使用动态挂载OBS将OBS对象存储模拟成本地文件系统；还可以在Notebook异常时查看实例的事件定位等，具体参见管理Notebook实例。 ModelArts CLI，集成在ModelArts开发环境Notebook中，用于连接ModelArts服务并在ModelArts资源上执行管理命令。ma-cli支持用户在ModelArts Notebook及线下虚拟机中与云端服务交互，使用ma-cli命令可以实现命令自动补全、鉴权、镜像构建、提交ModelArts训练作业、提交 DLI Spark作业、OBS数据复制等，具体参见ModelArts CLI命令参考。 ModelArts Notebook内置MoXing Framework模块，ModelArts mox.file提供了一套更为方便的访问OBS的API，允许用户通过一系列模仿操作本地文件系统的API来操作OBS文件。具体参见在Notebook中使用Moxing命令。父主题：使用Notebook进行AI开发调试

AI开发平台MODELARTS 使用Notebook进行AI开发调试