华为云用户手册

引擎版本：pytorch_1.8.0-cuda_10.2-py_3.7-ubuntu_18.04-x86_64 镜像地址：swr.{region}.myhuaweicloud.com/aip/pytorch_1_8:train-pytorch_1.8.0-cuda_10.2-py_3.7-ubuntu_18.04-x86_64-roma-20220309171256-40adcc1 镜像构建时间：20220309171256 (yyyy-mm-dd-hh-mm-ss) 镜像系统版本：Ubuntu 18.04.4 LTS cuda：10.2.89 cudnn：7.6.5.32 Python解释器路径及版本：/home/ma-user/anaconda3/envs/PyTorch-1.8/bin/python, python 3.7.10 三方包安装路径：/home/ma-user/anaconda3/envs/PyTorch-1.8/lib/python3.7/site-packages

制作 自定义镜像 这一节描述如何编写一个Dockerfile，并据此构建出一个新镜像在Notebook创建实例并使用。关于Dockerfile的具体编写方法，请参考官网。 查询基础镜像（第三方镜像可跳过此步骤） ModelArts提供的公共镜像，请参考Notebook专属预置镜像列表，根据预置镜像的引擎类型在对应的章节查看镜像URL。 连接 容器镜像服务 。 登录容器 镜像服务 控制台。选择左侧导航栏的“总览”，单击页面右上角的“登录指令”，在弹出的页面中单击复制登录指令。 图4 获取登录指令 此处生成的登录指令有效期为24小时，如果需要长期有效的登录指令，请参见获取长期有效登录指令。获取了长期有效的登录指令后，在有效期内的临时登录指令仍然可以使用。 登录指令末尾的 域名 为镜像仓库地址，请记录该地址，后面会使用到。 在安装容器引擎的机器中执行上一步复制的登录指令。登录成功会显示“Login Succeeded”。 拉取基础镜像或第三方镜像（此处以基础镜像举例，第三方镜像直接替换镜像地址）。 拉取ModelArts提供的公共镜像（请参考预置镜像）。 docker pull swr.cn-north-4.myhuaweicloud.com/atelier/notebook2.0-pytorch-1.4-kernel-cp37:3.3.3-release-v1-20220114 编写Dockerfile。 vim一个Dockerfile，如果使用的基础镜像是ModelArts提供的公共镜像，Dockerfile的具体内容可参考Dockerfile文件（基础镜像为ModelArts提供）。 如果使用的基础镜像是第三方镜像（非ModelArts提供的公共镜像），Dockerfile文件中需要添加uid为1000的用户ma-user和gid为100的用户组ma-group，具体可参考Dockerfile文件（基础镜像为非ModelArts提供）。 本例的Dockerfile将基于PyTorch基础镜像安装pytorch 1.8, ffmpeg 3和gcc 8，构建一个面向AI任务的镜像。 构建镜像 使用docker build命令从Dockerfile构建出一个新镜像。命令参数解释如下： “-t” 指定了新的镜像地址，包括{局点信息}/{组织名称}/{镜像名称}:{版本名称}，请根据实际填写。建议使用完整的swr地址，因为后续的调试和注册需要使用。 “-f ”指定了Dockerfile的文件名，根据实际填写。 最后的“ . ”指定了构建的上下文是当前目录，根据实际填写。 docker build -t swr.cn-north-4.myhuaweicloud.com/sdk-test/pytorch_1_8:v1 -f Dockerfile . 图5 构建成功

创建开发环境并使用 镜像注册成功后，即可在ModelArts控制台的Notebook页面，创建开发环境时选择该自定义镜像。 图7 创建开发环境 打开开发环境，即可看到Dockerfile中创建的conda环境pytorch_1_8。 图8 打开开发环境 单击图中的pytorch_1_8，即可创建一个ipynb文件，导入torch，可以看到安装的pytorch 1.8已经能够使用。 图9 创建一个ipynb文件 再打开一个Terminal，查看ffmpeg和gcc的版本，是Dockerfile中安装的版本。 图10 查看ffmpeg和gcc的版本

准备Docker机器并配置环境信息 准备一台具有Docker功能的机器，如果没有，建议申请一台弹性云服务器并购买弹性公网IP，并在准备好的机器上安装必要的软件。 ModelArts提供了ubuntu系统的脚本，方便安装docker。 本地Linux机器的操作等同E CS 服务器上的操作，请参考本案例。 登录ECS控制台，购买弹性云服务器，镜像选择“公共镜像”，推荐使用ubuntu18.04的镜像；系统盘设置为100GiB。具体操作请参考购买并登录弹性云服务器。 图2 选择镜像和磁盘 购买弹性公网IP并绑定到弹性云服务器。具体操作请参考配置网络。 配置VM环境。 在docker机器中，使用如下命令下载安装脚本。 wget https://cnnorth4-modelarts-sdk.obs.cn-north-4.myhuaweicloud.com/modelarts/custom-image-build/install_on_ubuntu1804.sh 当前仅支持ubuntu系统的脚本。 在docker机器中并执行如下命令，即可完成环境配置。 bash install_on_ubuntu1804.sh 图3 配置成功 source /etc/profile 安装脚本依次执行了如下任务： 安装docker。 如果挂载了GPU，则会安装nvidia-docker2，用以将GPU挂载到docker容器中。

使用场景和构建流程说明 用户可以使用ModelArts提供的基础镜像或第三方的镜像来编写Dockerfile，在ECS服务器上构建出完全适合自己的镜像。然后将镜像进行注册，用以创建新的开发环境，满足自己的业务需求。 本案例将基于ModelArts提供的PyTorch基础镜像，安装pytorch 1.8、ffmpeg 3和gcc 8，构建一个面向AI开发的新环境。 主要流程如下图所示： 图1 构建与调测镜像流程 本案例适用于华为云-北京四Region。

Notebook自定义镜像规范 制作自定义镜像时，Base镜像需满足如下规范： 基于昇腾、Dockerhub官网等官方开源的镜像制作，开源镜像需要满足如下操作系统约束： x86：Ubuntu18.04、Ubuntu20.04 ARM：Euler2.8.3、Euler2.10.7 Ubuntu20.04.6可能有兼容性问题，请优先使用低于该版本的操作系统。 不满足以上镜像规范，所制作的镜像使用可能会出现故障，请用户检查镜像规范，并参考Notebook自定义镜像故障基础排查自行排查，如未解决请联系华为技术工程师协助解决。

镜像二：tensorflow1.15-cann5.1.0-py3.7-euler2.8.3 表18 tensorflow1.15-cann5.1.0-py3.7-euler2.8.3镜像介绍 AI引擎框架 是否使用昇腾 （CANN版本） URL 包含的依赖项 Tensorflow 1.15 是 （CANN 5.1） swr.{region-id}.{局点域名}/atelier/ tensorflow_1_15_ascend:tensorflow_1.15-cann_5.1.0-py_3.7-euler_2.8.3-aarch64-d910-20220906 PyPI 程序包 Yum 软件包 tensorflow 1.15.0 tensorboard 1.15.0 ipykernel 5.3.4 ipython 7.34.0 jupyter-client 7.3.4 ma-cli 1.2.3 matplotlib 3.5.1 modelarts 1.4.25 moxing-framework 2.0.1.rc0.ffd1c0c8 numpy 1.17.5 pandas 0.24.2 Pillow 9.2.0 pip 22.1.2 psutil 5.7.0 PyYAML 5.3.1 scipy 1.3.3 scikit-learn 0.20.0 tornado 6.2 ca-certificates.noarch cmake cpp curl gcc-c++ gcc gdb grep nginx python3 rpm tar unzip vim wget zip

镜像四：mindspore1.2.0-openmpi2.1.1-ubuntu18.04 表11 mindspore1.2.0-openmpi2.1.1-ubuntu18.04镜像介绍 AI引擎框架 是否使用 GPU （CUDA 版本） URL 包含的依赖项 Mindspore 1.2.0 无 swr.{region_id}.myhuaweicloud.com/atelier/mindspore_1_2_0:mindspore_1.2.0-py_3.7-ubuntu_18.04-x86_64-20220926104106-041ba2e 例如： 华北-北京四 swr.cn-north-4.myhuaweicloud.com/atelier/mindspore_1_2_0:mindspore_1.2.0-py_3.7-ubuntu_18.04-x86_64-20220926104106-041ba2e 华东-上海一 swr.cn-east-3.myhuaweicloud.com/atelier/mindspore_1_2_0:mindspore_1.2.0-py_3.7-ubuntu_18.04-x86_64-20220926104106-041ba2e 华南-广州 swr.cn-south-1.myhuaweicloud.com/atelier/mindspore_1_2_0:mindspore_1.2.0-py_3.7-ubuntu_18.04-x86_64-20220926104106-041ba2e PyPI 程序包 Ubuntu 软件包 mindspore 1.2.0 ipykernel 6.7.0 ipython 7.34.0 jupyter-client 7.4.6 ma-cli 1.2.3 matplotlib 3.5.1 modelarts 1.4.25 moxing-framework 2.1.0.5d9c87c8 numpy 1.19.5 pandas 1.1.5 Pillow 6.2.0 pip 21.0.1 psutil 5.8.0 PyYAML 5.1 scipy 1.5.2 scikit-learn 0.22.1 tornado 6.2 mindinsight 1.2.0 automake build-essential ca-certificates cmake cpp curl ffmpeg g++ gcc gfortran git git-lfs grep libjpeg-dev:amd64 libjpeg8-dev:amd64 openssh-client openssh-server nginx python3 rpm screen tar tmux unzip vim wget zip

Notebook基础镜像x86 自定义专用镜像 自定义镜像包含两种镜像：conda3-cuda10.2-cudnn7-ubuntu18.04，conda3-ubuntu18.04，该类镜像是无AI引擎以及相关的软件包，镜像较小，只有2~5G。用户使用此类镜像做基础镜像，安装自己需要的引擎版本和依赖包，可扩展性更高。并且这些镜像预置了一些开发环境启动所必要的配置，用户无需对此做任何适配，安装所需的软件包即可使用。 此类镜像为最基础的镜像，主要应对用户做自定义镜像时基础镜像太大的问题，所以镜像中未安装任何组件；如果需使用OBS SDK相关功能，推荐使用ModelArts SDK进行文件复制等操作，详细操作请参考文件传输。

镜像一：mindspore_1.10.0-cann_6.0.1-py_3.7-euler_2.8.3 表14 mindspore_1.10.0-cann_6.0.1-py_3.7-euler_2.8.3镜像介绍 AI引擎框架 URL 包含的依赖项 Mindspore-Ascend 1.10.0 {region_id}.myhuaweicloud.com/atelier/mindspore_1_10_ascend:mindspore_1.10.0-cann_6.0.1-py_3.7-euler_2.8.3-aarch64-d910-20230303173945-815d627 例如： 华北-北京四 swr.cn-north-4.myhuaweicloud.com/atelier/mindspore_1_10_ascend:mindspore_1.10.0-cann_6.0.1-py_3.7-euler_2.8.3-aarch64-d910-20230303173945-815d627 PyPI 程序包 Yum 软件包 mindspore-ascend 1.10.0 ipykernel 6.7.0 ipython 7.34.0 jupyter-client 7.4.5 ma-cli 1.2.3 matplotlib 3.5.1 modelarts 1.4.25 moxing-framework 2.0.1.rc0.ffd1c0c8 numpy 1.21.2 pandas 1.1.3 Pillow 9.4.0 pip 21.0.1 psutil 5.7.0 PyYAML 5.3.1 scipy 1.5.4 scikit-learn 0.24.0 tornado 6.2 mindinsight 1.9.0 cmake cpp curl ffmpeg g++ gcc git grep python3 rpm tar unzip wget zip

镜像三：mindspore1.7.0-cann5.1.0-py3.7-euler2.8.3 表16 mindspore1.7.0-cann5.1.0-py3.7-euler2.8.3镜像介绍 AI引擎框架 URL 包含的依赖项 Mindspore-Ascend 1.7.0 swr.{region_id}.myhuaweicloud.com/atelier/mindspore_1_7_0:mindspore_1.7.0-cann_5.1.0-py_3.7-euler_2.8.3-aarch64-d910-20220906 例如： 华北-北京四 swr.cn-north-4.myhuaweicloud.com/atelier/mindspore_1_7_0:mindspore_1.7.0-cann_5.1.0-py_3.7-euler_2.8.3-aarch64-d910-20220906 PyPI 程序包 Yum 软件包 mindspore-ascend 1.7.0 ipykernel 5.3.4 ipython 7.34.0 jupyter-client 7.3.4 ma-cli 1.2.3 matplotlib 3.5.1 modelarts 1.4.25 moxing-framework 2.0.1.rc0.ffd1c0c8 numpy 1.21.2 pandas 1.1.3 Pillow 9.2.0 pip 22.1.2 psutil 5.7.0 PyYAML 5.3.1 scipy 1.5.4 scikit-learn 0.24.0 tornado 6.2 mindinsight 1.7.0 cmake cpp curl ffmpeg g++ gcc git grep python3 rpm tar unzip wget zip

镜像一：conda3-cuda10.2-cudnn7-ubuntu18.04 表12 conda3-cuda10.2-cudnn7-ubuntu18.04镜像介绍 AI引擎框架 是否使用 GPU （CUDA 版本） URL 包含的依赖项 无 是 （cuda 10.2） swr.{region_id}.myhuaweicloud.com/atelier/user_defined_base:cuda_10.2-ubuntu_18.04-x86_64-20221008154718-2b3e39c 例如： 华北-北京四 swr.cn-north-4.myhuaweicloud.com/atelier/user_defined_base:cuda_10.2-ubuntu_18.04-x86_64-20221008154718-2b3e39c 华东-上海一 swr.cn-east-3.myhuaweicloud.com/atelier/user_defined_base:cuda_10.2-ubuntu_18.04-x86_64-20221008154718-2b3e39c 华南-广州 swr.cn-south-1.myhuaweicloud.com/atelier/user_defined_base:cuda_10.2-ubuntu_18.04-x86_64-20221008154718-2b3e39c PyPI 程序包 Ubuntu 软件包 ipykernel 6.7.0 ipython 7.34.0 jupyter-client 7.4.9 ma-cli 1.2.3 matplotlib 3.5.2 modelarts 1.4.25 moxing-framework 2.1.6.879ab2f4 numpy 1.21.6 pandas 1.3.5 Pillow 9.5.0 pip 20.3.3 psutil 5.9.4 PyYAML 6.0 scipy 1.7.3 tornado 6.2 automake build-essential ca-certificates cmake cpp curl g++ gcc gfortran grep libcudnn7 libcudnn7-dev nginx python3 rpm tar unzip vim wget zip

镜像二：mindspore_1.9.0-cann_6.0.0-py_3.7-euler_2.8.3 表15 mindspore_1.9.0-cann_6.0.0-py_3.7-euler_2.8.3镜像介绍 AI引擎框架 URL 包含的依赖项 MindSpore 1.9.0 swr.{region_id}.myhuaweicloud.com/atelier/mindspore_1_9_ascend:mindspore_1.9.0-cann_6.0.0-py_3.7-euler_2.8.3-aarch64-d910-20221116111529 例如： 华北-北京四 swr.cn-north-4.myhuaweicloud.com/atelier/mindspore_1_9_ascend:mindspore_1.9.0-cann_6.0.0-py_3.7-euler_2.8.3-aarch64-d910-20221116111529 PyPI 程序包 Yum 软件包 mindspore-ascend 1.9.0 ipykernel 6.7.0 ipython 7.34.0 jupyter-client 7.4.5 ma-cli 1.2.3 matplotlib 3.5.1 modelarts 1.4.25 moxing-framework 2.0.1.rc0.ffd1c0c8 numpy 1.21.2 pandas 1.1.3 Pillow 9.3.0 pip 22.3.1 psutil 5.7.0 PyYAML 5.3.1 scipy 1.5.4 scikit-learn 0.24.0 tornado 6.2 mindinsight 1.9.0 cmake cpp curl ffmpeg g++ gcc git grep python3 rpm tar unzip wget zip

镜像三：pytorch1.4-cuda10.1-cudnn7-ubuntu18.04 表5 pytorch1.4-cuda10.1-cudnn7-ubuntu18.04镜像介绍 AI引擎框架 是否使用 GPU （CUDA 版本） URL 包含的依赖项 Pytorch 1.4 是 （cuda 10.1） swr.{region_id}.myhuaweicloud.com/atelier/pytorch_1_4:pytorch_1.4-cuda_10.1-py37-ubuntu_18.04-x86_64-20220926104017-041ba2e 例如： 华北-北京四 swr.cn-north-4.myhuaweicloud.com/atelier/pytorch_1_4:pytorch_1.4-cuda_10.1-py37-ubuntu_18.04-x86_64-20220926104017-041ba2e 华东上海一 swr.cn-east-3.myhuaweicloud.com/atelier/pytorch_1_4:pytorch_1.4-cuda_10.1-py37-ubuntu_18.04-x86_64-20220926104017-041ba2e 华南-广州 swr.cn-south-1.myhuaweicloud.com/atelier/pytorch_1_4:pytorch_1.4-cuda_10.1-py37-ubuntu_18.04-x86_64-20220926104017-041ba2e PyPI 程序包 Ubuntu 软件包 torch 1.4.0 torchvision 0.5.0 ipykernel 6.7.0 ipython 7.34.0 jupyter-client 7.4.7 ma-cli 1.2.3 matplotlib 3.5.1 modelarts 1.4.25 moxing-framework 2.1.0.5d9c87c8 numpy 1.19.5 opencv-python 4.1.2.30 pandas 1.1.5 Pillow 6.2.0 pip 21.0.1 psutil 5.8.0 PyYAML 5.1 scipy 1.5.2 scikit-learn 0.22.1 tornado 6.2 tensorboard 2.1.1 automake build-essential ca-certificates cmake cpp curl ffmpeg g++ gcc gfortran git git-lfs grep libcudnn7 libcudnn7-dev libjpeg-dev:amd64 libjpeg8-dev:amd64 openssh-client openssh-server nginx pandoc python3 rpm screen tar tmux unzip vim wget zip

镜像一：tensorflow2.1-cuda10.1-cudnn7-ubuntu18.04 表6 tensorflow2.1-cuda10.1-cudnn7-ubuntu18.04镜像介绍 AI引擎框架 是否使用 GPU （CUDA 版本） URL 包含的依赖项 Tensorflow 2.1 是 （cuda 10.1） swr.{region_id}.myhuaweicloud.com/atelier/tensorflow_2_1:tensorflow_2.1.0-cuda_10.1-py_3.7-ubuntu_18.04-x86_64-20220926144607-041ba2e 例如： 华北-北京四 swr.cn-north-4.myhuaweicloud.com/atelier/tensorflow_2_1:tensorflow_2.1.0-cuda_10.1-py_3.7-ubuntu_18.04-x86_64-20220926144607-041ba2e 华东-上海一 swr.cn-east-3.myhuaweicloud.com/atelier/tensorflow_2_1:tensorflow_2.1.0-cuda_10.1-py_3.7-ubuntu_18.04-x86_64-20220926144607-041ba2e 华南-广州 swr.cn-south-1.myhuaweicloud.com/atelier/tensorflow_2_1:tensorflow_2.1.0-cuda_10.1-py_3.7-ubuntu_18.04-x86_64-20220926144607-041ba2e PyPI 程序包 Ubuntu 软件包 tensorflow 2.1.0 ipykernel 6.7.0 ipython 7.34.0 jupyter-client 7.4.4 ma-cli 1.2.3 matplotlib 3.5.1 modelarts 1.4.25 moxing-framework 2.1.0.5d9c87c8 numpy 1.19.5 opencv-python 4.1.2.30 pandas 1.1.5 Pillow 9.3.0 pip 21.0.1 psutil 5.8.0 PyYAML 5.1 scipy 1.5.2 scikit-learn 0.22.1 tornado 6.2 tensorboard 2.1.1 automake build-essential ca-certificates cmake cpp curl ffmpeg g++ gcc gfortran git git-lfs grep libcudnn7 libcudnn7-dev libjpeg-dev:amd64 libjpeg8-dev:amd64 openssh-client openssh-server nginx python3 rpm screen tar tmux unzip vim wget zip

Notebook基础镜像x86 MindSpore MindSpore包含四种镜像： 镜像一：mindspore1.7.0-cuda10.1-py3.7-ubuntu18.04 镜像二：mindspore1.7.0-py3.7-ubuntu18.04 镜像三：mindspore1.2.0-cuda10.1-cudnn7-ubuntu18.04 镜像四：mindspore1.2.0-openmpi2.1.1-ubuntu18.04

镜像一：mindspore1.7.0-cuda10.1-py3.7-ubuntu18.04 表8 mindspore1.7.0-cuda10.1-py3.7-ubuntu18.04镜像介绍 AI引擎框架 是否使用 GPU （CUDA 版本） URL 包含的依赖项 Mindspore-gpu 1.7.0 是 （cuda 10.1） swr.{region_id}.myhuaweicloud.com/atelier/mindspore_1_7_0:mindspore_1.7.0-cuda_10.1-py_3.7-ubuntu_18.04-x86_64-20220926104017-041ba2e 例如： 华北-北京四 swr.cn-north-4.myhuaweicloud.com/atelier/mindspore_1_7_0:mindspore_1.7.0-cuda_10.1-py_3.7-ubuntu_18.04-x86_64-20220926104017-041ba2e 华东-上海一 swr.cn-east-3.myhuaweicloud.com/atelier/mindspore_1_7_0:mindspore_1.7.0-cuda_10.1-py_3.7-ubuntu_18.04-x86_64-20220926104017-041ba2e 华南-广州 swr.cn-south-1.myhuaweicloud.com/atelier/mindspore_1_7_0:mindspore_1.7.0-cuda_10.1-py_3.7-ubuntu_18.04-x86_64-20220926104017-041ba2e PyPI 程序包 Ubuntu 软件包 mindspore-gpu 1.7.0 ipykernel 6.7.0 ipython 7.34.0 jupyter-client 7.4.4 ma-cli 1.2.3 matplotlib 3.5.1 modelarts 1.4.25 moxing-framework 2.1.0.5d9c87c8 numpy 1.19.5 pandas 1.1.5 Pillow 9.3.0 pip 21.0.1 psutil 5.8.0 PyYAML 5.1 scipy 1.5.2 scikit-learn 0.22.1 tornado 6.2 mindinsight 1.7.0 mindvision 0.1.0 automake build-essential ca-certificates cmake cpp curl ffmpeg g++ gcc gfortran git git-lfs grep libcudnn7 libcudnn7-dev libjpeg-dev:amd64 libjpeg8-dev:amd64 openssh-client openssh-server nginx python3 rpm screen tar tmux unzip vim wget zip

镜像二：mindspore1.7.0-py3.7-ubuntu18.04 表9 mindspore1.7.0-py3.7-ubuntu18.04镜像介绍 AI引擎框架 是否使用 GPU （CUDA 版本） URL 包含的依赖项 Mindspore 1.7.0 无 swr.{region_id}.myhuaweicloud.com/atelier/mindspore_1_7_0:mindspore_1.7.0-cpu-py_3.7-ubuntu_18.04-x86_64-20220926104017-041ba2e 例如： 华北-北京四 swr.cn-north-4.myhuaweicloud.com/atelier/mindspore_1_7_0:mindspore_1.7.0-cpu-py_3.7-ubuntu_18.04-x86_64-20220926104017-041ba2e 华东-上海一 swr.cn-east-3.myhuaweicloud.com/atelier/mindspore_1_7_0:mindspore_1.7.0-cpu-py_3.7-ubuntu_18.04-x86_64-20220926104017-041ba2e 华南-广州 swr.cn-south-1.myhuaweicloud.com/atelier/mindspore_1_7_0:mindspore_1.7.0-cpu-py_3.7-ubuntu_18.04-x86_64-20220926104017-041ba2e PyPI 程序包 Ubuntu 软件包 mindspore 1.7.0 ipykernel 6.7.0 ipython 7.34.0 jupyter-client 7.4.6 ma-cli 1.2.3 matplotlib 3.5.1 modelarts 1.4.25 moxing-framework 2.1.0.5d9c87c8 numpy 1.19.5 pandas 1.1.5 Pillow 9.3.0 pip 21.0.1 psutil 5.8.0 PyYAML 5.1 scipy 1.5.2 scikit-learn 0.22.1 tornado 6.2 mindinsight 1.7.0 mindvision 0.1.0 automake build-essential ca-certificates cmake cpp curl ffmpeg g++ gcc gfortran git git-lfs grep libjpeg-dev:amd64 libjpeg8-dev:amd64 openssh-client openssh-server nginx python3 rpm screen tar tmux unzip vim wget zip

镜像二：tensorflow1.13-cuda10.0-cudnn7-ubuntu18.04 表7 tensorflow1.13-cuda10.0-cudnn7-ubuntu18.04镜像介绍 AI引擎框架 是否使用 GPU （CUDA 版本） URL 包含的依赖项 Tensorflow 1.13-gpu 是 （cuda 10.0） swr.{region_id}.myhuaweicloud.com/atelier/tensorflow_1_13:tensorflow_1.13-cuda_10.0-py_3.7-ubuntu_18.04-x86_64-20220926104358-041ba2e 例如： 华北-北京四 swr.cn-north-4.myhuaweicloud.com/atelier/tensorflow_1_13:tensorflow_1.13-cuda_10.0-py_3.7-ubuntu_18.04-x86_64-20220926104358-041ba2e 华东-上海一 swr.cn-east-3.myhuaweicloud.com/atelier/tensorflow_1_13:tensorflow_1.13-cuda_10.0-py_3.7-ubuntu_18.04-x86_64-20220926104358-041ba2e 华南-广州 swr.cn-south-1.myhuaweicloud.com/atelier/tensorflow_1_13:tensorflow_1.13-cuda_10.0-py_3.7-ubuntu_18.04-x86_64-20220926104358-041ba2e PyPI 程序包 Ubuntu 软件包 tensorflow-gpu 1.13.1 ipykernel 6.7.0 ipython 7.34.0 jupyter-client 7.4.6 ma-cli 1.2.3 matplotlib 3.5.2 modelarts 1.4.25 moxing-framework 2.0.1.rc0.ffd1c0c8 numpy 1.17.0 opencv-python 4.1.2.30 pandas 1.1.5 Pillow 6.2.0 pip 21.0.1 psutil 5.8.0 PyYAML 5.1 scipy 1.2.2 scikit-learn 0.22.1 tornado 6.2 automake build-essential ca-certificates cmake cpp curl ffmpeg g++ gcc gfortran git git-lfs grep libcudnn7 libcudnn7-dev libjpeg-dev:amd64 libjpeg8-dev:amd64 openssh-client openssh-server nginx python3 rpm screen tar tmux unzip vim wget zip

镜像二：pytorch1.10-cuda10.2-cudnn7-ubuntu18.04 表4 pytorch1.10-cuda10.2-cudnn7-ubuntu18.04镜像介绍 AI引擎框架 是否使用 GPU （CUDA 版本） URL 包含的依赖项 Pytorch 1.10 是 （cuda 10.2） swr.{region_id}.myhuaweicloud.com/atelier/pytorch_1_10:pytorch_1.10.2-cuda_10.2-py_3.7-ubuntu_18.04-x86_64-20221008154718-2b3e39c 例如： 华北-北京四 swr.cn-north-4.myhuaweicloud.com/atelier/pytorch_1_10:pytorch_1.10.2-cuda_10.2-py_3.7-ubuntu_18.04-x86_64-20221008154718-2b3e39c 华东-上海一 swr.cn-east-3.myhuaweicloud.com/atelier/pytorch_1_10:pytorch_1.10.2-cuda_10.2-py_3.7-ubuntu_18.04-x86_64-20221008154718-2b3e39c 华南-广州 swr.cn-south-1.myhuaweicloud.com/atelier/pytorch_1_10:pytorch_1.10.2-cuda_10.2-py_3.7-ubuntu_18.04-x86_64-20221008154718-2b3e39c PyPI 程序包 Ubuntu 软件包 torch 1.10.2 torchvision 0.11.3 ipykernel 6.7.0 ipython 7.34.0 jupyter-client 7.4.4 ma-cli 1.2.3 matplotlib 3.5.1 modelarts 1.4.25 moxing-framework 2.1.0.5d9c87c8 numpy 1.19.5 opencv-python 4.1.2.30 pandas 1.1.5 Pillow 9.3.0 pip 21.0.1 psutil 5.8.0 PyYAML 5.1 scipy 1.5.2 scikit-learn 0.22.1 tornado 6.2 automake build-essential ca-certificates cmake cpp curl ffmpeg g++ gcc gfortran git git-lfs grep libcudnn7 libcudnn7-dev libjpeg-dev:amd64 libjpeg8-dev:amd64 openssh-client openssh-server nginx pandoc python3 rpm screen tar tmux unzip vim wget zip

镜像一：pytorch1.8-cuda10.2-cudnn7-ubuntu18.04 表3 pytorch1.8-cuda10.2-cudnn7-ubuntu18.04镜像介绍 AI引擎框架 是否使用 GPU （CUDA 版本） URL 包含的依赖项 PyTorch 1.8 是 （cuda 10.2） swr.{region_id}.myhuaweicloud.com/atelier/pytorch_1_8:pytorch_1.8.0-cuda_10.2-py_3.7-ubuntu_18.04-x86_64-20220926104358-041ba2e 例如： 华北-北京四 swr.cn-north-4.myhuaweicloud.com/atelier/pytorch_1_8:pytorch_1.8.0-cuda_10.2-py_3.7-ubuntu_18.04-x86_64-20220926104358-041ba2e 华东-上海一 swr.cn-east-3.myhuaweicloud.com/atelier/pytorch_1_8:pytorch_1.8.0-cuda_10.2-py_3.7-ubuntu_18.04-x86_64-20220926104358-041ba2e 华南-广州 swr.cn-south-1.myhuaweicloud.com/atelier/pytorch_1_8:pytorch_1.8.0-cuda_10.2-py_3.7-ubuntu_18.04-x86_64-20220926104358-041ba2e PyPI 程序包 Ubuntu 软件包 torch 1.8.0 torchvision 0.9.0 ipykernel 6.7.0 ipython 7.34.0 jupyter-client 7.4.4 ma-cli 1.2.3 matplotlib 3.5.1 modelarts 1.4.25 moxing-framework 2.1.0.5d9c87c8 numpy 1.19.5 opencv-python 4.1.2.30 pandas 1.1.5 Pillow 9.3.0 pip 21.0.1 psutil 5.8.0 PyYAML 5.1 scipy 1.5.2 scikit-learn 0.22.1 tornado 6.2 tensorboard 2.1.1 automake build-essential ca-certificates cmake cpp curl ffmpeg g++ gcc gfortran git git-lfs grep libcudnn7 libcudnn7-dev libjpeg-dev:amd64 libjpeg8-dev:amd64 openssh-client openssh-server nginx pandoc python3 rpm screen tar tmux unzip vim wget zip

操作步骤 打开ModelArts Notebook。 选中Notebook文件（ipynb文件），创建定时任务。 图1 打开Notebook Jobs 在Create Job界面，填写参数后单击“create”。 图2 创建定时任务参数填写 Job name：定时任务名称。 Environment：要运行该Notebook的python环境。 Output formats：执行结果的输出文件类型。 Parameter：单击+，手动设置运行Notebook的python变量。 Schedule：任务执行策略，可以立即运行；也可以设置定时策略运行，支持cron表达式。 cron表达式需要使用linux系统下支持的格式，其他的cron表达式会报错。表达式可能会包含问号，要兼容linux的cron表达式，需将“?”替换为“*”。 设置定时任务后，修改文件名称以及文件内容，已经创建好的任务不受影响。 立即运行后，在Notebook Jobs页签可以看到任务运行记录，右上角Reload刷新。 图3 查看定时任务运行记录 任务执行完成后会出现下载按钮，单击文件名称可以看到执行结果。 图4 查看定时任务执行结果 在Notebook Job Definitions页签可以看到所有的任务列表。单击任务名称，进入设置定时任务界面。可以启动，停止，删除定时任务；通过Edit Job Definition更新该定时任务，也可以查看该定时任务的运行历史。 图5 在Notebook Job Definitions页签单击任务名称 图6 设置定时任务

功能亮点 一键运行：允许用户一键运行Notebook文件，无需逐个执行Cell。 定时任务调度：允许用户设置定时执行代码块的时间和频率。支持秒、分钟、小时和每天/每周/月的时间设置。 支持参数化执行：允许用户在运行时向Notebook传递参数，使得Notebook能根据不同需求调整行为。 任务管理界面：提供用户友好的界面，便于查看、添加和删除定时任务。 任务执行记录：记录每次执行任务的状态和输出，方便后续查看和调试。

命令示例 # 上传文件到OBS中 $ ma-cli obs-copy ./test.csv obs://${your_bucket}/test-copy/ [ OK ] local src path: [ /home/ma-user/work/test.csv ] [ OK ] obs dst path: [ obs://${your_bucket}/test-copy/ ] # 上传文件夹到OBS中，对应上传到OBS的目录为obs://${your_bucket}/test-copy/data/ $ ma-cli obs-copy /home/ma-user/work/data/ obs://${your_bucket}/test-copy/ [ OK ] local src path: [ /home/ma-user/work/data/ ] [ OK ] obs dst path: [ obs://${your_bucket}/test-copy/ ] # 上传文件夹到OBS中，并指定--drop-last-dir，对应上传到OBS的目录为obs://${your_bucket}/test-copy/ $ ma-cli obs-copy /home/ma-user/work/data/ obs://${your_bucket}/test-copy/ --drop-last-dir [ OK ] local src path: [ /home/ma-user/work/data ] [ OK ] obs dst path: [ obs://${your_bucket}/test-copy/ ] # 从OBS下载文件夹到本地磁盘中 $ ma-cli obs-copy obs://${your_bucket}/test-copy/ ~/work/test-data/ [ OK ] obs src path: [ obs://${your_bucket}/test-copy/ ] [ OK ] local dst path: [ /home/ma-user/work/test-data/ ]

使用ma-cli image prune命令在ModelArts Notebook中清理镜像构建缓存 使用ma-cli image prune命令清理镜像构建缓存，仅支持在ModelArts Notebook里使用该命令。 $ ma-cli image prune -h Usage: ma-cli image prune [OPTIONS] Prune image build cache by image-building in Notebook. Example: # Prune image build cache ma-cli image prune Options: -ks, --keep-storage INTEGER Amount of disk space to keep for cache below this limit (in MB) (default: 0). -kd, --keep-duration TEXT Keep cache newer than this limit, support second(s), minute(m) and hour(h) (default: 0s). -v, --verbose Show more verbose output. -D, --debug Debug Mode. Shows full stack trace when error occurs. -h, -H, --help Show this message and exit. 表7 参数说明 参数名 参数类型 是否必选 参数说明 -ks / --keep-storage Int 否 清理缓存时保留的缓存大小，单位是MB，默认是0，表示全部清理。 -kd / --keep-duration String 否 清理缓存时保留较新的缓存，只清除历史缓存，单位为s（秒）、m（分钟）、h（小时），默认是0s，表示全部清理。 -v / --verbose Bool 否 显示详细的信息开关，默认关闭。 示例：清理保留1MB镜像缓存。 ma-cli image prune -ks 1

在ECS上调试SWR镜像是否能在ModelArts Notebook中使用 ma-cli支持在ECS上调试SWR镜像是否可以在ModelArts开发空间中运行，发现镜像中可能存在的问题。 表10 参数说明 参数名 参数类型 是否必选 参数说明 -swr / --swr-path String 是 需要调试的镜像的SWR路径。 -r / --region String 是 需要调试的镜像所在的区域。 -s / --service String 否 调试镜像的服务类型，NOTEBOOK或者MODELBOX，默认是NOTEBOOK。 -a / --arch Sring 否 调试镜像的架构，X86_64或者AARCH64，默认是X86_64。 -g / --gpu Bool 否 使用GPU进行调试开关，默认关闭。

使用ma-cli image register命令注册SWR镜像到ModelArts镜像管理 调试完成后，使用ma-cli image register命令将新镜像注册到ModelArts镜像管理服务中，进而在能够在ModelArts中使用该镜像。 $ma-cli image register -h Usage: ma-cli image register [OPTIONS] Register image to ModelArts. Example: # Register image into ModelArts service ma-cli image register --swr-path=xx # Share SWR image to DLI service ma-cli image register -swr xx -td # Register image into ModelArts service and specify architecture to be 'AARCH64' ma-cli image register --swr-path=xx --arch AARCH64 Options: -swr, --swr-path TEXT SWR path without swr endpoint, eg:organization/image:tag. [required] -a, --arch [X86_64|AARCH64] Image architecture (default: X86_64). -s, --service [NOTEBOOK|MODELBOX] Services supported by this image(default NOTEBOOK). -rs, --resource-category [CPU|GPU|ASCEND] The resource category supported by this image (default: CPU and GPU). -wi, --workspace-id TEXT The workspace to register this image (default: "0"). -v, --visibility [PUBLIC|PRIVATE] PUBLIC: every user can use this image. PRIVATE: only image owner can use this image (Default: PRIVATE). -td, --to-dli Register swr image to DLI, which will share SWR image to DLI service. -d, --description TEXT Image description (default: ""). -C, --config-file PATH Configure file path for authorization. -D, --debug Debug Mode. Shows full stack trace when error occurs. -P, --profile TEXT CLI connection profile to use. The default profile is "DEFAULT". -h, -H, --help Show this message and exit. 表8 参数说明 参数名 参数类型 是否必选 参数说明 -swr / --swr-path String 是 需要注册的镜像的SWR路径。 -a / --arch Sring 否 注册镜像的架构，X86_64或者AARCH64，默认是X86_64。 -s / --service String 否 注册镜像的服务类型，NOTEBOOK或者MODELBOX，默认是NOTEBOOK。 可以输入多个值，如-s NOTEBOOK -s MODELBOX。 -rs / --resource-category String 否 注册镜像能够使用的资源类型，默认是CPU和GPU。 -wi / --workspace-id String 否 注册镜像到指定的工作空间，workspace ID默认是0。 -v / --visibility Bool 否 注册的镜像可见性，PRIVATE（仅自己可见）或者PUBLIC（所有用户可见），默认是PRIVATE。 -td / --to-dli Bool 否 注册镜像到DLI服务。 -d/ --description String 否 填写镜像描述，默认为空。 示例：注册SWR镜像到ModelArts。 ma-cli image register --swr-path=xx

使用ma-cli image unregister命令取消已注册的镜像 使用ma-cli image unregister命令将注册的镜像从ModelArts中删除。 $ ma-cli image unregister -h Usage: ma-cli image unregister [OPTIONS] Unregister image from ModelArts. Example: # Unregister image ma-cli image unregister --image-id=xx # Unregister image and delete it from swr ma-cli image unregister --image-id=xx -d Options: -i, --image-id TEXT Unregister image details by image id. [required] -d, --delete-swr-image Delete the image from swr. -C, --config-file PATH Configure file path for authorization. -D, --debug Debug Mode. Shows full stack trace when error occurs. -P, --profile TEXT CLI connection profile to use. The default profile is "DEFAULT". -h, -H, --help Show this message and exit. 表9 参数说明 参数名 参数类型 是否必选 参数说明 -i / -image-id String 是 需要取消注册的镜像ID。 -d / --delete-swr-image Bool 否 取消注册后同步删除SWR镜像开关，默认关闭。

使用ma-cli image df命令在ModelArts Notebook中查询镜像构建缓存 使用ma-cli image df命令查询镜像构建缓存，仅支持在ModelArts Notebook里使用该命令。 $ ma-cli image df -h Usage: ma-cli image df [OPTIONS] Query disk usage used by image-building in Notebook. Example: # Query image disk usage ma-cli image df Options: -v, --verbose Show detailed information on disk usage. -D, --debug Debug Mode. Shows full stack trace when error occurs. -h, -H, --help Show this message and exit. 表6 参数说明 参数名 参数类型 是否必选 参数说明 -v / --verbose Bool 否 显示详细的信息开关，默认关闭。 示例：在ModelArts Notebook里查看所有镜像缓存。 ma-cli image df 示例：显示镜像缓存占用磁盘的详细信息。 ma-cli image df --verbose

镜像构建命令总览 $ ma-cli image -h Usage: ma-cli image [OPTIONS] COMMAND [ARGS]... Support get registered image list, register or unregister image, debug image, build image in Notebook. Options: -H, -h, --help Show this message and exit. Commands: add-template, at List build-in dockerfile templates. build Build docker image in Notebook. debug Debug SWR image as a Notebook in ECS. df Query disk usage. get-image, gi Query registered image in ModelArts. get-template, gt List build-in dockerfile templates. prune Prune image build cache. register Register image to ModelArts. unregister Unregister image from ModelArts. 表1 镜像构建支持的命令 命令 命令详情 get-template 查询镜像构建模板。 add-template 加载镜像构建模板。 get-image 查询ModelArts已注册镜像。 register 注册SWR镜像到ModelArts镜像管理。 unregister 取消注册ModelArts镜像管理中的已注册镜像。 build 基于指定的Dockerfile构建镜像 （只支持ModelArts Notebook里使用）。 df 查询镜像构建缓存（只支持ModelArts Notebook里使用）。 prune 清理镜像构建缓存 （只支持ModelArts Notebook里使用）。 debug 在ECS上调试SWR镜像是否能在ModelArts Notebook中使用 （只支持已安装docker环境的ECS）。