华为云用户手册

图片标注 在新版自动学习页面的数据标注节点单击“实例详情”按钮，前往数据标注页面。 图2 单击实例详情 依次勾选待标注的图片，或勾选“选择当前页”选中该页面所有图片，在页面右侧进行图片标注。 选中图片后，在页面右侧“添加标签”，输入“标签名”或从下拉列表中选择已添加的标签。单击“确定”，完成选中图片的标注操作。例如，您可以选择多张图片，按照花朵种类将图片标注为“tulips”。同样选择其他未标注分类图片，将其标注为“sunflowers”、“roses”等。标注完成后，图片将存储至“已标注”页签下。 图片标注不支持多标签，即一张图片不可以添加多个标签。 标签名是由中文、大小写字母、数字、中划线或下划线组成。 当图片目录中所有图片都完成标注后，您可以在“已标注”页签下查看已完成标注的图片，或者通过右侧的“全部标签”列表，了解当前已完成的标签名称和标签数量。

同步或添加图片 在“数据标注”节点单击“实例详情”进入数据标注页面，数据标注的图片来源有两种，通过本地添加图片和同步OBS中的图片数据。 图3 添加本地图片 图4 同步OBS图片数据 添加数据：您可以将本地图片快速添加到ModelArts，同时自动上传至创建项目时所选择的OBS路径中。单击“添加数据”，根据弹出的对话框的引导，输入正确的数据并添加。 同步新数据：将图片数据上传至创建项目时指定的OBS目录，然后单击“同步新数据”，快速将原OBS目录中的新数据添加到ModelArts数据集。 删除图片：您可以依次单击选中图片进行删除，也可以勾选“选择当前页”对该页面所有图片进行删除。 所有的删除操作均不可恢复，请谨慎操作。

命令示例 # 上传文件到OBS中 $ ma-cli obs-copy ./test.csv obs://${your_bucket}/test-copy/[ OK ] local src path: [ /home/ma-user/work/test.csv ][ OK ] obs dst path: [ obs://${your_bucket}/test-copy/ ] # 上传文件夹到OBS中，对应上传到OBS的目录为obs://${your_bucket}/test-copy/data/ $ ma-cli obs-copy /home/ma-user/work/data/ obs://${your_bucket}/test-copy/[ OK ] local src path: [ /home/ma-user/work/data/ ][ OK ] obs dst path: [ obs://${your_bucket}/test-copy/ ] # 上传文件夹到OBS中，并指定--drop-last-dir，对应上传到OBS的目录为obs://${your_bucket}/test-copy/ $ ma-cli obs-copy /home/ma-user/work/data/ obs://${your_bucket}/test-copy/ --drop-last-dir[ OK ] local src path: [ /home/ma-user/work/data ][ OK ] obs dst path: [ obs://${your_bucket}/test-copy/ ] # 从OBS下载文件夹到本地磁盘中 $ ma-cli obs-copy obs://${your_bucket}/test-copy/ ~/work/test-data/[ OK ] obs src path: [ obs://${your_bucket}/test-copy/ ][ OK ] local dst path: [ /home/ma-user/work/test-data/ ]

Step5 在开发环境中调试代码 由于已经连接至云端开发环境，此时可以方便地在本地PyCharm中编码、调测并运行。实际运行环境为云上开发环境，资源为云上昇腾AI处理器资源。可以做到本地编写修改代码，直接在云上环境运行。 像本地运行代码一样，直接单击运行按钮运行代码即可，此时虽然是在本地IDE单击的运行按钮，实际上运行的是云端开发环境里的代码，日志可以回显在本地的日志窗口。 图5 调试代码 也可以单击右上角的Run/Debug Configuration来设置运行的参数。 图6 设置运行参数 当需要调试代码时，可以直接打断点，然后使用debug方式运行程序。 图7 代码打断点 图8 Debug方式调试 此时可以进入debug模式，代码运行暂停在该行，且可以查看变量的值。 图9 Debug模式 使用debug方式调试代码的前提是本地的代码和云端的代码是完全一致的，如果不一致可能会导致在本地打断点的行和实际运行时该行的代码并不一样，会出现意想不到的错误。 因此在配置云上Python Interpreter时，推荐选择Automatically upload选项，以保证本地的文件修改能自动上传到云端。如果没有选择自动上传，则本地代码修改完后，也可以参考Step6 同步上传本地文件至Notebook手动上传目录或代码。

前提条件 本地已安装2019.2及以上版本的PyCharm专业版。SSH远程调试功能只限PyCharm专业版。 创建一个Notebook实例，并开启远程SSH开发。该实例状态必须处于“运行中”，具体参见创建Notebook实例章节。 在Notebook实例详情页面获取开发环境IP地址（例如：dev-modelarts-cnnorth4.huaweicloud.com）和端口号。 图1 Notebook实例详情页面 准备好密钥对。 密钥对在用户第一次创建时，自动下载，之后使用相同的密钥时不会再有下载界面（用户一定要保存好），或者每次都使用新的密钥对。

统一镜像更新说明 表1 统一镜像更新说明 镜像名称 更新时间 更新说明 mindspore_2.3.0-cann_8.0.rc1-py_3.9-euler_2.10.7-aarch64-snt9b 2024-05-21 基于昇腾415商发版本，mindspore更新至2.3.0-rc4，cann更新至8.0.rc1 下线ma-cau 1.1.6、ma-cau-adapter 1.1.3 pytorch_2.1.0-cann_8.0.rc1-py_3.9-euler_2.10.7-aarch64-snt9b 2024-05-21 基于昇腾415商发版本，cann更新至8.0.rc1 pytorch_1.11.0-cann_8.0.rc1-py_3.9-euler_2.10.7-aarch64-snt9b 2024-05-21 基于昇腾415商发版本，cann更新至8.0.rc1 mindspore_2.3.0-cann_8.0.rc2-py_3.9-euler_2.10.7-aarch64-snt9b 2024-07-27 基于昇腾715商发版本，mindspore更新至2.3.0，cann更新至8.0.rc2，配套驱动Ascend HDK 24.1.RC2 pytorch_2.1.0-cann_8.0.rc2-py_3.9-euler_2.10.7-aarch64-snt9b 2024-07-27 基于昇腾715商发版本，cann更新至8.0.rc2，配套驱动Ascend HDK 24.1.RC2 pytorch_1.11.0-cann_8.0.rc2-py_3.9-euler_2.10.7-aarch64-snt9b 2024-07-27 基于昇腾715商发版本，cann更新至8.0.rc2，配套驱动Ascend HDK 24.1.RC2

使用ma-cli dli-job stop命令停止 DLI Spark作业 执行ma-cli dli-job stop命令停止DLI Spark作业。 $ ma-cli dli-job stop -hUsage: ma-cli dli-job stop [OPTIONS] Stop DLI spark job by job id. Example: Stop training job by job id ma-cli dli-job stop --job-id ${job_id}Options: -i, --job-id TEXT Get DLI spark job event by job id. [required] -y, --yes Confirm stop operation. -C, --config-file TEXT Configure file path for authorization. -D, --debug Debug Mode. Shows full stack trace when error occurs. -P, --profile TEXT CLI connection profile to use. The default profile is "DEFAULT". -H, -h, --help Show this message and exit. 表8 参数说明 参数名 参数类型 是否必选 参数说明 -i / --job-id String 是 DLI Spark作业ID。 -y / --yes Bool 否 强制关闭指定DLI Spark作业。 示例 ma-cli dli-job stop -i ${your_job_id}

使用ma-cli dli-job get-log命令查询DLI Spark运行日志 执行ma-cli dli-job get-log命令查询DLI Spark作业后台的日志。 $ ma-cli dli-job get-log -hUsage: ma-cli dli-job get-log [OPTIONS] Get DLI spark job log details. Example: # Get job log by job id ma-cli dli-job get-log --job-id ${job_id}Options: -i, --job-id TEXT Get DLI spark job details by job id. [required] -C, --config-file TEXT Configure file path for authorization. -D, --debug Debug Mode. Shows full stack trace when error occurs. -P, --profile TEXT CLI connection profile to use. The default profile is "DEFAULT". -H, -h, --help Show this message and exit. 表4 参数说明 参数名 参数类型 是否必选 参数说明 -i / --job-id String 是 查询指定DLI Spark作业ID的任务日志。 示例：查询指定作业ID的DLI Spark作业运行日志。 ma-cli dli-job get-log --job-id ${your_job_id}

使用ma-cli dli-job get-resource命令查询DLI分组资源 执行ma-cli dli-job get-resource命令获取DLI资源详细信息，如资源名称，资源类型等。 $ ma-cli dli-job get-resource -hUsage: ma-cli dli-job get-resource [OPTIONS] Get DLI resource info. Example: # Get DLI resource details by resource name ma-cli dli-job get-resource --resource-name ${resource_name}Options: -n, --resource-name TEXT Get DLI resource details by resource name. -k, --kind [jar|pyFile|file|modelFile] DLI resources type. -g, --group TEXT Get DLI resources by group. -tags, --tags TEXT Get DLI resources by tags. -C, --config-file TEXT Configure file path for authorization. -D, --debug Debug Mode. Shows full stack trace when error occurs. -P, --profile TEXT CLI connection profile to use. The default profile is "DEFAULT". -H, -h, --help Show this message and exit. 表6 参数说明 参数名 参数类型 是否必选 参数说明 -n / --resource-name String 否 按DLI分组资源名称查询DLI资源详细信息。 -k / --kind String 否 按DLI分组资源类型查询DLI资源详细信息，支持jar、pyFile、file和modelFile。 -g / --group String 否 按DLI分组资源组名查询DLI资源组详细信息。 -tags / --tags String 否 通过DLI分组资源tags获取DLI资源详细信息。 示例：查询所有DLI分组资源信息。 ma-cli dli-job get-resource

使用ma-cli dli-job upload命令上传文件到DLI分组资源 ma-cli dli-job upload命令支持将本地文件或OBS文件上传到DLI资源组。 $ ma-cli dli-job upload -hUsage: ma-cli dli-job upload [OPTIONS] PATHS... Upload DLI resource. Tips: --obs-path is need when upload local file. Example: # Upload an OBS path to DLI resource ma-cli dli-job upload obs://your-bucket/test.py -g test-group --kind pyFile # Upload a local path to DLI resource ma-cli dli-job upload ./test.py -g test-group -obs ${your-bucket} --kind pyFile # Upload local path and OBS path to DLI resource ma-cli dli-job upload ./test.py obs://your-bucket/test.py -g test-group -obs ${your-bucket}Options: -k, --kind [jar|pyFile|file] DLI resources type. -g, --group TEXT DLI resources group. -tags, --tags TEXT DLI resources tags, follow --tags `key1`=`value1`. -obs, --obs-bucket TEXT OBS bucket for upload local file. -async, --is-async whether to upload resource packages in asynchronous mode. The default value is False. -C, --config-file TEXT Configure file path for authorization. -D, --debug Debug Mode. Shows full stack trace when error occurs. -P, --profile TEXT CLI connection profile to use. The default profile is "DEFAULT". -H, -h, --help Show this message and exit. 表7 参数说明 参数名 参数类型 是否必选 参数说明 PATHS String 是 需要上传到DLI分组资源的本地文件路径或者obs路径，支持同时传入多个路径。 -k / --kind String 否 上传文件的类型，支持jar、pyFile和file。 -g / --group String 否 上传文件的DLI分组名。 -tags / --tags String 否 上传文件的tag。 -obs / --obs-bucket String 否 如果上传文件包含本地路径，则需要指定一个OBS桶作为中转。 -async / --is-async Bool 否 异步上传文件，推荐使用。 示例 上传本地文件到DLI分组资源 ma-cli dli-job upload ./test.py -obs ${your-bucket} --kind pyFile 上传OBS文件到DLI分组资源 ma-cli dli-job upload obs://your-bucket/test.py --kind pyFile

Notebook容器挂载目录介绍 创建Notebook实例，存储选择EVS时，Notebook会使用/home/ma-user/work目录作为用户的工作空间持久化存储。 存放在work目录的内容，在实例停止、重新启动后依然保留，其他目录下的内容不会保留，使用开发环境时建议将需要持久化的数据放在/home/ma-user/work目录。 更多Notebook实例的目录挂载情况（以下挂载点在保存镜像的时候不会保存）如表4所示。 表4 Notebook挂载目录介绍 挂载点 是否只读 备注 /home/ma-user/work/ 否 客户数据的持久化目录。 /data 否 客户PFS的挂载目录。 /cache 否 裸机规格时支持，用于挂载宿主机NVMe的硬盘。 /train-worker1-log 否 兼容训练作业调试过程。 /dev/shm 否 用于PyTorch引擎加速。

打开Notebook实例 针对创建好的Notebook实例（即状态为“运行中”的实例），可以打开Notebook并在开发环境中启动编码。 pytorch、tensorflow、mindspore、tensorflow-mindspore、cylp-cbcpy、rlstudio-ray、mindquantum-mindspore镜像支持以下2种方式访问： 在线JupyterLab访问，具体参见通过JupyterLab在线使用Notebook实例进行AI开发。 本地IDE使用PyCharm工具，远程连接访问，具体参见通过PyCharm远程使用Notebook实例。 本地IDE使用VS Code工具，远程连接访问，具体参见通过VS Code远程使用Notebook实例。 本地IDE使用SSH工具，远程连接访问，具体参见通过SSH工具远程使用Notebook。 ModelArts提供的Notebook实例是以ma-user启动的，用户进入实例后，工作目录默认是/home/ma-user。

背景信息 Notebook使用涉及到计费，具体收费项如下： 处于“运行中”状态的Notebook，会消耗资源，产生费用。根据您选择的资源不同，收费标准不同，价格详情请参见产品价格详情。当您不需要使用Notebook时，建议停止Notebook，避免产生不必要的费用。 创建Notebook时，如果选择使用云硬盘EVS存储配置，实例不删除，云硬盘EVS会一直收费，建议及时停止并删除Notebook，避免产品不必要的费用。 在创建Notebook时，默认会开启自动停止功能，在指定时间内停止运行Notebook，避免资源浪费。 只有处于“运行中”状态的Notebook，才可以执行打开、停止操作。 一个账户最多创建10个Notebook。

Notebook选择存储说明 不同存储的实现方式都不同，在性能、易用性、成本的权衡中可以有不同的选择，没有一个存储可以覆盖所有场景，了解下云上开发环境中各种存储使用场景说明，更能提高使用效率。 表5 云上开发环境中各种存储使用场景说明 存储类型 建议使用场景 优点 缺点 云硬盘EVS 比较适合只在开发环境中做数据、算法探索，性能较好。 块存储SSD，可以理解为一个磁盘，整体IO性能比NFS要好，可以动态扩充，最大可以到4096GB。 云硬盘EVS作为持久化存储挂载在/home/ma-user/work目录下，该目录下的内容在实例停止后会被保留，存储支持在线按需扩容。 只能在单个开发环境中使用 。 并行文件系统PFS 说明： 并行文件系统PFS为白名单功能，如需使用，请联系华为技术支持开通。 仅支持挂载同一区域下的OBS并行文件系统（PFS）。 适合直接使用PFS桶作为持久化存储进行AI开发和探索，使用场景如下。 数据集的存储。将存储在PFS桶的数据集直接挂载到Notebook进行浏览和数据处理，在训练时直接使用。直接在创建Notebook的时候选择并行文件系统PFS。 或在实例运行后，将承载数据集的OBS并行文件系统动态挂载至Notebook中，详细操作请参考动态挂载OBS并行文件系统。 代码的存储。在Notebook调测完成，可以直接指定对应的对象存储路径作为启动训练的代码路径，方便临时修改。 训练观测。可以将训练日志等输出路径进行挂载，在Notebook中实时查看和观测，特别是利用TensorBoard可视化功能完成对训练输出的分析。 PFS是一种经过优化的高性能对象存储文件系统，存储成本低，吞吐量大，能够快速处理高性能计算（HPC）工作负载。在需要使用 对象存储服务 场景下，推荐使用PFS挂载。 说明： 建议上传时按照128MB或者64MB打包或者切分，使用时边下载边解压后在本地存储读取，以获取更好的读写与吞吐性能。 小文件频繁读写性能较差，例如直接作为存储用于模型重型训练，大文件解压等场景慎用。 说明： PFS挂载需要用户对当前桶授权给ModelArts完整读写权限，Notebook删除后，此权限策略不会被删除。 对象存储服务OBS 说明： OBS对象存储为白名单功能，如需使用，请联系华为技术支持开通。 仅支持挂载同一区域下的OBS对象存储。 在开发环境中做大规模的数据上传下载时，可以通过OBS桶做中转。 存储成本低，吞吐量大，但是小文件读写较弱。建议上传时按照128MB或者64MB打包或者切分，使用时边下载边解压后在本地读取。 对象存储语义，和Posix语义有区别，需要进一步理解。 弹性文件服务SFS 目前只支持在专属资源池中使用；针对探索、实验等非正式生产场景，建议使用这种。开发环境和训练环境可以同时挂载一块SFS存储，省去了每次训练作业下载数据的要求，一般来说重IO读写模型，超过32卡的大规模训练不适合。 实现为NFS，可以在多个开发环境、开发环境和训练之间共享，如果不需要重型分布式训练作业，特别是启动训练作业时，不需要额外再对数据进行下载，这种存储便利性可以作为首选。 性能比EVS云硬盘块存储低。 OceanStor Pacific存储（SFS容量型2.0） 目前只支持在天工资源池中使用。 适合直接使用SFS容量型2.0提供的文件系统作为训练作业所需的存储进行AI模型的训练和探索。同时提供OBS接口，支持从云外导入训练数据。 提供高性能文件客户端，满足重型训练作业中对存储高带宽诉求，同时提供OBS访问功能，同一份训练数据通过OBS接口导入到存储之后不需要再进相关转化，即可支持模型训练。 提供对象存储语义，和Posix语义有区别，需要进一步理解。 本地存储 重型训练作业首选 运行所在虚拟机或者裸金属机器上自带的SSD高性能存储，文件读写的吞吐量大，建议对于重型训练作业先将数据准备到对应目录再启动训练。 默认在容器/cache目录下进行挂载，/cache目录可用空间请参考开发环境中不同Notebook规格资源“/cache”目录的大小。 存储生命周期和容器生命周期绑定，每次训练都要下载数据。 在开发环境中如何使用云硬盘EVS块存储？ 例如，在创建Notebook实例时选择云硬盘EVS存储小容量，Notebook运行过程中如果发现存储容量不够，可以扩容，请参考动态扩充云硬盘EVS容量。 在开发环境中如何使用OBS并行文件系统？ 例如，在Notebook中训练时，可直接使用挂载至Notebook容器中的数据集，在运行过程中可以动态挂载OBS并行文件系统。

附录2：模型包文件样例 模型包文件model.zip中需要用户自己准备模型文件，此处仅是举例示意说明，以一个手写数字识别模型为例。 Model目录下必须要包含推理脚本文件customize_service.py，目的是为开发者提供模型预处理和后处理的逻辑。 图16 推理模型model目录示意图（需要用户自己准备模型文件） 推理脚本customize_service.py的具体写法要求可以参考模型推理代码编写说明。 本案例中提供的customize_service.py文件具体内容如下： import loggingimport threadingimport numpy as npimport tensorflow as tffrom PIL import Imagefrom model_service.tfserving_model_service import TfServingBaseServiceclass mnist_service(TfServingBaseService): def __init__(self, model_name, model_path): self.model_name = model_name self.model_path = model_path self.model = None self.predict = None # 非阻塞方式加载saved_model模型，防止阻塞超时 thread = threading.Thread(target=self.load_model) thread.start() def load_model(self): # load saved_model 格式的模型 self.model = tf.saved_model.load(self.model_path) signature_defs = self.model.signatures.keys() signature = [] # only one signature allowed for signature_def in signature_defs: signature.append(signature_def) if len(signature) == 1: model_signature = signature[0] else: logging.warning("signatures more than one, use serving_default signature from %s", signature) model_signature = tf.saved_model.DEFAULT_SERVING_SIGNATURE_DEF_KEY self.predict = self.model.signatures[model_signature] def _preprocess(self, data): images = [] for k, v in data.items(): for file_name, file_content in v.items(): image1 = Image.open(file_content) image1 = np.array(image1, dtype=np.float32) image1.resize((28, 28, 1)) images.append(image1) images = tf.convert_to_tensor(images, dtype=tf.dtypes.float32) preprocessed_data = images return preprocessed_data def _inference(self, data): return self.predict(data) def _postprocess(self, data): return { "result": int(data["output"].numpy()[0].argmax()) }

附录1：Dockerfile模板 Dockerfile样例，此样例可以直接另存为一个Dockerfile文件使用。此处可以使用的基础镜像列表请参见推理专属预置镜像列表。 FROM swr.cn-north-4.myhuaweicloud.com/atelier/tensorflow_2_1:tensorflow_2.1.0-cuda_10.1-py_3.7-ubuntu_18.04-x86_64-20221121111529-d65d817# here create a soft link from '/home/ma-user/anaconda/lib/python3.7/site-packages/model_service' to '/home/ma-user/infer/model_service'. It’s the build-in inference framework code dir# if the installed python version of this base image is python3.8, you should create a soft link from '/home/ma-user/anaconda/lib/python3.8/site-packages/model_service' to '/home/ma-user/infer/model_service'.USER rootRUN ln -s /home/ma-user/anaconda/lib/python3.7/site-packages/model_service /home/ma-user/infer/model_serviceUSER ma-user# here we supply a demo, you can change it to your own model filesADD model/ /home/ma-user/infer/model/1USER rootRUN chown -R ma-user:ma-group /home/ma-user/infer/model/1USER ma-user# default MODELARTS_SSL_CLIENT_VERIFY switch is "true". In order to debug, we set it to be "false"ENV MODELARTS_SSL_CLIENT_VERIFY="false"# change your port and protocol here, default is 8443 and https# ENV MODELARTS_SERVICE_PORT=8080# ENV MODELARTS_SSL_ENABLED="false"# add pip install here# RUN pip install numpy==1.16.4# RUN pip install -r requirements.txt# default cmd, you can chage it here# CMD sh /home/ma-user/infer/run.sh

Step2 构建成功的镜像注册到镜像管理模块 将Step1 在Notebook中构建一个新镜像中构建成功的 自定义镜像 注册到镜像管理中，方便后续使用。 登录ModelArts控制台，在左侧导航栏中选择“镜像管理”，单击“注册镜像”，进入注册镜像页面。 输入镜像源地址，选择架构和类型后，单击“立即注册”。 “镜像源”：地址为swr.cn-north-4-myhuaweicloud.com/custom_test/tensorflow2.1:1.0.0。其中custom_test/tensorflow2.1:1.0.0为8镜像构建脚本中设置的镜像地址。 “架构”：选择X86_64 “类型”：选择CPU 图6 注册镜像 注册完成后，可以在镜像管理页面查看到注册成功的镜像。

场景说明 针对ModelArts目前不支持的AI引擎，您可以通过自定义镜像的方式将编写的模型导入ModelArts，创建为模型。 本文详细介绍如何在ModelArts的开发环境Notebook中使用基础镜像构建一个新的推理镜像，并完成模型的创建，部署为在线服务。本案例仅适用于华为云北京四和上海一站点。 操作流程如下： Step1 在Notebook中构建一个新镜像：在ModelArts的开发环境Notebook中制作自定义镜像，镜像规范可参考创建模型的自定义镜像规范。 Step2 构建成功的镜像注册到镜像管理模块：将构建成功的自定义镜像注册到ModelArts的镜像管理模块中，方便下一步调试。 Step3 在Notebook中变更镜像并调试：在Notebook中调试镜像。 Step4 使用调试成功的镜像用于推理部署：将调试完成的镜像导入ModelArts的模型管理中，并部署上线。

镜像一：tensorflow1.15-mindspore1.7.0-cann5.1.0-euler2.8-aarch64 表17 tensorflow1.15-mindspore1.7.0-cann5.1.0-euler2.8-aarch64镜像介绍 AI引擎框架 URL 包含的依赖项 Mindspore-Ascend 1.7.0 swr.{region_id}.myhuaweicloud.com/atelier/notebook2.0-mul-kernel-arm-ascend-cp37:5.0.1-c81-20220726 例如： 华北-北京四 swr.cn-north-4.myhuaweicloud.com/atelier/notebook2.0-mul-kernel-arm-ascend-cp37:5.0.1-c81-20220726 PyPI 程序包 Yum 软件包 mindspore-ascend 1.7.0 ipykernel 6.7.0 ipython 7.29.0 jupyter-client 7.0.6 ma-cli 1.2.3 matplotlib 3.1.2 modelarts 1.4.25 moxing-framework 2.0.0.rc2.4b57a67b numpy 1.17.5 pandas 1.1.3 Pillow 7.0.0 pip 21.2.4 psutil 5.7.0 PyYAML 5.3.1 scipy 1.5.4 scikit-learn 0.24.0 tornado 6.1 mindinsight 1.7.0 cmake cpp curl ffmpeg g++ gcc git grep python3 rpm tar unzip wget zip

镜像二：tensorflow1.15-cann5.1.0-py3.7-euler2.8.3 表18 tensorflow1.15-cann5.1.0-py3.7-euler2.8.3镜像介绍 AI引擎框架 是否使用昇腾 （CANN版本） URL 包含的依赖项 Tensorflow 1.15 是 （CANN 5.1） swr.{region-id}.{局点 域名 }/atelier/ tensorflow_1_15_ascend:tensorflow_1.15-cann_5.1.0-py_3.7-euler_2.8.3-aarch64-d910-20220906 PyPI 程序包 Yum 软件包 tensorflow 1.15.0 tensorboard 1.15.0 ipykernel 5.3.4 ipython 7.34.0 jupyter-client 7.3.4 ma-cli 1.2.3 matplotlib 3.5.1 modelarts 1.4.25 moxing-framework 2.0.1.rc0.ffd1c0c8 numpy 1.17.5 pandas 0.24.2 Pillow 9.2.0 pip 22.1.2 psutil 5.7.0 PyYAML 5.3.1 scipy 1.3.3 scikit-learn 0.20.0 tornado 6.2 ca-certificates.noarch cmake cpp curl gcc-c++ gcc gdb grep nginx python3 rpm tar unzip vim wget zip

镜像三：mindspore1.7.0-cann5.1.0-py3.7-euler2.8.3 表16 mindspore1.7.0-cann5.1.0-py3.7-euler2.8.3镜像介绍 AI引擎框架 URL 包含的依赖项 Mindspore-Ascend 1.7.0 swr.{region_id}.myhuaweicloud.com/atelier/mindspore_1_7_0:mindspore_1.7.0-cann_5.1.0-py_3.7-euler_2.8.3-aarch64-d910-20220906 例如： 华北-北京四 swr.cn-north-4.myhuaweicloud.com/atelier/mindspore_1_7_0:mindspore_1.7.0-cann_5.1.0-py_3.7-euler_2.8.3-aarch64-d910-20220906 PyPI 程序包 Yum 软件包 mindspore-ascend 1.7.0 ipykernel 5.3.4 ipython 7.34.0 jupyter-client 7.3.4 ma-cli 1.2.3 matplotlib 3.5.1 modelarts 1.4.25 moxing-framework 2.0.1.rc0.ffd1c0c8 numpy 1.21.2 pandas 1.1.3 Pillow 9.2.0 pip 22.1.2 psutil 5.7.0 PyYAML 5.3.1 scipy 1.5.4 scikit-learn 0.24.0 tornado 6.2 mindinsight 1.7.0 cmake cpp curl ffmpeg g++ gcc git grep python3 rpm tar unzip wget zip

镜像四：mindspore1.2.0-openmpi2.1.1-ubuntu18.04 表11 mindspore1.2.0-openmpi2.1.1-ubuntu18.04镜像介绍 AI引擎框架 是否使用 GPU （CUDA 版本） URL 包含的依赖项 Mindspore 1.2.0 无 swr.{region_id}.myhuaweicloud.com/atelier/mindspore_1_2_0:mindspore_1.2.0-py_3.7-ubuntu_18.04-x86_64-20220926104106-041ba2e 例如： 华北-北京四 swr.cn-north-4.myhuaweicloud.com/atelier/mindspore_1_2_0:mindspore_1.2.0-py_3.7-ubuntu_18.04-x86_64-20220926104106-041ba2e 华东-上海一 swr.cn-east-3.myhuaweicloud.com/atelier/mindspore_1_2_0:mindspore_1.2.0-py_3.7-ubuntu_18.04-x86_64-20220926104106-041ba2e 华南-广州 swr.cn-south-1.myhuaweicloud.com/atelier/mindspore_1_2_0:mindspore_1.2.0-py_3.7-ubuntu_18.04-x86_64-20220926104106-041ba2e PyPI 程序包 Ubuntu 软件包 mindspore 1.2.0 ipykernel 6.7.0 ipython 7.34.0 jupyter-client 7.4.6 ma-cli 1.2.3 matplotlib 3.5.1 modelarts 1.4.25 moxing-framework 2.1.0.5d9c87c8 numpy 1.19.5 pandas 1.1.5 Pillow 6.2.0 pip 21.0.1 psutil 5.8.0 PyYAML 5.1 scipy 1.5.2 scikit-learn 0.22.1 tornado 6.2 mindinsight 1.2.0 automake build-essential ca-certificates cmake cpp curl ffmpeg g++ gcc gfortran git git-lfs grep libjpeg-dev:amd64 libjpeg8-dev:amd64 openssh-client openssh-server nginx python3 rpm screen tar tmux unzip vim wget zip

Notebook基础镜像x86 自定义专用镜像 自定义镜像包含两种镜像：conda3-cuda10.2-cudnn7-ubuntu18.04，conda3-ubuntu18.04，该类镜像是无AI引擎以及相关的软件包，镜像较小，只有2~5G。用户使用此类镜像做基础镜像，安装自己需要的引擎版本和依赖包，可扩展性更高。并且这些镜像预置了一些开发环境启动所必要的配置，用户无需对此做任何适配，安装所需的软件包即可使用。 此类镜像为最基础的镜像，主要应对用户做自定义镜像时基础镜像太大的问题，所以镜像中未安装任何组件；如果需使用OBS SDK相关功能，推荐使用ModelArts SDK进行文件复制等操作，详细操作请参考文件传输。

镜像一：mindspore_1.10.0-cann_6.0.1-py_3.7-euler_2.8.3 表14 mindspore_1.10.0-cann_6.0.1-py_3.7-euler_2.8.3镜像介绍 AI引擎框架 URL 包含的依赖项 Mindspore-Ascend 1.10.0 {region_id}.myhuaweicloud.com/atelier/mindspore_1_10_ascend:mindspore_1.10.0-cann_6.0.1-py_3.7-euler_2.8.3-aarch64-d910-20230303173945-815d627 例如： 华北-北京四 swr.cn-north-4.myhuaweicloud.com/atelier/mindspore_1_10_ascend:mindspore_1.10.0-cann_6.0.1-py_3.7-euler_2.8.3-aarch64-d910-20230303173945-815d627 PyPI 程序包 Yum 软件包 mindspore-ascend 1.10.0 ipykernel 6.7.0 ipython 7.34.0 jupyter-client 7.4.5 ma-cli 1.2.3 matplotlib 3.5.1 modelarts 1.4.25 moxing-framework 2.0.1.rc0.ffd1c0c8 numpy 1.21.2 pandas 1.1.3 Pillow 9.4.0 pip 21.0.1 psutil 5.7.0 PyYAML 5.3.1 scipy 1.5.4 scikit-learn 0.24.0 tornado 6.2 mindinsight 1.9.0 cmake cpp curl ffmpeg g++ gcc git grep python3 rpm tar unzip wget zip

镜像一：conda3-cuda10.2-cudnn7-ubuntu18.04 表12 conda3-cuda10.2-cudnn7-ubuntu18.04镜像介绍 AI引擎框架 是否使用 GPU （CUDA 版本） URL 包含的依赖项 无 是 （cuda 10.2） swr.{region_id}.myhuaweicloud.com/atelier/user_defined_base:cuda_10.2-ubuntu_18.04-x86_64-20221008154718-2b3e39c 例如： 华北-北京四 swr.cn-north-4.myhuaweicloud.com/atelier/user_defined_base:cuda_10.2-ubuntu_18.04-x86_64-20221008154718-2b3e39c 华东-上海一 swr.cn-east-3.myhuaweicloud.com/atelier/user_defined_base:cuda_10.2-ubuntu_18.04-x86_64-20221008154718-2b3e39c 华南-广州 swr.cn-south-1.myhuaweicloud.com/atelier/user_defined_base:cuda_10.2-ubuntu_18.04-x86_64-20221008154718-2b3e39c PyPI 程序包 Ubuntu 软件包 ipykernel 6.7.0 ipython 7.34.0 jupyter-client 7.4.9 ma-cli 1.2.3 matplotlib 3.5.2 modelarts 1.4.25 moxing-framework 2.1.6.879ab2f4 numpy 1.21.6 pandas 1.3.5 Pillow 9.5.0 pip 20.3.3 psutil 5.9.4 PyYAML 6.0 scipy 1.7.3 tornado 6.2 automake build-essential ca-certificates cmake cpp curl g++ gcc gfortran grep libcudnn7 libcudnn7-dev nginx python3 rpm tar unzip vim wget zip

镜像三：mindspore1.2.0-cuda10.1-cudnn7-ubuntu18.04 表10 mindspore1.2.0-cuda10.1-cudnn7-ubuntu18.04镜像介绍 AI引擎框架 是否使用 GPU （CUDA 版本） URL 包含的依赖项 Mindspore-gpu 1.2.0 是 （cuda 10.1） swr.{region_id}.myhuaweicloud.com/atelier/mindspore_1_2_0:mindspore_1.2.0-py_3.7-cuda_10.1-ubuntu_18.04-x86_64-20220926104106-041ba2e 例如： 华北-北京四 swr.cn-north-4.myhuaweicloud.com/atelier/mindspore_1_2_0:mindspore_1.2.0-py_3.7-cuda_10.1-ubuntu_18.04-x86_64-20220926104106-041ba2e 华东-上海一 swr.cn-east-3.myhuaweicloud.com/atelier/mindspore_1_2_0:mindspore_1.2.0-py_3.7-cuda_10.1-ubuntu_18.04-x86_64-20220926104106-041ba2e 华南-广州 swr.cn-south-1.myhuaweicloud.com/atelier/mindspore_1_2_0:mindspore_1.2.0-py_3.7-cuda_10.1-ubuntu_18.04-x86_64-20220926104106-041ba2e PyPI 程序包 Ubuntu 软件包 mindspore-gpu 1.2.0 ipykernel 6.7.0 ipython 7.34.0 jupyter-client 7.4.6 ma-cli 1.2.3 matplotlib 3.5.1 modelarts 1.4.25 moxing-framework 2.1.0.5d9c87c8 numpy 1.19.5 pandas 1.1.5 Pillow 6.2.0 pip 21.0.1 psutil 5.8.0 PyYAML 5.1 scipy 1.5.2 scikit-learn 0.22.1 tornado 6.2 mindinsight 1.2.0 automake build-essential ca-certificates cmake cpp curl ffmpeg g++ gcc gfortran git git-lfs grep libcudnn7 libcudnn7-dev libjpeg-dev:amd64 libjpeg8-dev:amd64 openssh-client openssh-server nginx python3 rpm screen tar tmux unzip vim wget zip

镜像二：conda3-ubuntu18.04 表13 conda3-ubuntu18.04镜像介绍 AI引擎框架 是否使用 GPU （CUDA 版本） URL 包含的依赖项 无 否 swr.{region_id}.myhuaweicloud.com/atelier/user_defined_base:ubuntu_18.04-x86_64-20221008154718-2b3e39c 例如： 华北-北京四 swr.cn-north-4.myhuaweicloud.com/atelier/user_defined_base:ubuntu_18.04-x86_64-20221008154718-2b3e39c 华东-上海一 swr.cn-east-3.myhuaweicloud.com/atelier/user_defined_base:ubuntu_18.04-x86_64-20221008154718-2b3e39c 华南-广州 swr.cn-south-1.myhuaweicloud.com/atelier/user_defined_base:ubuntu_18.04-x86_64-20221008154718-2b3e39c PyPI 程序包 Ubuntu 软件包 ipykernel 6.7.0 ipython 7.34.0 jupyter-client 7.4.9 ma-cli 1.2.3 matplotlib 3.5.2 modelarts 1.4.25 moxing-framework 2.1.6.879ab2f4 numpy 1.21.6 pandas 1.3.5 Pillow 9.5.0 pip 20.3.3 psutil 5.9.4 PyYAML 6.0 scipy 1.7.3 tornado 6.2 automake build-essential ca-certificates cmake cpp curl g++ gcc gfortran grep nginx python3 rpm tar unzip vim wget zip

镜像二：mindspore1.7.0-py3.7-ubuntu18.04 表9 mindspore1.7.0-py3.7-ubuntu18.04镜像介绍 AI引擎框架 是否使用 GPU （CUDA 版本） URL 包含的依赖项 Mindspore 1.7.0 无 swr.{region_id}.myhuaweicloud.com/atelier/mindspore_1_7_0:mindspore_1.7.0-cpu-py_3.7-ubuntu_18.04-x86_64-20220926104017-041ba2e 例如： 华北-北京四 swr.cn-north-4.myhuaweicloud.com/atelier/mindspore_1_7_0:mindspore_1.7.0-cpu-py_3.7-ubuntu_18.04-x86_64-20220926104017-041ba2e 华东-上海一 swr.cn-east-3.myhuaweicloud.com/atelier/mindspore_1_7_0:mindspore_1.7.0-cpu-py_3.7-ubuntu_18.04-x86_64-20220926104017-041ba2e 华南-广州 swr.cn-south-1.myhuaweicloud.com/atelier/mindspore_1_7_0:mindspore_1.7.0-cpu-py_3.7-ubuntu_18.04-x86_64-20220926104017-041ba2e PyPI 程序包 Ubuntu 软件包 mindspore 1.7.0 ipykernel 6.7.0 ipython 7.34.0 jupyter-client 7.4.6 ma-cli 1.2.3 matplotlib 3.5.1 modelarts 1.4.25 moxing-framework 2.1.0.5d9c87c8 numpy 1.19.5 pandas 1.1.5 Pillow 9.3.0 pip 21.0.1 psutil 5.8.0 PyYAML 5.1 scipy 1.5.2 scikit-learn 0.22.1 tornado 6.2 mindinsight 1.7.0 mindvision 0.1.0 automake build-essential ca-certificates cmake cpp curl ffmpeg g++ gcc gfortran git git-lfs grep libjpeg-dev:amd64 libjpeg8-dev:amd64 openssh-client openssh-server nginx python3 rpm screen tar tmux unzip vim wget zip

镜像二：mindspore_1.9.0-cann_6.0.0-py_3.7-euler_2.8.3 表15 mindspore_1.9.0-cann_6.0.0-py_3.7-euler_2.8.3镜像介绍 AI引擎框架 URL 包含的依赖项 MindSpore 1.9.0 swr.{region_id}.myhuaweicloud.com/atelier/mindspore_1_9_ascend:mindspore_1.9.0-cann_6.0.0-py_3.7-euler_2.8.3-aarch64-d910-20221116111529 例如： 华北-北京四 swr.cn-north-4.myhuaweicloud.com/atelier/mindspore_1_9_ascend:mindspore_1.9.0-cann_6.0.0-py_3.7-euler_2.8.3-aarch64-d910-20221116111529 PyPI 程序包 Yum 软件包 mindspore-ascend 1.9.0 ipykernel 6.7.0 ipython 7.34.0 jupyter-client 7.4.5 ma-cli 1.2.3 matplotlib 3.5.1 modelarts 1.4.25 moxing-framework 2.0.1.rc0.ffd1c0c8 numpy 1.21.2 pandas 1.1.3 Pillow 9.3.0 pip 22.3.1 psutil 5.7.0 PyYAML 5.3.1 scipy 1.5.4 scikit-learn 0.24.0 tornado 6.2 mindinsight 1.9.0 cmake cpp curl ffmpeg g++ gcc git grep python3 rpm tar unzip wget zip

镜像二：pytorch1.10-cuda10.2-cudnn7-ubuntu18.04 表4 pytorch1.10-cuda10.2-cudnn7-ubuntu18.04镜像介绍 AI引擎框架 是否使用 GPU （CUDA 版本） URL 包含的依赖项 Pytorch 1.10 是 （cuda 10.2） swr.{region_id}.myhuaweicloud.com/atelier/pytorch_1_10:pytorch_1.10.2-cuda_10.2-py_3.7-ubuntu_18.04-x86_64-20221008154718-2b3e39c 例如： 华北-北京四 swr.cn-north-4.myhuaweicloud.com/atelier/pytorch_1_10:pytorch_1.10.2-cuda_10.2-py_3.7-ubuntu_18.04-x86_64-20221008154718-2b3e39c 华东-上海一 swr.cn-east-3.myhuaweicloud.com/atelier/pytorch_1_10:pytorch_1.10.2-cuda_10.2-py_3.7-ubuntu_18.04-x86_64-20221008154718-2b3e39c 华南-广州 swr.cn-south-1.myhuaweicloud.com/atelier/pytorch_1_10:pytorch_1.10.2-cuda_10.2-py_3.7-ubuntu_18.04-x86_64-20221008154718-2b3e39c PyPI 程序包 Ubuntu 软件包 torch 1.10.2 torchvision 0.11.3 ipykernel 6.7.0 ipython 7.34.0 jupyter-client 7.4.4 ma-cli 1.2.3 matplotlib 3.5.1 modelarts 1.4.25 moxing-framework 2.1.0.5d9c87c8 numpy 1.19.5 opencv-python 4.1.2.30 pandas 1.1.5 Pillow 9.3.0 pip 21.0.1 psutil 5.8.0 PyYAML 5.1 scipy 1.5.2 scikit-learn 0.22.1 tornado 6.2 automake build-essential ca-certificates cmake cpp curl ffmpeg g++ gcc gfortran git git-lfs grep libcudnn7 libcudnn7-dev libjpeg-dev:amd64 libjpeg8-dev:amd64 openssh-client openssh-server nginx pandoc python3 rpm screen tar tmux unzip vim wget zip