检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
OBS对象桶,用户可以自定义名称,例如:test-modelarts-xx -{OBS文件夹} # OBS文件夹,自定义名称,此处举例为pytorch - mnist-data # OBS文件夹,用于存放训练数据集,可以自定义名称,此处举例为mnist-data
使用自定义引擎在ModelArts Standard创建模型 使用自定义引擎创建模型,用户可以通过选择自己存储在SWR服务中的镜像作为模型的引擎,指定预先存储于OBS服务中的文件目录路径作为模型包来创建模型,轻松地应对ModelArts平台预置引擎无法满足个性化诉求的场景。 自定义引擎创建模型的规范
04,通过编写Dockerfile文件制作自定义镜像。 目标:构建安装如下软件的容器镜像,并在ModelArts平台上使用CPU/GPU规格资源运行训练作业。 ubuntu-18.04 cuda-11.1 python-3.7.13 openmpi-3.0.0 操作流程 使用自定义镜像创建训练作业时,需
在ECS中通过Dockerfile从0制作自定义镜像用于推理 针对ModelArts目前不支持的AI引擎,您可以针对该引擎构建自定义镜像,并将镜像导入ModelArts,创建为模型。本文详细介绍如何使用自定义镜像完成模型的创建,并部署成在线服务。 操作流程如下: 本地构建镜像:在本地制作自定义镜像包,镜像包规范可参考创建模型的自定义镜像规范。
04,通过编写Dockerfile文件制作自定义镜像。 目标:构建安装如下软件的容器镜像,并在ModelArts平台上使用CPU/GPU规格资源运行训练作业。 ubuntu-18.04 cuda-11.1 python-3.7.13 pytorch-1.8.1 操作流程 使用自定义镜像创建训练作业时,需
cn/anaconda/cloud\n msys2: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud\n bioconda: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud\n menpo:
自定义引擎创建模型规范 使用自定义引擎创建模型,用户可以通过选择自己存储在SWR服务中的镜像作为模型的引擎,指定预先存储于OBS服务中的文件目录路径作为模型包来创建模型,轻松地应对ModelArts平台预置引擎无法满足个性化诉求的场景。 ModelArts将自定义引擎类型的模型部
Notebook自定义镜像故障基础排查 当制作的自定义镜像使用出现故障时,请用户按照如下方法排查: 用户自定义镜像没有ma-user用户及ma-group用户组; 用户自定义镜像中/home/ma-user目录,属主和用户组不是ma-user和ma-group; 用户自定义镜像必须满足
训练作业”,默认进入“训练作业”列表。 在“创建训练作业”页面,填写相关参数信息,然后单击“下一步”。 创建方式:选择“自定义算法”。 镜像来源:选择“自定义”。 镜像地址:Step5 制作自定义镜像中创建的镜像。“swr.cn-north-4.myhuaweicloud.com/deep-learning/tensorflow:2
在Notebook中通过镜像保存功能制作自定义镜像 通过预置的镜像创建Notebook实例,在基础镜像上安装对应的自定义软件和依赖,在管理页面上进行操作,进而完成将运行的实例环境以容器镜像的方式保存下来。镜像保存后,默认工作目录是根目录“/”路径。 保存的镜像中,安装的依赖包不丢失,持久化存储的部分(hom
制作自定义镜像用于推理。 图1 模型的自定义镜像制作场景一 场景二: 预置镜像既不满足软件环境要求,同时需要放入模型包,在Notebook中通过Dockerfile制作。具体案例参考在Notebook中通过Dockerfile从0制作自定义镜像用于推理。 图2 模型的自定义镜像制作场景二
像。 您制作的自定义镜像需要上传至SWR服务。ModelArts开发环境、训练和创建模型使用的自定义镜像需要从SWR服务管理列表获取。 图1 获取镜像列表 对象存储服务 对象存储服务(Object Storage Service,OBS)是一个基于对象的海量存储服务,为客户提供海
在Notebook中通过Dockerfile从0制作自定义镜像 场景说明 本案例将基于ModelArts提供的MindSpore预置镜像,并借助ModelArts命令行工具(请参考ma-cli镜像构建命令介绍),通过加载镜像构建模板并修改Dockerfile,构建出一个新镜像,最后注册后在Notebook使用。
Notebook自定义镜像制作流程 图1 Notebook自定义镜像制作流程图(适用于场景一和场景二) 场景一:基于Notebook预置镜像或第三方镜像,在服务器上配置docker环境,编写Dockerfile后构建镜像并注册,具体案例参考在ECS上构建自定义镜像并在Notebook中使用
使用预置镜像制作自定义镜像用于训练模型 使用预置框架构建自定义镜像原理介绍 如果先前基于预置框架且通过指定代码目录和启动文件的方式来创建的训练作业;但是随着业务逻辑的逐渐复杂,您期望可以基于预置框架修改或增加一些软件依赖的时候,可以使用预置框架构建自定义镜像,即在创建训练作业页面
制作自定义镜像 确认Docker Engine版本。执行如下命令。 docker version | grep -A 1 Engine 命令回显如下。 Engine: Version: 18.09.0 推荐使用大于等于该版本的Docker Engine来制作自定义镜像。 准备名为context的文件夹。
host:设置为8443。 部署类型:选择在线部署。 图13 设置模型参数 填写apis定义,单击“保存”生效。apis定义中指定输入为文件,具体内容参见下面代码样例。 图14 填写apis定义 apis定义具体内容如下: [{ "url": "/", "method": "post"
平台约束)。具体案例参考: 从0制作自定义镜像用于创建训练作业(PyTorch+CPU/GPU) 从0制作自定义镜像用于创建训练作业(MPI+CPU/GPU) 从0制作自定义镜像用于创建训练作业(Tensorflow+GPU) 从0制作自定义镜像用于创建训练作业(MindSpore+Ascend)
code/ 用于存储Ascend训练脚本文件。 obs://test-modelarts/ascend/demo-code/run_ascend/ 用于存储Ascend训练脚本的启动脚本。 obs://test-modelarts/ascend/log/ 用于存储训练日志文件。 Step2
填写启动命令,启动命令内容如下: sh /home/ma-user/infer/run.sh 填写apis定义,单击“保存”生效。apis定义中指定输入为文件,具体内容参见下面代码样例。 图12 填写apis定义 apis定义具体内容如下: [{ "url": "/", "method": "post"