检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
步骤总览 单机单卡 资源购买: 购买对象存储服务OBS 购买容器镜像服务SWR 创建网络 购买ModelArts专属资源池 基本配置: 权限配置 obsutils安装和配置 (可选)工作空间配置 训练: 线下容器镜像构建及调试 上传镜像 上传数据和算法至OBS(首次使用时需要) 使用Notebook进行代码调试
自定义镜像功能关联服务介绍 容器镜像服务 容器镜像服务(Software Repository for Container,SWR)是一种支持镜像全生命周期管理的服务, 提供简单易用、安全可靠的镜像管理功能,帮助您快速部署容器化服务。您可以通过界面、社区CLI和原生API上传、下载和管理容器镜像。
使用自定义引擎在ModelArts Standard创建模型 使用自定义引擎创建模型,用户可以通过选择自己存储在SWR服务中的镜像作为模型的引擎,指定预先存储于OBS服务中的文件目录路径作为模型包来创建模型,轻松地应对ModelArts平台预置引擎无法满足个性化诉求的场景。 自定义引擎创建模型的规范
rts Standard支持用户构建自定义镜像用于模型训练。 自定义镜像的制作要求用户对容器相关知识有比较深刻的了解,除非订阅算法和预置框架无法满足需求,否则不推荐使用。自定义镜像需上传至容器镜像服务(SWR),才能用于ModelArts Standard上训练。 自定义镜像的启动命令规范
空间受限问题。 容器中挂载存储有多种方式,不同的场景下推荐的存储方式不一样,详情如表1所示。容器存储的基础知识了解请参见存储基础知识,有助您理解本章节内容。您可查看数据盘空间分配说明,了解节点数据盘空间分配的情况,以便您根据业务实际情况配置数据盘大小。 表1 容器挂载存储的方式及差异
MindSpore-GPU engine_id Long 训练作业的引擎ID。 engine_name String 训练作业的引擎名称。 engine_version String 训练作业使用的引擎版本。 请求示例 如下以查看训练作业的资源引擎规格为例。 GET https://endp
部署在线服务使用的模型是从容器镜像中导入时,容器调用接口协议填写错误,会导致此错误信息。 出于安全考虑,ModelArts提供的推理请求都是https请求,从容器镜像中选择导入模型时,ModelArts允许使用的镜像提供https或http服务,但必须在“容器调用接口”中明确指定该镜
地址,但是调用发起方的客户端访问该地址不通,出现无法连接、域名无法解析的现象。 原因分析 在调用指南页签中显示的调用地址都是华为云APIG(API网关服务)的地址。调用发起方的客户端和华为云网络不通。 处理方法 如果客户端位于华为云网络之外,保证客户端所处的网络环境可以连接Internet;
1+cu111-cp37-cp37m-linux_x86_64.whl 编写容器镜像Dockerfile文件。 在context文件夹内新建名为Dockerfile的空文件,并将下述内容写入其中。 # 容器镜像构建主机需要连通公网 # 基础容器镜像, https://github.com/NVIDI
run.sh脚本测试ModelArts训练整体流程 自定义容器在ModelArts上训练和本地训练的区别如下图: 图1 本地与ModelArts上训练对比 ModelArts上进行训练比本地训练多了一步OBS和容器环境的数据迁移工作。 增加了和OBS交互工作的整个训练流程如下:
engine_id String 引擎规格的ID。如“caffe-1.0.0-python2.7”。 engine_name String 引擎规格的名称。如“Caffe”。 engine_version String 引擎规格的版本。对一个引擎名称,有多个版本的引擎,如使用python2.7的"Caffe-1
12.0安装文件(对应python 3.7.13)。 编写容器镜像Dockerfile文件。 在context文件夹内新建名为Dockerfile的空文件,并将下述内容写入其中。 # 容器镜像构建主机需要连通公网 # 基础容器镜像, https://github.com/NVIDI
绍可以参见并行文件系统。 在ModelArts运行态的Notebook容器中,采用动态挂载特性,将OBS对象存储模拟成本地文件系统。其本质是通过挂载工具,将对象协议转为POSIX文件协议。挂载后应用层可以在容器中正常操作OBS对象。 动态挂载适用于哪些使用场景 场景1:数据集预览
参数说明 参数类型 描述 List 引擎规格参数列表,请参见表3。 表3 framework_list参数说明 参数 参数类型 描述 framework_type String 引擎类型。 framework_version String 引擎版本。 表4 调用训练接口失败响应参数
openmpi-3.0.0-bin.tar.gz 编写容器镜像Dockerfile文件。 在context文件夹内新建名为Dockerfile的空文件,并将下述内容写入其中。 # 容器镜像构建主机需要连通公网 # 基础容器镜像, https://github.com/NVIDI
openmpi-3.0.0-bin.tar.gz 编写容器镜像Dockerfile文件。 在context文件夹内新建名为Dockerfile的空文件,并将下述内容写入其中。 # 容器镜像构建主机需要连通公网 # 基础容器镜像, https://github.com/NVIDI
是否支持caffe引擎? ModelArts的python2环境支持使用caffe,目前python3环境无法使用caffe。 父主题: 规格限制
请参考在ECS中创建ma-user和ma-group。 已经安装obsutil,请参考下载和安装obsutil。 参考线下容器镜像构建及调试章节,构建容器镜像并调试,镜像构建及调试与单机单卡相同。 上传镜像,参考单机单卡训练的上传镜像章节操作。 准备数据 登录coco数据集下载
已经在OBS上创建好普通OBS桶,请参见创建普通OBS桶。 已经安装obsutil,请参考下载和安装obsutil。 参考线下容器镜像构建及调试章节,构建容器镜像并调试,镜像构建及调试与单机单卡相同。 上传镜像,参考单机单卡训练的上传镜像章节操作。 操作步骤 登录Imagenet数
1+cu111-cp37-cp37m-linux_x86_64.whl 编写容器镜像Dockerfile文件。 在context文件夹内新建名为Dockerfile的空文件,并将下述内容写入其中。 # 容器镜像构建主机需要连通公网 # 基础容器镜像, https://github.com/NVIDI