检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
准备镜像 镜像方案说明 ECS获取和上传基础镜像 使用基础镜像 ECS中构建新镜像 父主题: 准备工作
准备镜像 镜像方案说明 ECS获取和上传基础镜像 使用基础镜像 ECS中构建新镜像 Notebook中构建新镜像 父主题: 准备工作
准备镜像 镜像方案说明 ECS获取和上传基础镜像 使用基础镜像 ECS中构建新镜像 父主题: 准备工作
准备镜像 镜像方案说明 ECS获取和上传基础镜像 使用基础镜像 ECS中构建新镜像 父主题: 准备工作
已有镜像迁移至ModelArts用于训练模型 场景描述 本地已有镜像,需要做云上适配,用于ModelArts模型训练。 操作步骤 参考如下Dockerfile,修改已有镜像,使其符合模型训练的自定义镜像规范。
中使用 场景二:基于Notebook提供的预置镜像或第三方镜像,借助ModelArts命令行工具(ma-cli镜像构建命令介绍)制作和注册镜像,构建一个面向AI开发的自定义镜像。
查询基础镜像(第三方镜像可跳过此步骤) ModelArts提供的公共镜像,请参考Notebook专属预置镜像列表,根据预置镜像的引擎类型在对应的章节查看镜像URL。 连接容器镜像服务。 登录容器镜像服务控制台。
ModelArts后台暂不支持下载开源安装包,建议用户在自定义镜像中安装训练所需的依赖包。 自定义镜像需上传至容器镜像服务(SWR)才能在ModelArts上用于训练。 父主题: 制作自定义镜像用于训练模型
、sys.path; 用户使用了已开启sudo权限的专属池,使用自定义镜像时,sudo工具未安装或安装错误; 用户使用的cann、cuda环境有兼容性问题; 用户的docker镜像配置错误、网络或防火墙限制、镜像构建问题(文件权限、依赖缺失或构建命令错误)等原因导致的。
在“我的资产 > 镜像”下,选择未发布的镜像,单击镜像名称,进入镜像详情页。 在镜像详情页,单击右侧“发布”,在发布镜像页面编辑发布信息后,单击“发布”。 表1 发布镜像的参数说明 参数名称 说明 中文名称 镜像发布后显示的名称,在创建镜像时设置的名称,此处不可编辑。
镜像方案说明 准备大模型训练适用的容器镜像,包括获取镜像地址,了解镜像中包含的各类固件版本,配置Standard物理机环境操作。 基础镜像地址 本教程中用到的训练的基础镜像地址和配套版本关系如下表所示,请提前了解。
镜像方案说明 准备大模型训练适用的容器镜像,包括获取镜像地址,了解镜像中包含的各类固件版本,配置Standard物理机环境操作。 基础镜像地址 本教程中用到的训练的基础镜像地址和配套版本关系如下表所示,请提前了解。
使用基础镜像 通过ECS获取和上传基础镜像将镜像上传至SWR服务后,可创建训练作业,在“选择镜像”中选择SWR中基础镜像。
图3 校验接口 上传自定义镜像至SWR服务。 完成自定义镜像上传后,您可以在“容器镜像服务>我的镜像>自有镜像”列表中看到已上传镜像。
注册新镜像 构建完成后,将新镜像注册到ModelArts镜像管理服务中,进而能够在ModelArts中使用该镜像。 有两种方式来注册镜像。 方式一:使用ma-cli image register命令来注册镜像。注册命令会返回注册好的镜像信息,包括镜像id,name等,如下图所示。
在“容器镜像服务控制台>我的镜像”页面可查看已上传的自定义镜像。
在容器镜像服务控制台的“我的镜像”页面可查看已上传的自定义镜像。
使用基础镜像 通过ECS获取和上传基础镜像将镜像上传至SWR服务后,可创建训练作业,在“选择镜像”中选择SWR中基础镜像。
使用基础镜像 通过ECS获取和上传基础镜像将镜像上传至SWR服务后,可创建训练作业,在“选择镜像”中选择SWR中基础镜像。
在“容器镜像服务控制台>我的镜像”页面可查看已上传的自定义镜像。