检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ECS中构建新镜像 通过ECS获取基础镜像获取基础镜像后,可通过ECS运行Dockerfile文件,在镜像的基础上构建新镜像。 Step1 构建新ModelArts Standard训练镜像 获取模型软件包,并上传到ECS的目录下(可自定义路径),获取地址参考表1。 解压Asce
ux弹性云服务器。“CPU架构”选择“x86计算”,“镜像”选择“公共镜像”,推荐使用Ubuntu18.04的镜像。 Step4 制作自定义镜像 目标:构建安装好如下软件的容器镜像,并使用ModelArts训练服务运行。 ubuntu-18.04 cuda-11.1 python-3
镜像”下,选择未发布的镜像,单击镜像名称,进入镜像详情页。 在镜像详情页,单击右侧“发布”,在发布镜像页面编辑发布信息后,单击“发布”。 表1 发布镜像的参数说明 参数名称 说明 中文名称 镜像发布后显示的名称,在创建镜像时设置的名称,此处不可编辑。 描述 必填项,填写资产简介,镜像发布后将显示在镜像页签上,方便用户快速了解资产。
ECS获取和上传基础镜像 Step1 创建镜像组织 在SWR服务页面创建镜像组织。 图1 创建镜像组织 Step2 登录ECS服务器 根据创建ECS服务器创建完成ECS服务器后,单击“远程登录”,可使用华为CloudShell远程登录如图所示。后续安装Docker、获取镜像、构建镜像等操作均在该ECS上进行。
xxx" --network=host -t <镜像名称>:<版本名称> . <镜像名称>:<版本名称>:定义镜像名称。示例:pytorch_2_2_ascend:20241106 构建镜像前需保证Dockerfile文件内容中镜像名与本文档镜像保持一致,如不同则需修改为一致。 # 修改以下内容:
Step6 修改并上传镜像 1. 登录指令输入之后,使用下列示例命令: docker tag {image_url} <镜像仓库地址>/<组织名称>/<镜像名称>:<版本名称> 参数说明: <镜像仓库地址>:可在SWR控制台上查询,容器镜像服务中登录指令末尾的域名即为镜像仓库地址。 <组
Step6 修改并上传镜像 1. 登录指令输入之后,使用下列示例命令: docker tag {image_url} <镜像仓库地址>/<组织名称>/<镜像名称>:<版本名称> 参数说明: <镜像仓库地址>:可在SWR控制台上查询,容器镜像服务中登录指令末尾的域名即为镜像仓库地址。 <组
使用自定义镜像创建Notebook后打开没有kernel 问题现象 使用自定义镜像创建实例启动后,打开JupyterLab>新建Notebook,选不到kernel。 原因分析 自定义镜像的python环境没有注册。 解决方案 在Terminal里执行命令排查实例存在几个Conda环境。
7-ubuntu_1804-x86_64 构建自定义训练镜像 当基础镜像里的软件无法满足您的程序运行需求时,您还可以基于这些基础镜像制作一个新的镜像并进行训练。镜像制作流程如图1所示。 图1 训练作业的自定义镜像制作流程 场景一:预置镜像满足ModelArts训练平台约束,但不满足代码依赖的要求,需要额外安装软件包。
ECS获取和上传基础镜像 Step1 创建镜像组织 在SWR服务页面创建镜像组织。 图1 创建镜像组织 Step2 登录ECS服务器 根据创建ECS服务器创建完成ECS服务器后,单击“远程登录”,可使用华为CloudShell远程登录如图所示。后续安装Docker、获取镜像、构建镜像等操作均在该ECS上进行。
xxx" --network=host -t <镜像名称>:<版本名称> . <镜像名称>:<版本名称>:定义镜像名称。示例:pytorch_2_2_ascend:20241106 构建镜像前需保证Dockerfile文件内容中镜像名与本文档镜像保持一致,如不同则需修改为一致。 # 修改以下内容:
Step6 修改并上传镜像 1. 登录指令输入之后,使用下列示例命令: docker tag {image_url} <镜像仓库地址>/<组织名称>/<镜像名称>:<版本名称> 参数说明: <镜像仓库地址>:可在SWR控制台上查询,容器镜像服务中登录指令末尾的域名即为镜像仓库地址。 <组
登录容器镜像服务控制台,进入“我的镜像”页面。 单击需要共享的镜像名称,进入镜像详情页。 在共享页签,单击“共享镜像”,在新窗口中输入共享的账号名称等,单击“确定”。 用户A的操作: 登录容器镜像服务控制台,在“我的镜像>他人共享”页签下,查看用户B共享的镜像,单击镜像名称进入镜像详情。 按照“Pull/Pus
ECS获取和上传基础镜像 Step1 创建镜像组织 在SWR服务页面创建镜像组织。 图1 创建镜像组织 Step2 登录ECS服务器 根据创建ECS服务器创建完成ECS服务器后,单击“远程登录”,可使用华为CloudShell远程登录如图所示。后续安装Docker、获取镜像、构建镜像等操作均在该ECS上进行。
ECS获取和上传基础镜像 Step1 创建镜像组织 在SWR服务页面创建镜像组织。 图1 创建镜像组织 Step2 登录ECS服务器 根据创建ECS服务器创建完成ECS服务器后,单击“远程登录”,可使用华为CloudShell远程登录如图所示。后续安装Docker、获取镜像、构建镜像等操作均在该ECS上进行。
ECS获取和上传基础镜像 Step1 创建镜像组织 在SWR服务页面创建镜像组织。 图1 创建镜像组织 Step2 登录ECS服务器 根据创建ECS服务器创建完成ECS服务器后,单击“远程登录”,可使用华为CloudShell远程登录如图所示。后续安装Docker、获取镜像、构建镜像等操作均在该ECS上进行。
用户创建模型时构建镜像或导入文件失败 问题现象 用户创建模型时,构建镜像失败,失败日志中提示下载obs文件失败(Get object size from OBS failed!)。 图1 下载obs文件失败 用户创建模型时,事件提示:复制模型文件失败,请检查OBS权限是否正常(Failed
grep net.ipv4.ip_forward Step2 启动镜像 获取基础镜像。建议使用官方提供的镜像。镜像地址{image_url}参见获取软件和镜像。 docker pull {image_url} 启动容器镜像。启动前请先按照参数说明修改${}中的参数。可以根据实际需要增加修改参数。训练默认使用单机8卡。
Step6 修改并上传镜像 1. 登录指令输入之后,使用下列示例命令: docker tag {image_url} <镜像仓库地址>/<组织名称>/<镜像名称>:<版本名称> 参数说明: <镜像仓库地址>:可在SWR控制台上查询,容器镜像服务中登录指令末尾的域名即为镜像仓库地址。 <组
running. 可能原因 镜像过大Push任务一直在运行,或实例节点有问题。 解决方法 以对应租户的华为云账号登录SWR服务,查看镜像是否已经Push成功。 如果Push成功,请重新注册镜像。 如果未Push成功,联系SRE查看对应实例的节点是否有问题。 父主题: 自定义镜像故障