检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
图8 在ModelArts控制台注册镜像 在镜像源中,选择上一步中上传到SWR自有镜像仓中的镜像名,作为模型推理使用的镜像,架构选择ARM,类型选择CPU和ASCEND。
图8 在ModelArts控制台注册镜像 在镜像源中,选择上一步中上传到SWR自有镜像仓中的镜像名,作为模型推理使用的镜像,架构选择ARM,类型选择CPU和ASCEND。
f791-452b-9098-a2726fa2e922", "image" : { "arch" : "X86", "image_id" : "c90fb553-2cdb-4b81-b56a-ef68812c6cf7", "name" : "Ubuntu18.04
f791-452b-9098-a2726fa2e922", "image" : { "arch" : "X86", "image_id" : "c90fb553-2cdb-4b81-b56a-ef68812c6cf7", "name" : "Ubuntu18.04
*archive.ubuntu.com@http://repo.huaweicloud.com@g" /etc/apt/sources.list && \ sed -i "s@http://.
xxx.xxx.xxx.xxx:/ 示例:基于自定义镜像创建训练作业 指定命令行options参数提交训练作业 ma-cli ma-job submit --image-url atelier/pytorch_1_8:pytorch_1.8.0-cuda_10.2-py_3.7-ubuntu
“架构”和“类型”根据实际情况选择,与镜像源保持一致。 创建Notebook并使用 镜像注册成功后,即可在ModelArts控制台的“开发环境 > Notebook”页面,创建开发环境时选择该自定义镜像。 打开开发环境。
(Ubuntu 18.04,建议不小于2U8G,本地存储空间100G,带EIP全动态BGP,按流量10M带宽) × 多机多卡 按需购买。 (普通OBS桶) 包月购买。 (HPC型500G) 免费。 免费。 包月购买。 免费。 包月购买。
单击“注册镜像”,镜像源即为推送到SWR中的镜像。请将完整的SWR地址复制到这里即可,或单击可直接从SWR选择自有镜像进行注册,类型加上“GPU”,如图1所示。
用户创建模型时构建镜像或导入文件失败 问题现象 用户创建模型时,构建镜像失败,失败日志中提示下载obs文件失败(Get object size from OBS failed!)。 图1 下载obs文件失败 用户创建模型时,事件提示:复制模型文件失败,请检查OBS权限是否正常(Failed
使用从容器镜像中选择创建模型时,在构建镜像环节,需要采用业界公开的可信基础镜像,例如来自OpenEuler,Ubuntu等的发布镜像,镜像运行用户需要创建非root普通用户,不能采用root用户直接运行。
docker run -d --rm \ --gpus all \ --net host \ --cap-add SYS_ADMIN \ nvcr.io/nvidia/k8s/dcgm-exporter:${DCGM_EXPORTER_VERSION}-ubuntu20.04
API概览 ModelArts服务所提供的接口均为自研接口。 通过ModelArts服务自研接口,您可以使用ModelArts Workflow、开发环境、训练管理、AI应用管理及服务管理功能。 工作流管理 表1 Workflow API 说明 获取Workflow列表 获取Workflow
62383738-e52a-450a-9f84-f9e705402be8", "image" : { "arch" : "X86", "image_id" : "c90fb553-2cdb-4b81-b56a-ef68812c6cf7", "name" : "Ubuntu18.04
62383738-e52a-450a-9f84-f9e705402be8", "image" : { "arch" : "X86", "image_id" : "c90fb553-2cdb-4b81-b56a-ef68812c6cf7", "name" : "Ubuntu18.04
拉取pytorch镜像,可以选择常用的镜像源进行下载。 docker pull nvcr.io/nvidia/pytorch:21.10-py3 启动容器。
62383738-e52a-450a-9f84-f9e705402be8", "image" : { "arch" : "X86", "image_id" : "c90fb553-2cdb-4b81-b56a-ef68812c6cf7", "name" : "Ubuntu18.04
准备镜像 镜像方案说明 ECS获取和上传基础镜像 使用基础镜像 ECS中构建新镜像 父主题: 准备工作
准备镜像 准备训练模型适用的容器镜像,包括获取镜像地址,了解镜像中包含的各类固件版本,配置物理机环境操作。 镜像地址 本教程中用到的训练和推理的基础镜像地址和配套版本关系如下表所示,请提前了解。 表1 基础容器镜像地址 镜像用途 镜像地址 基础镜像 swr.cn-southwest
准备镜像 镜像方案说明 ECS获取和上传基础镜像 使用基础镜像 ECS中构建新镜像 父主题: 准备工作