检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
表1 ModelArts训练基础镜像列表 引擎类型 版本名称 PyTorch pytorch_1.8.0-cuda_10.2-py_3.7-ubuntu_18.04-x86_64 TensorFlow tensorflow_2.1.0-cuda_10.1-py_3.7-ubuntu
", "engine_version": "mindspore_1.6.0-cann_5.0.3.6-py_3.7-euler_2.8.3-aarch64", "v1_compatible": false, "
_18.04-x86_64", "engine_name" : "Horovod", "engine_version" : "horovod_0.20.0-tensorflow_2.1.0-cuda_10.1-py_3.7-ubuntu_18.04-x86_64",
*security.ubuntu.com@http://repo.huaweicloud.com@g" /etc/apt/sources.list 安装NFS客户端,挂载对应盘。
/euler/2.10/os/RPM-GPG-KEY-EulerOS #清除原有yum缓存 yum clean all #生成新的yum缓存 yum makecache # 测试 yum update --allowerasing --skip-broken --nobest HCE
/.ma/customize_from_ubuntu_18.04_to_modelarts/路径下”,需要将文件放到“/home/ma-user/work/.ma/customize_from_ubuntu_18.04_to_modelarts”下。
举例:假设从官网下载了一个SCC包,安装后卸载: 正确方式: RUN mkdir -p /tmp/scc && \ cd /tmp/scc && \ wget http://100.95.151.167:6868/aarch64/euler/dls-release/
*security.ubuntu.com@http://repo.huaweicloud.comxxx@g" /etc/apt/sources.list && \ sed -i "s@http://.
wget -O Ubuntu-Ports-bionic.list --no-check-certificate https://repo.huaweicloud.com/repository/conf/Ubuntu-Ports-bionic.list 在华为开源镜像站中,搜索Ubuntu-Ports
本示例以Ubuntu18.04为例。 docker pull ubuntu:18.04 新建文件夹“self-define-images”,在该文件夹下编写自定义镜像的“Dockerfile”文件和应用服务代码“test_app.py”。
本示例以Ubuntu18.04为例。 docker pull ubuntu:18.04 新建文件夹“self-define-images”,在该文件夹下编写自定义镜像的“Dockerfile”文件和应用服务代码“test_app.py”。
dev_services" : [ "AI_FLOW", "SSH" ], "id" : "e1a07296-22a8-4f05-8bc8-e936c8e54103", "name" : "modelbox1.3.0-libtorch1.9.1-cuda10.2-cudnn8-euler2.9.6
分层时,先构建不常变化的层,例如:先OS,再cuda驱动,再Python,再pytorch,再其他依赖包。 不建议把数据、代码放到容器镜像里。因为对应内容应该是经常变动的,会导致频繁的容器镜像构建操作。 不建议在容器内再创建多个conda env。
"CPU" ], "service_type" : "COMMON", "status" : "ACTIVE", "swr_path" : "swr.xxx.com/atelier/pytorch_1_8:pytorch_1.8.0-cuda_10.2-py_3.7-ubuntu
docker pull ubuntu/squid 创建主机目录。 mkdir –p /etc/squid/ 打开并配置whitelist.conf文件。
L3 Ubuntu 14.04 LTS+ 部分兼容。 能确保基本交互操作,但在视觉、交互效果上可能存在兼容性问题。 L3 macOS 10+ 部分兼容。 能确保基本交互操作,但在视觉、交互效果上可能存在兼容性问题。
目前公共镜像中占用空间最小的是mindspore1.7.0-py3.7-ubuntu18.04。 父主题: 自定义镜像故障
示例:加载customize_from_ubuntu_18.04_to_modelarts镜像构建模板。
f791-452b-9098-a2726fa2e922", "image" : { "arch" : "X86", "image_id" : "c90fb553-2cdb-4b81-b56a-ef68812c6cf7", "name" : "Ubuntu18.04
f791-452b-9098-a2726fa2e922", "image" : { "arch" : "X86", "image_id" : "c90fb553-2cdb-4b81-b56a-ef68812c6cf7", "name" : "Ubuntu18.04