华为云计算 云知识 ModelArts使用自定义镜像快速迁移上云-这2种功能,你了解哪些?
ModelArts使用自定义镜像快速迁移上云-这2种功能,你了解哪些?

ModelArts为用户提供了多种常见的预置引擎,但是当用户对深度学习引擎、开发库有特殊需求场景的时候,预置AI引擎可能不再满足用户需求。ModelArts底层采用容器技术,您可以自行制作 容器镜像 上传并在ModelArts上运行。 自定义镜像 支持自由文本形式的命令行参数和环境变量,灵活性高,便于支持任意计算引擎的作业启动需求。

当前自定义 镜像 功能支持2种场景:创建训练作业和导入模型。让我们看看如何在ModelArts中使用自定义镜像创建训练作业和导入模型吧!

关联服务介绍

使用自定义镜像功能可能涉及以下 云服务 容器镜像服务 对象存储服务 、弹性 云服务器

容器 镜像服务 (Software Repository for Container,SWR)是一种支持镜像全生命周期管理的服务, 提供简单易用、安全可靠的镜像管理功能,帮助您快速部署容器化服务。您可以通过界面、社区CLI和原生API上传、下载和管理容器镜像。ModelArts训练和导入模型使用的自定义镜像需要从SWR服务管理列表获取。您制作的自定义镜像需要上传至SWR服务。

对象存储 服务 Object Storage Service ,OBS)是一个基于对象的海量存储服务,为客户提供海量、安全、高可靠、低成本的数据存储能力。在创建训练作业和导入模型时往往存在数据交互,您需要的云上数据可以存储至OBS服务。

弹性云服务器( Elastic Cloud Server ,ECS)是由CPU、内存、操作系统、 云硬盘 组成的基础的计算组件。弹性云服务器创建成功后,您就可以像使用自己的本地PC或物理服务器一样,在云上使用弹性云服务器在制作自定义镜像时,您可以在本地环境或者ECS上完成自定义镜像制作。

在您使用自定义镜像功能时,ModelArts可能需要访问您的容器镜像服务SWR、对象存储服务OBS等依赖服务,若没有授权,这些功能将不能正常使用。建议您使用委托授权功能,将依赖服务操作权限委托给ModelArts服务,让ModelArts以您的身份使用依赖服务,代替您进行一些资源操作。详细操作参见使用委托授权

使用自定义镜像创建训练作业

端到端样例可参考最佳实践-使用自定义镜像创建训练作业~

1.准备工作

    -完成访问授权的配置,详细操作参见使用委托授权

    -已在OBS服务中创建桶和文件夹,用于存放样例 数据集 以及训练代码。

2.制作自定义镜像,您可以使用ECS或者应用本地已有的主机进行自定义镜像的制作。

3.在制作镜像用时,需满足ModelArts定义的规范。

4.ModelArts还提供基础镜像用于自定义镜像的制作。基础镜像中有一些必要的工具,帮助用户快速实现代码下载、训练日志输出、上传日志文件至OBS等功能。

5.上传镜像至SWR服务。上传镜像的详细操作可参考SWR用户指南

6.使用自定义镜像创建训练作业

使用自定义镜像导入模型

端到端示例请参考使用自定义镜像导入模型~

1. 准备工作

    -完成访问授权的配置,详细操作参见使用委托授权

    -已在OBS服务中创建桶和文件夹,用于存放数据以及相关文件。

2. 制作自定义镜像

    在制作镜像用时,需满足ModelArts定义的规范。

3. 上传镜像至SWR服务。上传镜像的详细操作可参考SWR用户指南

4. 选择从容器镜像导入模型,可参考从容器镜像中选择元模型。

infer.png

5. 将模型部署为在线服务。

上一篇:分布式缓存服务的特点有哪些 下一篇:设置云服务器元数据NovaCreateServerMetadata

镜像服务 IMS

镜像是用于创建服务器或磁盘的模板。镜像服务提供镜像生命周期管理能力。可以通过服务器或外部文件创建系统盘镜像或数据盘镜像,也可以使用弹性云服务器或云服务器备份创建带数据盘的整机镜像。创建镜像功能免费,仅需支付使用对象存储服务或云服务器备份的费用。