检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
自定义镜像功能关联服务介绍 容器镜像服务 容器镜像服务(Software Repository for Container,SWR)是一种支持镜像全生命周期管理的服务, 提供简单易用、安全可靠的镜像管理功能,帮助您快速部署容器化服务。您可以通过界面、社区CLI和原生API上传、下载和管理容器镜像。
rts Standard支持用户构建自定义镜像用于模型训练。 自定义镜像的制作要求用户对容器相关知识有比较深刻的了解,除非订阅算法和预置框架无法满足需求,否则不推荐使用。自定义镜像需上传至容器镜像服务(SWR),才能用于ModelArts Standard上训练。 自定义镜像的启动命令规范
空间受限问题。 容器中挂载存储有多种方式,不同的场景下推荐的存储方式不一样,详情如表1所示。容器存储的基础知识了解请参见存储基础知识,有助您理解本章节内容。您可查看数据盘空间分配说明,了解节点数据盘空间分配的情况,以便您根据业务实际情况配置数据盘大小。 表1 容器挂载存储的方式及差异
部署在线服务使用的模型是从容器镜像中导入时,容器调用接口协议填写错误,会导致此错误信息。 出于安全考虑,ModelArts提供的推理请求都是https请求,从容器镜像中选择导入模型时,ModelArts允许使用的镜像提供https或http服务,但必须在“容器调用接口”中明确指定该镜
参数说明 参数类型 描述 List 引擎规格参数列表,请参见表3。 表3 framework_list参数说明 参数 参数类型 描述 framework_type String 引擎类型。 framework_version String 引擎版本。 表4 调用训练接口失败响应参数
12.0安装文件(对应python 3.7.13)。 编写容器镜像Dockerfile文件。 在context文件夹内新建名为Dockerfile的空文件,并将下述内容写入其中。 # 容器镜像构建主机需要连通公网 # 基础容器镜像, https://github.com/NVIDI
1+cu111-cp37-cp37m-linux_x86_64.whl 编写容器镜像Dockerfile文件。 在context文件夹内新建名为Dockerfile的空文件,并将下述内容写入其中。 # 容器镜像构建主机需要连通公网 # 基础容器镜像, https://github.com/NVIDI
能通过SSH登录,不同机器之间网络互通。 当容器需要提供服务给多个用户,或者多个用户共享使用该容器时,应限制容器访问Openstack的管理地址(169.254.169.254),以防止容器获取宿主机的元数据。具体操作请参见禁止容器获取宿主机元数据。 Ascend-vLLM版本
run.sh脚本测试ModelArts训练整体流程 自定义容器在ModelArts上训练和本地训练的区别如下图: 图1 本地与ModelArts上训练对比 ModelArts上进行训练比本地训练多了一步OBS和容器环境的数据迁移工作。 增加了和OBS交互工作的整个训练流程如下:
1+cu111-cp37-cp37m-linux_x86_64.whl 编写容器镜像Dockerfile文件。 在context文件夹内新建名为Dockerfile的空文件,并将下述内容写入其中。 # 容器镜像构建主机需要连通公网 # 基础容器镜像, https://github.com/NVIDI
engine_id String 引擎规格的ID。如“caffe-1.0.0-python2.7”。 engine_name String 引擎规格的名称。如“Caffe”。 engine_version String 引擎规格的版本。对一个引擎名称,有多个版本的引擎,如使用python2.7的"Caffe-1
绍可以参见并行文件系统。 在ModelArts运行态的Notebook容器中,采用动态挂载特性,将OBS对象存储模拟成本地文件系统。其本质是通过挂载工具,将对象协议转为POSIX文件协议。挂载后应用层可以在容器中正常操作OBS对象。 动态挂载适用于哪些使用场景 场景1:数据集预览
请参考在ECS中创建ma-user和ma-group。 已经安装obsutil,请参考下载和安装obsutil。 参考线下容器镜像构建及调试章节,构建容器镜像并调试,镜像构建及调试与单机单卡相同。 上传镜像,参考单机单卡训练的上传镜像章节操作。 准备数据 登录coco数据集下载
已经在OBS上创建好普通OBS桶,请参见创建普通OBS桶。 已经安装obsutil,请参考下载和安装obsutil。 参考线下容器镜像构建及调试章节,构建容器镜像并调试,镜像构建及调试与单机单卡相同。 上传镜像,参考单机单卡训练的上传镜像章节操作。 操作步骤 登录Imagenet数
openmpi-3.0.0-bin.tar.gz 编写容器镜像Dockerfile文件。 在context文件夹内新建名为Dockerfile的空文件,并将下述内容写入其中。 # 容器镜像构建主机需要连通公网 # 基础容器镜像, https://github.com/NVIDI
openmpi-3.0.0-bin.tar.gz 编写容器镜像Dockerfile文件。 在context文件夹内新建名为Dockerfile的空文件,并将下述内容写入其中。 # 容器镜像构建主机需要连通公网 # 基础容器镜像, https://github.com/NVIDI
用于指定模型的健康检查。使用Custom引擎时,会显示该参数。使用非Custom引擎时,选择了“AI引擎”和“运行环境”后,部分支持健康检查的引擎会显示该参数,请以实际界面显示为准。 当使用Custom引擎时,引擎包需要选择容器镜像,仅当容器镜像中配置了健康检查接口,才能配置“健康检查”,否则会导致模型创建失败。
如何登录并上传镜像到SWR? 本章节介绍如何上传镜像到容器镜像服务SWR。 Step1 登录SWR 登录容器镜像服务控制台,选择区域。 单击右上角“创建组织”,输入组织名称完成组织创建。您可以自定义组织名称,本示例使用“deep-learning”,实际操作时请重新命名一个组织名
所以ModelArts不支持从对象存储服务(OBS)导入CV2模型包。 处理方法 需要您把CV2包制作为自定义镜像,上传至容器镜像服务(SWR),选择从容器镜像中导入元模型,部署在线服务。如何制作自定义镜像请参考从0-1制作自定义镜像并创建AI应用。 父主题: 服务部署
准备镜像 构建容器镜像并调试 镜像构建及调试与单机单卡相同。 具体操作,请参考线下容器镜像构建及调试。 上传镜像 请参考单机单卡训练的上传镜像章节操作。 父主题: 单机多卡