检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
什么是ModelArts ModelArts是华为云提供的一站式AI开发平台,提供海量数据预处理及半自动化标注、大规模分布式训练、自动化模型生成及端-边-云模型按需部署能力,帮助用户快速创建和部署模型,管理全周期AI工作流。 “一站式”是指AI开发的各个环节,包括数据处理、算法开
存储相关 在ModelArts中如何查看OBS目录下的所有文件?
自动学习生成的模型,存储在哪里?支持哪些其他操作? 模型统一管理 针对自动学习项目,当模型训练完成后,其生成的模型,将自动进入“模型管理”页面,如下图所示。模型名称由系统自动命名,前缀与自动学习项目的名称一致,方便辨识。 自动学习生成的模型,不支持下载使用。 图1 自动学习生成的模型
自动学习生成的模型,存储在哪里?支持哪些其他操作? 模型统一管理 针对自动学习项目,当模型训练完成后,其生成的模型,将自动进入“模型管理”页面,如下图所示。模型名称由系统自动命名,前缀与自动学习项目的名称一致,方便辨识。 自动学习生成的模型,不支持下载使用。 图1 自动学习生成的模型
动态扩充云硬盘EVS容量 什么是动态扩容EVS 存储配置采用云硬盘EVS的Notebook实例, 存储盘是挂载至容器/home/ma-user/work/目录下, 可以在实例运行中的状态下,动态扩充存储盘容量,单次最大动态扩容100GB。 动态扩容EVS适用于哪些使用场景 在No
ECS服务器挂载SFS Turbo存储 本小节介绍如何在ECS服务器挂载SFS Turbo存储,挂载完成后可在后续步骤中,将训练所需的数据通过ECS上传至SFS Turbo。 前提条件 已创建SFS Turbo,如果未创建,请参考创建文件系统。 数据及算法已经上传至OBS,如果未
HPC型文件系统来加速对OBS对象存储中的数据访问,并将生成的结果数据异步持久化到OBS对象存储中长期低成本保存。 图1 基于OBS+SFS Turbo的存储解决方案 OBS + SFS Turbo存储加速的具体方案请查看: 面向AI场景使用OBS+SFS Turbo的存储加速实践。 设置训练存储加速 当完成上传数据至OBS并预热到SFS
创建训练作业界面无云存储名称和挂载路径排查思路 问题现象 创建训练作业界面没有云存储名称和挂载路径这两个选项。 原因分析 用户的专属资源池没有进行网络打通,或者用户没有创建过SFS。 处理方法 在专属资源池列表中,单击资源池“ID/名称”,进入详情页。单击右上角“配置NAS VPC”,检查是否开启了NAS
是否支持远程访问 是 是 否 是否支持在线编辑 是 否 是 是否能单独使用 是 是 否(EVS要搭配BMS才能存储文件) 使用弹性文件服务SFS作为存储 若使用SFS服务作为存储方案,推荐使用SFS Turbo文件系统。SFS Turbo提供按需扩展的高性能文件存储,还具备高可靠和高可用的特点
Cluster存储 如果没有挂载任何外部存储,此时可用存储空间根据dockerBaseSize的配置来决定,可访问的存储空间比较小,因此建议通过挂载外部存储空间解决存储空间受限问题。 容器中挂载存储有多种方式,不同的场景下推荐的存储方式不一样,详情如表1所示。容器存储的基础知识了解
创建OBS桶用于ModelArts存储数据 由于ModelArts本身没有数据存储的功能,ModelArts使用对象存储服务(Object Storage Service,简称OBS)进行数据存储以及模型的备份和快照,实现安全、高可靠和低成本的存储需求。 AI开发过程中的输入数据、
写入到SFS Turbo缓存中,并可被下游业务环节继续读取并处理,结果数据可以异步方式导出到关联的OBS对象存储中进行长期低成本存储,从而加速训练场景下加速OBS对象存储中的数据访问 ModelArts Standard模型训练提供便捷的作业管理能力,提升用户模型训练的开发效率
动态挂载OBS并行文件系统 什么是动态挂载OBS并行文件系统 并行文件系统(Parallel File System)是对象存储服务(Object Storage Service,OBS)提供的一种经过优化的高性能文件系统,详细介绍可以参见并行文件系统。 在ModelArts运行
bucket_name', recursive=True) 如果文件较多,请您耐心等待,最终文件路径信息会在提示信息之后显示。 父主题: 存储相关
在ModelArts中数据标注完成后,标注结果存储在哪里? ModelArts管理控制台,提供了数据可视化能力,您可以在控制台查看详细数据以及标注信息。如需了解标注结果的存储路径,请参见如下说明。 背景说明 针对ModelArts中的数据集,在创建数据集时,需指定“数据集输入位置
什么是Workflow MLOps简介 在介绍Workflow之前,先了解MLOps的概念。 MLOps(Machine Learning Operation)是“机器学习”(Machine Learning)和“DevOps”(Development and Operation
不会,反而会变大。因为Docker镜像的层原因,当前的镜像是基于原来的镜像制作,而原来的镜像层数是无法改变的,层不变的情况下,大小是不变的,卸载包或者删除数据集,会新增镜像层,镜像反而会变大,这和传统概念的存储不一样。 父主题: Standard镜像相关
ModelArts的API或SDK支持模型下载到本地吗? ModelArts的API和SDK不支持模型下载到本地,但训练作业输出的模型是存放在对象存储服务(OBS)里面的,您可以通过OBS的API或SDK下载存储在OBS中的文件,具体请参见从OBS下载文件。 父主题: API/SDK
创建专属资源池 本文档中的模型运行环境是ModelArts Standard。资源规格需要使用专属资源池中的昇腾Snt9B资源,请参考创建资源池购买资源。 推荐使用“西南-贵阳一”Region上的昇腾资源。 创建OBS桶 ModelArts使用对象存储服务(Object Storage
创建专属资源池 本文档中的模型运行环境是ModelArts Standard。资源规格需要使用专属资源池中的昇腾Snt9B资源,请参考创建资源池购买资源。 推荐使用“西南-贵阳一”Region上的昇腾资源。 创建OBS桶 ModelArts使用对象存储服务(Object Storage