检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ModelArts提供了AI全流程开发的套餐包,面向有AI基础的开发者,提供机器学习和深度学习的算法开发及部署全功能,包含数据处理、模型开发、模型训练、模型管理和部署上线流程。 约束限制 套餐包在购买和使用时的限制如下: 套餐包和购买时选定的区域绑定,套餐包只能使用于购买时选定
yTorch,MindSpore等常用深度学习任务的基础镜像,镜像里已经安装好运行任务所需软件。当基础镜像里的软件无法满足您的程序运行需求时,您还可以基于这些基础镜像制作一个新的镜像并进行训练。 训练作业的预置框架介绍 ModelArts中预置的训练基础镜像如下表所示。 表1 ModelArts训练基础镜像列表
PyTorch,MindSpore等常用深度学习任务的基础镜像,镜像里已经安装好运行任务所需软件。当基础镜像里的软件无法满足您的程序运行需求时,您可以基于这些基础镜像制作一个新的镜像并进行训练。 训练基础镜像列表 ModelArts中预置的训练基础镜像如下表所示。 表1 ModelArts训练基础镜像列表
物体检测或图像分类项目支持对哪些格式的图片进行标注和训练? 图片格式支持JPG、JPEG、PNG、BMP。 父主题: 准备数据
业? 如何查看ModelArts消费详情? ModelArts上传数据集收费吗? ModelArts标注完样本集后,如何保证退出后不再产生计费? ModelArts自动学习所创建项目一直在扣费,如何停止计费? 如果不再使用ModelArts,如何停止收费? 训练作业如何收费? 为什么项目删除完了,仍然还在计费?
如何提升训练效率,同时减少与OBS的交互? 场景描述 在使用ModelArts进行自定义深度学习训练时,训练数据通常存储在对象存储服务(OBS)中,且训练数据较大时(如200GB以上),每次都需要使用GPU资源池进行训练,且训练效率低。 希望提升训练效率,同时减少与对象存储OBS的交互。可通过如下方式进行调整优化。
AI Gallery支持将模型进行微调,训练后得到更优模型。 场景描述 模型微调是深度学习中的一种重要技术,它是指在预训练好的模型基础上,通过调整部分参数,使其在特定任务上达到更好的性能。 在实际应用中,预训练模型是在大规模通用数据集上训练得到的,而在特定任务上,这些模型的参数可能并不都是最合适的,因此需要进行微调。
ModelArts标注完样本集后,如何保证退出后不再产生计费? ModelArts自动学习所创建项目一直在扣费,如何停止计费? 训练作业如何收费? 为什么项目删除完了,仍然还在计费? 欠费后,ModelArts的资源是否会被删除? 部署后的AI应用是如何收费的? Notebook中的EVS存储可以使用套餐包吗?
查询数据集详情 查询数据集的详细信息,包括数据集的样本信息、版本信息等。 dataset.get_dataset_info() 示例代码 查询数据集详情 from modelarts.session import Session from modelarts.dataset import
在不需要使用ModelArts服务功能时,需要删除或停止正在计费的项目。自动学习、Workflow、开发环境、模型训练、在线服务、专属资源池涉及到需要停止的计费项如下: 自动学习:停止因运行自动学习作业而创建的训练作业和在线服务。删除存储到OBS中的数据及OBS桶。 Workflow:停止因运行Wor
AI模型开发的过程,称之为Modeling,一般包含两个阶段: 开发阶段:准备并配置环境,调试代码,使代码能够开始进行深度学习训练,推荐在ModelArts开发环境中调试。 实验阶段:调整数据集、调整超参等,通过多轮实验,训练出理想的模型,推荐在ModelArts训练中进行实验。
800训练服务器三维视图 Atlas 800 训练服务器(型号9000)是基于华为鲲鹏920+Snt9处理器的AI训练服务器,实现完全自主可控,广泛应用于深度学习模型开发和AI训练服务场景,可单击此处查看硬件三维视图。 Atlas 800训练服务器HCCN Tool Atlas 800 训练服务器
创建算法 机器学习从有限的观测数据中学习一般性的规律,并利用这些规律对未知的数据进行预测。为了获取更准确的预测结果,用户需要选择一个合适的算法来训练模型。针对不同的场景,ModelArts提供大量的算法样例。以下章节提供了关于业务场景、算法学习方式、算法实现方式的指导。 选择算法的实现方式
必须修改。用于指定模板。如果设置为"qwen",则使用QWEN模板进行训练,模板选择可参照表1中的template列 max_samples 50000 用于指定训练过程中使用的最大样本数量。如果设置了这个参数,训练过程将只使用指定数量的样本,而忽略其他样本。这可以用于控制训练过程的规模和计算需求 overwrite_cache
action 是 Integer 验收行为。可选值如下: 0:通过全部样本 1:驳回全部样本 2:取消验收 3:查看验收冲突的样本列表 4:只通过单张验收通过的样本及未验收的样本 5:只通过单张验收通过的样本 overwrite_last_result 否 Boolean 是否覆盖已标注数据。可选值如下:
必须修改。用于指定模板。如果设置为"qwen",则使用QWEN模板进行训练,模板选择可参照表1中的template列 max_samples 1000 用于指定训练过程中使用的最大样本数量。如果设置了这个参数,训练过程将只使用指定数量的样本,而忽略其他样本。这可以用于控制训练过程的规模和计算需求 overwrite_cache
Boolean 是否只导入难例。可选值如下: true:只导入难例样本 false:导入全部样本(默认值) excluded_labels 否 Array of Label objects 不导入包含指定标签的样本。 final_annotation 否 Boolean 是否导入到最终状态。可选值如下:
必须修改。用于指定模板。如果设置为"qwen",则使用QWEN模板进行训练,模板选择可参照表1中的template列 max_samples 50000 用于指定训练过程中使用的最大样本数量。如果设置了这个参数,训练过程将只使用指定数量的样本,而忽略其他样本。这可以用于控制训练过程的规模和计算需求 overwrite_cache
创建导出任务 将当前数据集的样本导出到指定的OBS路径下。仅支持图像分类、物体检测、图像分割和自由格式数据集。 dataset.export_data(path) 示例代码 导出数据集到OBS目录 from modelarts.session import Session from
ModelArts训练好后的模型如何获取? 使用自动学习产生的模型只能在ModelArts上部署上线,无法下载至本地使用。 使用自定义算法或者订阅算法训练生成的模型,会存储至用户指定的OBS路径中,供用户下载。 父主题: 功能咨询