检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
采用自动机器学习技术,基于信息熵上限近似模型的树搜索最优特征变换和基于信息熵上限近似模型的贝叶斯优化自动调参,从企业关系型(结构化)数据中,自动学习数据特征和规律,智能寻优特征&ML模型及参数,准确性甚至达到专家开发者的调优水平 图1 自动学习流程 父主题: Standard功能介绍
Standard自动学习 使用ModelArts Standard自动学习实现口罩检测 使用ModelArts Standard自动学习实现垃圾分类
为该分类的样本比率,反映模型对正样本的识别能力。 precision:精确率 被模型预测为某个分类的所有样本中,模型正确预测的样本比率,反映模型对负样本的区分能力。 accuracy:准确率 所有样本中,模型正确预测的样本比率,反映模型对样本整体的识别能力。 f1:F1值 F1值
被用户标注为某个分类的所有样本中,模型正确预测为该分类的样本比率,反映模型对正样本的识别能力。 precision:精确率 被模型预测为某个分类的所有样本中,模型正确预测的样本比率,反映模型对负样本的区分能力。 accuracy:准确率 所有样本中,模型正确预测的样本比率,反映模型对样本整体的识别能力。
Boolean 是否只导入难例。可选值如下: true:只导入难例样本 false:导入全部样本(默认值) excluded_labels 否 Array of Label objects 不导入包含指定标签的样本。 final_annotation 否 Boolean 是否导入到最终状态。可选值如下:
如何在Notebook中上传下载OBS文件? 在Notebook中可以通过调用ModelArts的Moxing接口或者SDK接口与OBS交互,将Notebook中的文件上传至OBS,或者下载OBS中的文件至Notebook中。 图1 Notebook中上传下载OBS文件 使用OBS客户端上传文件的操作指导:上传文件
action 是 Integer 验收行为。可选值如下: 0:通过全部样本 1:驳回全部样本 2:取消验收 3:查看验收冲突的样本列表 4:只通过单张验收通过的样本及未验收的样本 5:只通过单张验收通过的样本 overwrite_last_result 否 Boolean 是否覆盖已标注数据。可选值如下:
必须修改。用于指定模板。如果设置为"qwen",则使用QWEN模板进行训练,模板选择可参照表1中的template列 max_samples 50000 用于指定训练过程中使用的最大样本数量。如果设置了这个参数,训练过程将只使用指定数量的样本,而忽略其他样本。这可以用于控制训练过程的规模和计算需求 overwrite_cache
同步数据集 功能介绍 从数据集输入位置同步数据至数据集,包含样本及标注信息。文本类数据集不支持此操作。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v
必须修改。用于指定模板。如果设置为"qwen",则使用QWEN模板进行训练,模板选择可参照表1中的template列 max_samples 1000 用于指定训练过程中使用的最大样本数量。如果设置了这个参数,训练过程将只使用指定数量的样本,而忽略其他样本。这可以用于控制训练过程的规模和计算需求 overwrite_cache
全部通过:被驳回的样本,也会通过。 全部驳回:已经通过的样本,需要重新标注,下次验收时重新进行审核。 剩余全部通过:已经驳回的会驳回,其余会自动验收通过。 剩余全部驳回:样本抽中的通过的,不需要标注了,未通过和样本未抽中的需要重新标注验收。 图10 完成验收 查看验收报告 针对进行中或已完成
关闭归档数据直读功能 ModelArts.4711 数据集标注样本数满足算法要求 每个类别至少包含5张以上图片。 ModelArts.4342 标注信息不满足切分条件 出现此故障时,建议根据如下建议,修改标注数据后重试。 多标签的样本(即一张图片包含多个标签),至少需要有2张。如果启动训
必须修改。用于指定模板。如果设置为"qwen",则使用QWEN模板进行训练,模板选择可参照表1中的template列 max_samples 50000 用于指定训练过程中使用的最大样本数量。如果设置了这个参数,训练过程将只使用指定数量的样本,而忽略其他样本。这可以用于控制训练过程的规模和计算需求 overwrite_cache
Ant8裸金属服务器中,使用DeepSpeed框架训练GPT-2(分别进行单机单卡和单机多卡训练)。 训练完成后给出自动式生成内容,和交互式对话框模式。 背景信息 Megatron-DeepSpeed Megatron-DeepSpeed是一个基于PyTorch的深度学习模型训练框架。
要尽量模仿训练集中的真实样本。判别器的输入则为真实样本或生成网络的输出,其目的是将生成网络的输出从真实样本中尽可能分辨出来。而生成网络则要尽可能地欺骗判别网络。两个网络相互对抗、不断调整参数,最终目的是使判别网络无法判断生成网络的输出结果是否真实。训练中获得的生成器网络可用于生成
800训练服务器三维视图 Atlas 800 训练服务器(型号9000)是基于华为鲲鹏920+Snt9处理器的AI训练服务器,实现完全自主可控,广泛应用于深度学习模型开发和AI训练服务场景,可单击此处查看硬件三维视图。 Atlas 800训练服务器HCCN Tool Atlas 800 训练服务器
如何查看ModelArts中正在收费的作业? 如何查看ModelArts消费详情? ModelArts上传数据集收费吗? ModelArts标注完样本集后,如何保证退出后不再产生计费? ModelArts自动学习所创建项目一直在扣费,如何停止计费? 如果不再使用ModelArts,如何停止收费?
如何提升训练效率,同时减少与OBS的交互? 场景描述 在使用ModelArts进行自定义深度学习训练时,训练数据通常存储在对象存储服务(OBS)中,且训练数据较大时(如200GB以上),每次都需要使用GPU资源池进行训练,且训练效率低。 希望提升训练效率,同时减少与对象存储OBS的交互。可通过如下方式进行调整优化。
yTorch,MindSpore等常用深度学习任务的基础镜像,镜像里已经安装好运行任务所需软件。当基础镜像里的软件无法满足您的程序运行需求时,您还可以基于这些基础镜像制作一个新的镜像并进行训练。 训练作业的预置框架介绍 ModelArts中预置的训练基础镜像如下表所示。 表1 ModelArts训练基础镜像列表
PyTorch,MindSpore等常用深度学习任务的基础镜像,镜像里已经安装好运行任务所需软件。当基础镜像里的软件无法满足您的程序运行需求时,您可以基于这些基础镜像制作一个新的镜像并进行训练。 训练基础镜像列表 ModelArts中预置的训练基础镜像如下表所示。 表1 ModelArts训练基础镜像列表