检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据集版本不合格 出现此问题时，表示数据集版本发布成功，但是不满足自动学习训练作业要求，因此出现数据集版本不合格的错误提示。 标注信息不满足训练要求 针对不同类型的自动学习项目，训练作业对数据集的要求如下。 图像分类：用于训练的图片，至少有2种以上的分类（即2种以上的标签），每种分类的图片数不少于5张。
使用自动学习实现零代码AI开发 自动学习简介 使用自动学习实现图像分类 使用自动学习实现物体检测 使用自动学习实现预测分析 使用自动学习实现声音分类 使用自动学习实现文本分类 使用窍门
使用窍门 创建项目时，如何快速创建OBS桶及文件夹？ 自动学习生成的模型，存储在哪里？支持哪些其他操作？ 父主题： 使用自动学习实现零代码AI开发
Standard自动学习所创建项目一直在扣费，如何停止计费？ 对于使用公共资源池创建的自动学习作业： 登录ModelArts控制台，在自动学习作业列表中，删除正在扣费的自动学习作业。在训练作业列表中，停止因运行自动学习作业而创建的训练作业。在“在线服务”列表中，停止因运行自动学习作业而创建
Standard模型训练提供容器化服务和计算资源管理能力，负责建立和管理机器学习训练工作负载所需的基础设施，减轻用户的负担，为用户提供灵活、稳定、易用和极致性能的深度学习训练环境。通过ModelArts Standard模型训练，用户可以专注于开发、训练和微调模型。 ModelArts
在使用ModelArts进行自定义深度学习训练时，训练数据通常存储在对象存储服务（OBS）中，且训练数据较大时（如200GB以上），每次都需要使用GPU资源池进行训练，且训练效率低。 希望提升训练效率，同时减少与对象存储OBS的交互。可通过如下方式进行调整优化。 优化原理 对于ModelAr
【下线公告】华为云ModelArts自动学习模块的文本分类功能下线公告 华为云计划于2024/12/06 00:00（北京时间）将AI开发平台ModelArts自动学习模块的文本分类功能正式下线。 下线范围 下线Region：华为云全部Region。 下线影响 ModelArts自动学习-文本分类正式下
Workflow是开发者基于实际业务场景开发用于部署模型或应用的流水线工具，核心是将完整的机器学习任务拆分为多步骤工作流，每个步骤都是一个可管理的组件，可以单独开发、优化、配置和自动化。Workflow有助于标准化机器学习模型生成流程，使团队能够大规模执行AI任务，并提高模型生成的效率。 ModelArts
启动智能任务，支持启动“智能标注”和“自动分组”两大类智能任务。可通过指定请求体中的“task_type”参数来启动某类任务。数据路径或工作路径位于KMS加密桶的数据集，不支持启动主动学习和自动分组任务，支持预标注任务。 “智能标注”是指基于当前标注阶段的标签及图片学习训练，选中系统中已有的
你可能会发现还缺少某一部分数据源，反复调整优化。 训练模型 俗称“建模”，指通过分析手段、方法和技巧对准备好的数据进行探索分析，从中发现因果关系、内部联系和业务规律，为商业目的提供决策参考。训练模型的结果通常是一个或多个机器学习或深度学习模型，模型可以应用到新的数据中，得到预测、评价等结果。
创建项目时，如何快速创建OBS桶及文件夹？ 在创建项目时需要选择训练数据路径，本章节将指导您如何在选择训练数据路径时，快速创建OBS桶和OBS文件夹。 在创建自动学习项目页面，单击数据集输入位置右侧的“”按钮，进入“数据集输入位置”对话框。 单击“新建对象存储服务（OBS）桶”，进入创建桶
器翻译和对话系统等。 DeepSpeed是开源的加速深度学习训练的库。它针对大规模的模型和分布式训练进行了优化，可以显著提高训练速度和效率。DeepSpeed提供了各种技术和优化策略，包括分布式梯度下降、模型并行化、梯度累积和动态精度缩放等。它还支持优化大模型的内存使用和计算资源分配。
超过最大递归深度导致训练作业失败 问题现象 ModelArts训练作业报错： RuntimeError: maximum recursion depth exceeded in __instancecheck__ 原因分析 递归深度超过了Python默认的递归深度，导致训练失败。
AI开发基本概念 机器学习常见的分类有3种： 监督学习：利用一组已知类别的样本调整分类器的参数，使其达到所要求性能的过程，也称为监督训练或有教师学习。常见的有回归和分类。 非监督学习：在未加标签的数据中，试图找到隐藏的结构。常见的有聚类。 强化学习：智能系统从环境到行为映射的学习，以使奖励信号（强化信号）函数值最大。
MLOps(Machine Learning Operation)是“机器学习”（Machine Learning）和“DevOps”（Development and Operations）的组合实践。机器学习开发流程主要可以定义为四个步骤：项目设计、数据工程、模型构建、部署落地。
方法一：在Notebook中通过Moxing上传下载OBS文件 MoXing是ModelArts自研的分布式训练加速框架，构建于开源的深度学习引擎TensorFlow、PyTorch等之上，使用MoXing API可让模型代码的编写更加简单、高效。 MoXing提供了一套文件对象API，可以用来读写OBS文件。
SDK构建自定义模型，需要了解2个核心基础类“PretrainedModel”和“PretrainedConfig”之间的交互。 “PretrainedConfig”：预训练模型的配置基类 提供模型配置的通用属性和两个主要方法，用于序列化和反序列化配置文件。 PretrainedConfig.from_pretrained(dir)
Preference Optimization)：直接偏好优化方法，通过直接优化语言模型来实现对大模型输出的精确把控，不用进行强化学习，也可以准确判断和学习到使用者的偏好，最后，DPO算法还可以与其他优化算法相结合，进一步提高深度学习模型的性能。 SFT监督式微调(Self-training
ModelArts提供了AI全流程开发的套餐包，面向有AI基础的开发者，提供机器学习和深度学习的算法开发及部署全功能，包含数据处理、模型开发、模型训练、模型管理和模型部署流程。 约束限制 套餐包在购买和使用时的限制如下： 套餐包和购买时选定的区域绑定，套餐包只能使用于购买时选定的区域，且只能用于
模型训练使用流程 AI模型开发的过程，称之为Modeling，一般包含两个阶段： 开发阶段：准备并配置环境，调试代码，使代码能够开始进行深度学习训练，推荐在ModelArts开发环境中调试。 实验阶段：调整数据集、调整超参等，通过多轮实验，训练出理想的模型，推荐在ModelArts训练中进行实验。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
