检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
800训练服务器三维视图 Atlas 800 训练服务器(型号9000)是基于华为鲲鹏920+Snt9处理器的AI训练服务器,实现完全自主可控,广泛应用于深度学习模型开发和AI训练服务场景,可单击此处查看硬件三维视图。 Atlas 800训练服务器HCCN Tool Atlas 800 训练服务器 1
使用ModelArts Standard一键完成商超商品识别模型部署 ModelArts的AI Gallery中提供了大量免费的模型供用户一键部署,进行AI体验学习。 本文以“商超商品识别”模型为例,完成从AI Gallery订阅模型,到ModelArts一键部署为在线服务的免费体验过程。 “商超商品
署的全流程指导。 场景描述 本案例用于指导用户使用PyTorch1.8实现手写数字图像识别,示例采用的数据集为MNIST官方数据集。 通过学习本案例,您可以了解如何在ModelArts平台上训练作业、部署推理模型并预测的完整流程。 操作流程 开始使用如下样例前,请务必按准备工作指导完成必要操作。
如何提升训练效率,同时减少与OBS的交互? 场景描述 在使用ModelArts进行自定义深度学习训练时,训练数据通常存储在对象存储服务(OBS)中,且训练数据较大时(如200GB以上),每次都需要使用GPU资源池进行训练,且训练效率低。 希望提升训练效率,同时减少与对象存储OBS的交互。可通过如下方式进行调整优化。
MaaS大模型即服务平台功能介绍 对于普通企业来说,大模型开发不仅需要强大的算力,还需要学习训练、部署的相关参数配置和规格选择等专业知识。ModelArts Studio大模型即服务平台(后续简称为MaaS服务)作为一个面向客户的大模型服务化平台,提供简单易用的模型开发工具链,支
注作业。 在弹出的“启动智能标注”对话框中,选择智能标注类型,可选“主动学习”或者“预标注”,详见表1和表2。 表1 主动学习 参数 说明 智能标注类型 “主动学习”。“主动学习”表示系统将自动使用半监督学习、难例筛选等多种手段进行智能标注,降低人工标注量,帮助用户找到难例。 算法类型
按需计费适用于资源需求波动的场景,例如面向ToC业务的AIGC推理场景,客户业务量会随时间有规律的波动,按需计费模式能大幅降低客户的业务成本。可在运行自动学习作业、Workflow工作流、创建Notebook实例、创建训练作业、部署模型服务等页面中选择适用的资源规格。 约束限制 按需计费的资源池不支持跨region使用。
模型训练使用流程 AI模型开发的过程,称之为Modeling,一般包含两个阶段: 开发阶段:准备并配置环境,调试代码,使代码能够开始进行深度学习训练,推荐在ModelArts开发环境中调试。 实验阶段:调整数据集、调整超参等,通过多轮实验,训练出理想的模型,推荐在ModelArts训练中进行实验。
训练作业失败,如何使用开发环境调试训练代码? 在创建训练作业前,推荐您先使用ModelArts开发环境调试训练代码,避免代码迁移过程中的错误。 直接使用线上notebook环境调试请参考使用JupyterLab开发模型。 配置本地IDE(Pycharm或者VsCode)联接云上环境调试请参考使用本地IDE开发模型。
专属资源池计费项 计费说明 在ModelArts进行AI全流程开发时,会产生计算资源的计费,计算资源为进行运行自动学习、Workflow、开发环境、模型训练和部署服务的费用。具体内容如表1所示。 表1 计费项 计费项 计费项说明 适用的计费模式 计费公式 计算资源 专属资源池 使用计算资源的用量。
适配操作过程和代码示例。同时还针对Resnet18在cifar10数据集上的分类任务,给出了分布式训练改造(DDP)的完整代码示例,供用户学习参考。 训练流程简述 相比于DP,DDP能够启动多进程进行运算,从而大幅度提升计算资源的利用率。可以基于torch.distributed
大模型基于DevServer的推理通用指导》。 微调训练和预训练的区别 微调训练是在预训练权重的基础上使用指令数据集进行的,对模型权重进行学习调整。从而针对特定任务达到预期效果。 微调训练与预训练任务的区别主要包括: 使用的数据不同,微调使用的是指令数据集,在处理数据集时需要将--handler-name
署的全流程指导。 场景描述 本案例用于指导用户使用PyTorch1.8实现手写数字图像识别,示例采用的数据集为MNIST官方数据集。 通过学习本案例,您可以了解如何在ModelArts平台上训练作业、部署推理模型并预测的完整流程。 操作流程 开始使用如下样例前,请务必按准备工作指导完成必要操作。
使用AI Gallery微调大师训练模型 AI Gallery支持将模型进行微调,训练后得到更优模型。 场景描述 模型微调是深度学习中的一种重要技术,它是指在预训练好的模型基础上,通过调整部分参数,使其在特定任务上达到更好的性能。 在实际应用中,预训练模型是在大规模通用数据集上训
BS)中的元模型和容器镜像中的元模型,可对所有迭代和调试的AI应用进行统一管理。 约束与限制 自动学习项目中,在完成模型部署后,其生成的模型也将自动上传至AI应用列表中。但是自动学习生成的AI应用无法下载,只能用于部署上线。 创建AI应用、管理AI应用版本等功能目前是免费开放给所有用户,使用此功能不会产生费用。
ModelArts不仅支持自动学习功能,还预置了多种已训练好的模型,同时集成了Jupyter Notebook,提供在线的代码开发环境。 业务开发者 使用自动学习构建模型 AI初学者 使用自定义算法构建模型 免费体验ModelArts 免费体验CodeLab 自动学习 口罩检测(使用新版自动学习实现物体检测)
集中上传更多的图片时,是有限制的。要求单张图片大小不超过8MB,且只支持JPG、JPEG、PNG和BMP四种格式的图片。 请注意,针对自动学习功能中的添加图片,其图片大小限制不同,要求上传的图片大小不超过5MB。 解决方案: 方法1:使用导入功能。将图片上传至OBS任意目录,通过
数据扩增通过简单的数据扩增例如缩放、裁剪、变换、合成等操作直接或间接的方式增加数据量。 数据生成应用相关深度学习模型,通过对原数据集进行学习,训练生成新的数据集的方式增加数据量。 数据域迁移应用相关深度学习模型,通过对原域和目标域数据集进行学习,训练生成原域向目标域迁移的数据。 父主题: 处理ModelArts数据集中的数据
止因运行Workflow工作流而创建的训练作业和部署的服务。同时,也需清理存储到OBS中的数据。 自动学习:自动学习运行时会收取费用,使用完请及时停止自动学习、停止因运行自动学习而创建的训练作业和部署的服务。同时,也需清理存储到OBS中的数据。 Notebook实例: 运行中的N
查询自动学习资源规格无需此参数。 engine_id 否 Long 指定作业的引擎ID,默认为“0”。查询自动学习资源规格无需此参数。 project_type 否 Integer 项目类型。默认为“0”。 0:非自动学习项目。 1:自动学习,图像分类。 2:自动学习,物体检测。