检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在ModelArts自动学习中模型训练图片异常怎么办? 使用自动学习的图像分类或物体检测算法时,标注完成的数据在进行模型训练后,训练结果为图片异常。针对不同的异常情况说明及解决方案参见表1。 表1 自动学习训练中图片异常情况说明(图像分类和物体检测) 序号 图片异常显示字段 图片异常说明 解决方案字段
在ModelArts数据集中添加图片对图片大小有限制吗? 在数据管理功能中,针对“物体检测”或“图像分类”的数据集,在数据集中上传更多的图片时,是有限制的。要求单张图片大小不超过8MB,且只支持JPG、JPEG、PNG和BMP四种格式的图片。 请注意,针对自动学习功能中的添加图片,其图片大小限制不同,要求上传的图片大小不超过5MB。
各个模型深度学习训练加速框架的选择 LlamaFactory框架使用两种训练框架: DeepSpeed和Accelerate都是针对深度学习训练加速的工具,但是它们的实现方式和应用场景有所不同。 DeepSpeed是一种深度学习加速框架,主要针对大规模模型和大规模数据集的训练。D
登录ModelArts管理控制台,单击左侧导航栏的自动学习。 在自动学习项目管理页面,单击对应的项目名称,进入此项目的自动学习详情页。 在数据标注页面,单击未标注页签,在此页面中,您可以单击添加图片,或者增删标签。 如果增加了图片,您需要对增加的图片进行重新标注。如果您增删标签,建议对所有的图片进行排查和重新标注。对已标注的数据,
标注图片(图像分类) 在标注作业详情页中,展示了此数据集中“全部”、“未标注”和“已标注”的图片,默认显示“未标注”的图片列表。单击图片,即可进行图片的预览,对于已标注图片,预览页面下方会显示该图片的标签信息。 在“未标注”页签,勾选需进行标注的图片。 手工点选:在图片列表中,
标注图像分类数据 由于模型训练过程需要大量有标签的图片数据,因此在模型训练之前需对没有标签的图片添加标签。通过ModelArts您可对图片进行一键式批量添加标签,快速完成对图片的标注操作,也可以对已标注图片修改或删除标签进行重新标注。 请确保数据集中已标注的图片不低于100张,否则会导致数据集校验环节不通过,影响您的模型训练。
功,如果数据集还未成功导入,创建自动学习物体检测项目后数据标注节点会报错。 图2 数据标注节点报错 步骤三:创建自动学习物体检测项目 确保数据集创建完成且可正常使用后,在ModelArts控制台,左侧导航栏选择“自动学习”默认进入新版自动学习页面,选择物体检测项目,单击“创建项目”。
类任务的列表。 “智能标注”是指基于当前标注阶段的标签及图片学习训练,选中系统中已有的模型进行智能标注,快速完成剩余图片的标注操作。“智能标注”又包含“主动学习”和“预标注”两类。 “主动学习”表示系统将自动使用半监督学习、难例筛选等多种手段进行智能标注,降低人工标注量,帮助用户找到难例。
提供“自动学习白盒化”能力,开放模型参数、自动生成模型,实现模板化开发,提高开发效率 采用自动深度学习技术,通过迁移学习(只通过少量数据生成高质量的模型),多维度下的模型架构自动设计(神经网络搜索和自适应模型调优),和更快、更准的训练参数自动调优自动训练 采用自动机器学习技术,基于
自动学习生成的模型,存储在哪里?支持哪些其他操作? 模型统一管理 针对自动学习项目,当模型训练完成后,其生成的模型,将自动进入“模型管理”页面,如下图所示。模型名称由系统自动命名,前缀与自动学习项目的名称一致,方便辨识。 自动学习生成的模型,不支持下载使用。 图1 自动学习生成的模型
请先解除桶加密,重新上传图片或文件。 图3 OBS桶中的文件未加密 检查图片是否符合要求 目前自动学习不支持四通道格式的图片。请检查您的数据,排除或删除四通道格式的图片。 检查标注框是否符合要求(物体检测) 目前物体检测仅支持矩形标注框。请确保所有图片的标注框为矩形框。 如果使用非矩形框,可能存在以下报错:
训练图像分类模型 完成图片标注后,可进行模型的训练。模型训练的目的是得到满足需求的图像分类模型。请参考前提条件确保已标注的图片符合要求,否则数据集校验将会不通过。 前提条件 请确保您的数据集中的已标注的图片不低于100张。 请确保您的数据集中至少存在2种以上的图片分类,且每种分类的图片不少于5张。
上传预测图片 单击“上传”,选择一张需要预测的图片,单击“预测”,即可在右边的预测结果显示区查看您的预测结果。 图5 预测样例图 图6 查看预测结果 本案例中数据和算法生成的模型仅适用于教学模式,并不能应对复杂的预测场景。即生成的模型对预测图片有一定范围和要求,预测图片必须和训练数据集中的图片相似才可能预测准确。
在标注窗口中,您可以滚动鼠标,放大或缩小图片,方便您快速定位到物体位置。 图2 物体检测图片标注 当图片目录中所有图片都完成标注后,返回“自动学习工作流”页面,单击“继续运行”按钮,工作流将会自动发布数据标注版本,并进行下一步训练步骤。 同步或添加图片 在“数据标注”节点单击“实例详情
不满足自动学习训练作业要求,因此出现数据集版本不合格的错误提示。 标注信息不满足训练要求 针对不同类型的自动学习项目,训练作业对数据集的要求如下。 图像分类:用于训练的图片,至少有2种以上的分类(即2种以上的标签),每种分类的图片数不少于5张。 物体检测:用于训练的图片,至少有1
自动学习简介 自动学习功能介绍 ModelArts自动学习是帮助人们实现模型的低门槛、高灵活、零代码的定制化模型开发工具。自动学习功能根据标注数据自动设计模型、自动调参、自动训练、自动压缩和部署模型。开发者无需专业的开发基础和编码能力,只需上传数据,通过自动学习界面引导和简单操作即可完成模型训练和部署。
集,不支持启动主动学习和自动分组任务,支持预标注任务。 “智能标注”是指基于当前标注阶段的标签及图片学习训练,选中系统中已有的模型进行智能标注,快速完成剩余图片的标注操作。“智能标注”又包含“主动学习”和“预标注”两类。 “主动学习”表示系统将自动使用半监督学习、难例筛选等多种手
训练物体检测模型 自动学习物体检测项目,在图片标注完成后,通过模型训练得到合适的模型版本。 操作步骤 在新版自动学习页面,单击项目名称进入运行总览页面,单击“数据标注”节点的“实例详情”进入数据标注页面,完成数据标注。 图1 完成数据标注 返回新版自动学习页面,单击数据标注节点的
ketName/data-cat”。 如需要提前上传待标注的图片,请创建一个空文件夹,然后将图片文件保存在该文件夹下,图片的目录结构如:“/bucketName/data-cat/cat.jpg”。 如您将已标注好的图片上传至OBS桶,请按照如下规范上传。 图像分类数据集要求将标
ketName/data-cat”。 如需要提前上传待标注的图片,请创建一个空文件夹,然后将图片文件保存在该文件夹下,图片的目录结构如:“/bucketName/data-cat/cat.jpg”。 如您将已标注好的图片上传至OBS桶,请按照如下规范上传。 物体检测数据集要求用户