检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据集版本不合格 出现此问题时,表示数据集版本发布成功,但是不满足自动学习训练作业要求,因此出现数据集版本不合格的错误提示。 标注信息不满足训练要求 针对不同类型的自动学习项目,训练作业对数据集的要求如下。 图像分类:用于训练的图片,至少有2种以上的分类(即2种以上的标签),每种分类的图片数不少于
by image id ma-cli image get-image --image-id ${image_id} # Query images by image type and show more information ma-cli image get-image
在JupyterLab中使用MindInsight可视化作业 ModelArts支持在开发环境中开启MindInsight可视化工具。在开发环境中通过小数据集训练调试算法,主要目的是验证算法收敛性、检查是否有训练过程中的问题,方便用户调测。 MindInsight能可视化展现出训练过程中的标量
图1 模型镜像构建任务超时 原因分析 imagePacker构建镜像有超时时间限制,默认值为30min(各区域可能存在差异)。
自动学习的每个项目对数据有哪些要求? 图像分类对数据集的要求 文件名规范:不能有+、空格、制表符。 保证图片质量:不能有损坏的图片,目前支持的格式包括jpg、jpeg、bmp、png。 不要把明显不同的多个任务数据放在同一个数据集内。 每一类数据尽量多,尽量均衡。期望获得良好效果,
ModelArts自动学习与ModelArts PRO的区别 ModelArts自动学习,提供了AI初学者,零编码、零AI基础情况下,可使用自动学习功能,开发用于图像分类、物体检测、预测分析、文本分类、声音分类等场景的模型。 而ModelArts PRO是一款为企业级AI应用打造的专业开发套件
sample_type" : 0, "labels" : [ { "name" : "car", "type" : 0, "property" : { } } ], "source" : "https://test-obs.obs.xxx.com:443/image
pixel_values \ --image-token-id 32000 \ --image-input-shape 1,3,336,336 \ --image-feature-size 576 \ --chat-template examples/template_llava.jinja
自动学习简介 自动学习功能介绍 ModelArts自动学习是帮助人们实现模型的低门槛、高灵活、零代码的定制化模型开发工具。自动学习功能根据标注数据自动设计模型、自动调参、自动训练、自动压缩和部署模型。开发者无需专业的开发基础和编码能力,只需上传数据,通过自动学习界面引导和简单操作即可完成模型训练和部署
pixel_values \ --image-token-id 32000 \ --image-input-shape 1,3,336,336 \ --image-feature-size 576 \ --chat-template examples/template_llava.jinja
从OBS导入数据到数据集场景介绍 导入方式 OBS导入数据方式分为“OBS目录”和“Manifest文件”两种。 OBS目录:指需要导入的数据集已提前存储至OBS目录中。此时需选择用户具备权限的OBS路径,且OBS路径内的目录结构需满足规范,详细规范请参见从OBS目录导入数据规范说明
创建预测分析项目 ModelArts自动学习,包括图像分类、物体检测、预测分析、声音分类和文本分类项目。您可以根据业务需求选择创建合适的项目。您需要执行如下操作来创建自动学习项目。 创建项目 登录ModelArts管理控制台,在左侧导航栏单击“开发空间>自动学习”,进入新版自动学习页面
应用场景 本节介绍ModelArts服务的主要应用场景。 大模型 支持三方开源大模型,实现智能回答、聊天机器人、自动摘要、机器翻译、文本分类等任务。 AIGC 提供AIGC场景化解决方案,辅助创作文案、图像、音视频等数字内容。 自动驾驶 实现车辆自主感知环境、规划路径和控制行驶。支持自动驾驶场景
如何将某些图片划分到验证集或者训练集? 目前只能指定切分比例,随机将样本划分到训练集或者验证集,不支持指定。 切分比例的指定: 在发布数据集时,仅“图像分类”、“物体检测”、“文本分类”和“声音分类”类型数据集支持进行数据切分功能。 一般默认不启用该功能。启用后,需设置对应的训练验证比例
创建声音分类项目 ModelArts自动学习,包括图像分类、物体检测、预测分析、声音分类和文本分类项目。您可以根据业务需求选择创建合适的项目。您需要执行如下操作来创建自动学习项目。 创建项目 登录ModelArts管理控制台,在左侧导航栏单击“开发空间>自动学习”,进入新版自动学习页面
sh build_image.sh --base-image=${base_image} --image-name=${image_name} 参数说明: ${base_image}为基础镜像地址。 ${image_name}为推理镜像名称,可自行指定。
数据标注场景介绍 由于模型训练过程需要大量有标签的数据,因此在模型训练之前需对没有标签的数据添加标签。您可以通过创建单人标注作业或团队标注作业对数据进行手工标注,或对任务启动智能标注添加标签,快速完成对图片的标注操作,也可以对已标注图片修改或删除标签进行重新标注。 ModelArts
MA_IMAGENET_V1 MA_PASCAL_VOC_V1 YOLO MA_IMAGE_SEGMENTATION_V1 MA_TEXT_CLASSIFICATION_COMBINE_V1 MA_TEXT_CLASSIFICATION_V1 MA_AUDIO_CLASSIFICATION_DIR_V1
数据集如何切分 在发布数据集时,仅“图像分类”、“物体检测”、“文本分类”和“声音分类”类型数据集支持进行数据切分功能。 一般默认不启用该功能。启用后,需设置对应的训练验证比例。 输入“训练集比例”,数值只能是0~1区间内的数。设置好“训练集比例”后,“验证集比例”自动填充。“训练集比例
创建物体检测项目 ModelArts自动学习,包括图像分类、物体检测、预测分析、声音分类和文本分类项目。您可以根据业务需求选择创建合适的项目。您需要执行如下操作来创建自动学习项目。 创建项目 登录ModelArts管理控制台,在左侧导航栏单击“开发空间>自动学习”,进入新版自动学习页面