检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
旧版数据集中创建的数据不会被清理,旧版数据集中会自动关联一个数据标注任务。 但是在新版数据集中创建的数据,在旧版的数据集列表不会展示。 父主题: Standard数据管理
此次操作分为以下流程: 准备工作 创建数据集 数据分析 数据标注 数据发布 数据导出 准备工作 在使用ModelArts数据管理的功能前,需要先完成以下准备工作。
步骤一:准备工作 注册华为账号并开通华为云、实名认证 注册华为账号并开通华为云 进行实名认证 配置委托访问授权 ModelArts使用过程中涉及到OBS、SWR、IEF等服务交互,首次使用ModelArts需要用户配置委托授权,允许访问这些依赖服务。
标注任务管理 创建标注任务 查询数据集的标注任务列表 查询标注任务详情 父主题: 数据管理
标注ModelArts数据集中的数据 数据标注场景介绍 通过人工标注方式标注数据 通过智能标注方式标注数据 通过团队标注方式标注数据 管理标注作业 父主题: 数据准备与处理
数据处理:提供数据清洗、数据校验、数据增强、数据选择等分析处理能力 图1 数据标注全流程 父主题: Standard功能介绍
启动智能标注作业 登录ModelArts管理控制台,在左侧菜单栏中选择“数据准备 > 数据标注”,进入“数据标注”管理页面。 在标注作业列表中,选择“物体检测”或“图像分类”类型的标注作业,单击操作列的“智能标注”启动智能标注作业。
但是,DLS服务仅提供深度学习技术,而ModelArts集成了深度学习和机器学习技术,同时ModelArts是一站式的AI开发平台,从数据标注、算法开发、模型训练及部署,管理全周期的AI流程。直白点解释,ModelArts包含并支持DLS中的功能特性。
数据标注时若标注多个标签进行训练而成的模型,最后部署成在线服务之后也是对标注的多个标签去进行识别的。如果只需要快速识别一种标签,建议单独训练识别此标签的模型使用,并选择较大的部署上线的规格也可以提供识别速度。 父主题: Standard数据管理
将数据集中的数据标注为难例 针对标注作业中,已标注或未标注数据,也可以将图片数据标注为难例。标注为难例的数据,对后续模型训练中,通过内置规则提升模型精度。 登录ModelArts管理控制台,在左侧菜单栏中选择“数据准备>数据标注”,单击“我创建的”页签可查看所有作业列表。
Manifest管理概述 在ModelArts使用过程中,需要做数据标注、模型训练、推理、数据集管理、市场发布等业务,这些业务都基于数据集进行的。为了规范对数据集的使用,适配各个使用场景,同时兼顾数据集管理的灵活性,本文档描述数据集管理的接口和描述规范——Manifest文件。
当图片目录中所有图片都完成标注后,返回“自动学习工作流”页面,单击“继续运行”按钮,工作流将会自动发布数据标注版本,并进行下一步训练步骤。 同步或添加图片 在“数据标注”节点单击“实例详情”进入数据标注页面,数据标注的图片来源有两种,通过本地添加图片和同步OBS中的图片数据。
单击“数据标注”节点,当状态变为“等待操作”时,需要手动进行确认数据集中的数据标注情况,也可以对数据集中的数据进行标签的修改,数据的增加或删减。 图1 数据标注节点状态 图片标注 在新版自动学习页面的数据标注节点单击“实例详情”按钮,前往数据标注页面。
标注信息修改后,单击页面左上角的“返回数据标注预览”离开标注页面,在弹出对话框中单击“确定”保存修改。 图6 编辑标注信息 添加数据 除了同步数据集中的新数据外,您还可以在标注作业中,直接添加图片,用于数据标注。
提供交互式标注、智能标注等能力,提升用户数据标注的效率。 提供团队标注以及团队标注流程管理能力,帮助用户提升大批量数据标注的能力。 父主题: 数据准备与处理
本地上传时选择“上传数据存储路径”、“数据标注状态”和“数据集输出路径”。单击“文件上传”,上传您本地的数据。并选择“标注格式”(当数据标注状态为“已标注”时,需要关注该参数)。
开始标注 登录ModelArts管理控制台,在左侧菜单栏中选择“数据准备> 数据标注”,进入“数据标注”管理页面。 数据管理模块在重构升级中,对未使用过数据管理的用户不可见。如果要使用数据管理相关功能,建议提交工单开通权限。
登录ModelArts管理控制台,选择“数据准备 > 数据标注”进入数据标注页。 在“我创建的”或“我参与的”页签下,找到您需要标注的数据集。 单击数据集名称,进入标注详情页。(默认直接进入“未标注”页签)。 在标注详情页右上角单击“标注样例说明”。
前提条件 在进行数据标注前,需要创建相应类型的数据集。具体步骤参考创建数据集。 操作步骤 登录ModelArts管理控制台,在左侧菜单栏中选择“数据准备> 数据标注”,进入“数据标注”管理页面。
主要应用场景如下: 对于数据标注这种操作,可以在标注完成后自动帮助用户发布新的数据集版本,结合as_input的能力提供给后续节点使用。 当模型训练需要更新数据时,可以使用数据集导入节点先导入新的数据,然后再通过该节点发布新的版本供后续节点使用。