AI开发平台ModelArts-数据管理简介:数据集管理流程及功能简介

时间:2023-11-01 16:16:40

数据集管理流程及功能简介

图2 标注管理全流程
表1 功能介绍

功能

说明

创建数据集(旧版)

创建一个新的数据集。

图像分类

物体检测

文本分类

命名实体

文本三元组

声音分类

语音内容

语音分割

视频标注

针对不同类型的数据集,对数据进行标注。“自由格式”和“表格”类型的数据集暂不支持数据标注。

导入操作

将数据导入数据集中。

导出数据

支持将部分数据导出为新的数据集或者将数据导出至OBS。同时支持对任务历史进行查看和管理。

修改数据集

修改数据集的基本信息。如数据集名称、描述或标签等信息。

发布数据集

将标注后的数据集发布为新版本,以便应用于后续的模型构建。

管理数据集版本

通过数据集版本查看演进过程。

智能标注

支持对未标注的数据快速完成数据标注,为您节省70%以上的标注时间。

自动分组

您可以针对您选中的数据,执行自动分组,提升您的数据标注效率。

数据特征

对数据进行特征分析,帮助您了解数据。

团队标注简介

支持多人标注同一个数据集,且支持数据集创建者统一管理标注任务。添加团队及其成员,参与到数据集的标注工作。

数据处理

为了保障数据质量,以免对后续操作(如数据标注、模型训练等)带来负面影响,开发过程通常需要进行数据处理。常见的数据处理类型有:数据校验、数据清洗、数据选择、数据增强。

删除数据集

删除数据集以释放资源。

support.huaweicloud.com/engineers-modelarts/modelarts_23_0003.html