数据准备与处理-华为云

AI开发平台MODELARTS-创建ModelArts数据集:规格限制

规格限制除表格类型之外的数据集（如视频、文本、音频等），单个数据集的最大样本数量限制：1000000，最大标签数量限制：10000。除图片类型之外的数据集（如视频、文本、音频等），单个样本大小限制：5GB。针对图片类数据集（物体检测、图像分类、图像分割），单个图片大小限制：25MB。单个manifest文件大小限制：5GB。文本文件单行大小限制：100KB。数据管理标注结果文件大小限制：100MB。

AI开发平台MODELARTS 数据准备与处理

AI开发平台MODELARTS-创建ModelArts数据集:数据集的类型

数据集的类型当前ModelArts支持如下格式的数据集。图片：对图像类数据进行处理，支持 .jpg、.png、.jpeg、.bmp四种图像格式，支持用户进行图像分类、物体检测、图像分割类型的标注。音频：对音频类数据进行处理，支持.wav格式，支持用户进行声音分类、语音内容、语音分割三种类型的标注。文本：对文本类数据进行处理，支持.txt、.csv格式，支持用户进行文本分类、命名实体、文本三元组三种类型的标注。视频：对视频类数据进行处理，支持.mp4格式，支持用户进行视频标注。自由格式：管理的数据可以为任意格式，目前不支持标注，适用于无需标注或开发者自行定义标注的场景。如果您的数据集需存在多种格式数据，或者您的数据格式不符合其他类型数据集时，可选择自由格式的数据集。表格表格：适合表格等结构化数据处理。数据格式支持csv。不支持标注，支持对部分表格数据进行预览，但是最多支持100条数据预览。

AI开发平台MODELARTS 数据准备与处理

AI开发平台MODELARTS-创建ModelArts数据集:不同类型数据集支持的功能列表

不同类型数据集支持的功能列表其中，不同类型的数据集支持不同的功能，如智能标注、团队标注等。详细信息参考表1。表1 不同类型的数据集支持的功能数据集类型标注类型创建数据集导入数据导出数据发布数据集修改数据集管理版本智能标注团队标注自动分组数据特征图片图像分类支持支持支持支持支持支持支持支持支持支持物体检测支持支持支持支持支持支持支持支持支持支持图像分割支持支持支持支持支持支持 - - 支持 - 音频声音分类支持支持 - 支持支持支持 - - - - 语音内容支持支持 - 支持支持支持 - - - - 语音分割支持支持 - 支持支持支持 - 支持 - - 文本文本分类支持支持 - 支持支持支持 - 支持 - - 命名实体支持支持 - 支持支持支持 - 支持 - - 文本三元组支持支持 - 支持支持支持 - 支持 - - 视频视频支持支持 - 支持支持支持 - - - - 自由格式自由格式支持 - _ 支持支持支持 - - - - 表格表格支持支持 - 支持支持支持 - - - -

AI开发平台MODELARTS 数据准备与处理

AI开发平台MODELARTS-发布ModelArts数据集中的数据版本:关于数据集版本

关于数据集版本针对刚创建的数据集（未发布前），无数据集版本信息，必须执行发布操作后，才能应用于模型开发或训练。数据集版本，默认按V001、V002递增规则进行命名，您也可以在发布时自定义设置。您可以将任意一个版本设置为当前目录，即表示数据集列表中进入的数据集详情，为此版本的数据及标注信息。针对每一个数据集版本，您可以通过“存储路径”参数，获得此版本对应的Manifest文件格式的数据集。可用于导入数据或难例筛选操作。表格数据集暂不支持切换版本。

AI开发平台MODELARTS 数据准备与处理

AI开发平台MODELARTS-发布ModelArts数据集中的数据版本:数据集版本文件目录结构

AI开发平台MODELARTS 数据准备与处理

AI开发平台MODELARTS-分析ModelArts数据集中的数据特征:背景信息

背景信息只有“图片”的数据集，且版本标注类型为“物体检测”和“图像分类”的数据集版本支持数据特征分析。只有发布后的数据集支持数据特征分析。发布后的Default格式数据集版本支持数据特征分析。数据特征分析的数据范围，不同类型的数据集，选取范围不同：对于标注任务类型为“物体检测”的数据集版本，当已标注样本数为0时，发布版本后，数据特征页签版本置灰不可选，无法显示数据特征。否则，显示已标注的图片的数据特征。对于标注任务类型为“图像分类”的数据集版本，当已标注样本数为0时，发布版本后，数据特征页签版本置灰不可选，无法显示数据特征。否则，显示全部的图片的数据特征。数据集中的图片数量要达到一定量级才会具有意义，一般来说，需要有大约1000+的图片。 “图像分类”支持分析指标有：“分辨率”、“图片高宽比”、“图片亮度”、“图片饱和度”、“清晰度”和“图像色彩的丰富程度”。“物体检测”支持所有的分析指标。目前ModelArts支持的所有分析指标请参见支持分析指标及其说明。

AI开发平台MODELARTS 数据准备与处理

AI开发平台MODELARTS-分析ModelArts数据集中的数据特征:支持分析指标及其说明

支持分析指标及其说明表1 分析指标列表名称说明分析说明分辨率 Resolution 图像分辨率。此处使用面积值作为统计值。通过指标分析结果查看是否有偏移点。如果存在偏移点，可以对偏移点做resize操作或直接删除。图片高宽比 Aspect Ratio 图像高宽比，即图片的高度/图片的宽度。一般呈正态分布，一般用于比较训练集和真实场景数据集的差异。图片亮度 Brightness 图片亮度，值越大代表观感上亮度越高。一般呈正态分布，可根据分布中心判断数据集整体偏亮还是偏暗。可根据使用场景调整，比如使用场景是夜晚，图片整体应该偏暗。图片饱和度 Saturation 图片的色彩饱和度，值越大表示图片整体色彩越容易分辨。一般呈正态分布，一般用于比较训练集和真实场景数据集的差异。清晰度 Clarity 图片清晰程度，使用拉普拉斯算子计算所得，值越大代表边缘越清晰，图片整体越清晰。可根据使用场景判断清晰度是否满足需要。比如使用场景的数据采集来自高清摄像头，那么清晰度对应的需要高一些。可通过对数据集做锐化或模糊操作，添加噪声对清晰度做调整。图像色彩的丰富程度 Colorfulness 横坐标：图像的色彩丰富程度，值越大代表色彩越丰富。纵坐标：图片数量。是观感上的色彩丰富程度，一般用于比较训练集和真实场景数据集的差异。按单张图片中框的个数统计图片分布 Bounding Box Quantity 横坐标：单张图片中框的个数。纵坐标：图片数量。对模型而言一张图片的框个数越多越难检测，需要越多的这种数据用作训练。按单张图片中框的面积标准差统计图片分布 Standard Deviation of Bounding Boxes Per Image 横坐标：单张图片中框的标准差。单张图片只有一个框时，标准差为0。标准差的值越大，表示图片中框大小不一程度越高。纵坐标：图片数量。对模型而言一张图中框如果比较多且大小不一，是比较难检测的，可以根据场景添加数据用作训练，或者实际使用没有这种场景可直接删除。按高宽比统计框数量的分布 Aspect Ratio of Bounding Boxes 横坐标：目标框的高宽比。纵坐标：框数量（统计所有图片中的框）。一般呈泊松分布，但与使用场景强相关。多用于比较训练集和验证集的差异，如训练集都是长方形框的情况下，验证集如果是接近正方形的框会有比较大影响。按面积占比统计框数量的分布 Area Ratio of Bounding Boxes 横坐标：目标框的面积占比，即目标框的面积占整个图片面积的比例，越大表示物体在图片中的占比越大。纵坐标：框数量（统计所有图片中的框）。主要判断模型中使用的anchor的分布，如果目标框普遍较大，anchor就可以选择较大。按边缘化程度统计框数量的分布 Marginalization Value of Bounding Boxes 横坐标：边缘化程度，即目标框中心点距离图片中心点的距离占图片总距离的比值，值越大表示物体越靠近边缘。（图片总距离表示以图片中心点为起点画一条经过标注框中心点的射线，该射线与图片边界交点到图片中心点的距离）。纵坐标：框数量（统计所有图片中的框）。一般呈正态分布。用于判断物体是否处于图片边缘，有一些只露出一部分的边缘物体，可根据需要添加数据集或不标注。按堆叠度统计框数量的分布 Overlap Score of Bounding Boxes 横坐标：堆叠度，单个框被其他的框重叠的部分，取值范围为0～1，值越大表示被其他框覆盖的越多。纵坐标：框数量（统计所有图片中的框）。主要用于判断待检测物体的堆叠程度，堆叠物体一般对于检测难度较高，可根据实际使用需要添加数据集或不标注部分物体。按亮度统计框数量的分布 Brightness of Bounding Boxes 横坐标：目标框的图片亮度，值越大表示越亮。纵坐标：框数量（统计所有图片中的框）。一般呈正态分布。主要用于判断待检测物体的亮度。在一些特殊场景中只有物体的部分亮度较暗，可以看是否满足要求。按清晰度统计框数量的分布 Clarity of Bounding Boxes 横坐标：目标框的清晰度，值越大表示越清晰。纵坐标：框数量（统计所有图片中的框）。主要用于判断待检测物体是否存在模糊的情况。比如运动中的物体在采集中可能变得模糊，需要重新采集。

AI开发平台MODELARTS 数据准备与处理

云服务器内容精选

数据准备与处理

7*24

备案

专业服务

退订

建议反馈

售前咨询热线