数据准备-华为云

AI开发平台ModelArts-创建ModelArts数据集:数据集的类型

数据集的类型当前ModelArts支持如下格式的数据集。图片：对图像类数据进行处理，支持 .jpg、.png、.jpeg、.bmp四种图像格式，支持用户进行图像分类、物体检测、图像分割类型的标注。音频：对音频类数据进行处理，支持.wav格式，支持用户进行声音分类、语音内容、语音分割三种类型的标注。文本：对文本类数据进行处理，支持.txt、.csv格式，支持用户进行文本分类、命名实体、文本三元组三种类型的标注。视频：对视频类数据进行处理，支持.mp4格式，支持用户进行视频标注。自由格式：管理的数据可以为任意格式，目前不支持标注，适用于无需标注或开发者自行定义标注的场景。如果您的数据集需存在多种格式数据，或者您的数据格式不符合其他类型数据集时，可选择自由格式的数据集。表格表格：适合表格等结构化数据处理。数据格式支持csv。不支持标注，支持对部分表格数据进行预览，但是最多支持100条数据预览。

AI开发平台ModelArts 数据准备与处理

AI开发平台ModelArts-创建ModelArts数据集:不同类型数据集支持的功能列表

不同类型数据集支持的功能列表其中，不同类型的数据集支持不同的功能，如智能标注、团队标注等。详细信息参考表1。表1 不同类型的数据集支持的功能数据集类型标注类型创建数据集导入数据导出数据发布数据集修改数据集管理版本智能标注团队标注自动分组数据特征图片图像分类支持支持支持支持支持支持支持支持支持支持物体检测支持支持支持支持支持支持支持支持支持支持图像分割支持支持支持支持支持支持 - - 支持 - 音频声音分类支持支持 - 支持支持支持 - - - - 语音内容支持支持 - 支持支持支持 - - - - 语音分割支持支持 - 支持支持支持 - 支持 - - 文本文本分类支持支持 - 支持支持支持 - 支持 - - 命名实体支持支持 - 支持支持支持 - 支持 - - 文本三元组支持支持 - 支持支持支持 - 支持 - - 视频视频支持支持 - 支持支持支持 - - - - 自由格式自由格式支持 - _ 支持支持支持 - - - - 表格表格支持支持 - 支持支持支持 - - - -

AI开发平台ModelArts 数据准备与处理

AI开发平台ModelArts-创建ModelArts数据集:规格限制

规格限制除表格类型之外的数据集（如视频、文本、音频等），单个数据集的最大样本数量限制：1000000，最大标签数量限制：10000。除图片类型之外的数据集（如视频、文本、音频等），单个样本大小限制：5GB。针对图片类数据集（物体检测、图像分类、图像分割），单个图片大小限制：25MB。单个manifest文件大小限制：5GB。文本文件单行大小限制：100KB。数据集标注结果文件大小限制：100MB。

AI开发平台ModelArts 数据准备与处理

网络智能体-附录任务配置参考:数据处理

数据处理输入数据处理任务的名称、选择前置任务（可选）。在作业列表中，选择需要的数据处理任务。若在创建自定义工程之前，用户未创建作业但需要使用，可以在界面右侧单击“管理作业”，详细介绍请参见管理新增作业，创建完成之后在界面左上方单击“返回”，并刷新作业列表。（可选）管理已有作业。在作业对应的“操作”下，单击，查看作业配置信息和日志。在作业对应的“操作”下，单击，重新编辑作业。在作业对应的“操作”下，单击，刷新作业。

网络智能体数据准备

网络智能体-附录任务配置参考:本地上传

本地上传本地上传参数说明见表1。表2 本地上传参数说明参数说明任务信息任务名称必填项。任务的名称。数据源信息数据存储路径支持选项：默认：提供的默认路径，将数据上传至默认的OBS桶路径下。默认值为“默认”。自定义：选择OBS桶的路径，将数据上传至指定路径下。自定义路径操作方法：在“数据存储路径”右侧，单击“选择路径”。在“路径选择”界面，下拉框中选择OBS桶名。选择某个指定路径。单击“确定”。

网络智能体数据准备

网络智能体-附录任务配置参考:数据模型

数据模型输入数据建模任务的名称。在左侧依次单击DataModeling及其子目录前面的，展开目录。单击已创建模型的目录名称。若在创建自定义工程之前，用户未创建数据模型但需要使用，可以在界面右侧单击“创建模型”，详细介绍请参见创建逻辑实体~发布模型，创建完成之后在界面右上角单击“返回”，并刷新模型列表。在右侧模型列表中，选择需要的数据模型。（可选）管理已有目录和实体。，依次为编辑、新增、删除和刷新目录。在逻辑实体对应“操作”列下，单击“修改”或“取消发布”，可以修改逻辑实体、取消发布。在逻辑实体对应“物理实体”列下，单击，单击“新增”或“修改”，可以新增、删除物理实体。

网络智能体数据准备

网络智能体-附录任务配置参考:数据集发布

数据集发布数据集发布参数说明见表3。表3 数据集发布参数说明参数说明任务信息任务名称必填项。数据集发布任务的名称。参数信息数据建模如果工程治理阶段中添加有数据建模任务时，才有此参数。必选项。在下拉框中选择数据建模的任务名称信息。数据集名称必填项。待发布数据集的名称。 “数据建模”选择任务名称后，自动显示。源目录必填项。待发布数据集的来源目录。 “数据建模”选择值后，自动显示。目标目录必选项。待发布数据集的存放目录。支撑如下选项：选择已有目录用户直接选择目录执行操作：单击选择已有目录右侧的，在弹出界面选择需要的目录。用户新增目录并且选择目录执行操作：单击选择已有目录右侧的“创建目录”，创建目录的方法请参考管理目录。创建完成后，单击选择已有目录右侧的，在弹出界面选择需要的目录。说明：在数据集中创建目录时，该用户需要具有“Data Operation Engineer”角色。自动生成目录。标签选填项。待发布数据集的标签信息。描述选填项。待发布数据集的描述信息。

网络智能体数据准备

云服务器内容精选

数据准备

7*24

备案

专业服务

退订

建议反馈

售前咨询热线