AI开发平台MODELARTS-创建Workflow数据集节点:属性总览

时间:2024-12-10 11:36:21

属性总览

您可以使用CreateDatasetStep来构建数据集创建节点,CreateDatasetStep及相关对象结构如下。

表1 CreateDatasetStep

属性

描述

是否必填

数据类型

name

数据集创建节点的名称,命名规范(只能包含英文字母、数字、下划线(_)、中划线(-),并且只能以英文字母开头,长度限制为64字符),一个Workflow里的两个step名称不能重复。

str

inputs

数据集创建节点的输入列表。

CreateDatasetInput或者CreateDatasetInput的列表

outputs

数据集创建节点的输出列表。

CreateDatasetOutput或者CreateDatasetOutput的列表

properties

数据集创建相关的配置信息。

DatasetProperties

title

title信息,主要用于前端的名称展示。

str

description

数据集创建节点的描述信息。

str

policy

节点执行的policy。

StepPolicy

depend_steps

依赖的节点列表。

Step或者Step的列表

表2 CreateDatasetInput

属性

描述

是否必填

数据类型

name

数据集创建节点的输入名称,命名规范(只能包含英文字母、数字、下划线(_)、中划线(-),并且只能以英文字母开头,长度限制为64字符)。同一个Step的输入名称不能重复。

str

data

数据集创建节点的输入数据对象。

OBS相关对象,当前仅支持OBSPath、OBSConsumption、OBSPlaceholder、DataConsumptionSelector

表3 CreateDatasetOutput

属性

描述

是否必填

数据类型

name

数据集创建节点的输出名称,命名规范(只能包含英文字母、数字、下划线(_)、中划线(-),并且只能以英文字母开头,长度限制为64字符)。同一个Step的输出名称不能重复。

str

config

数据集创建节点的输出相关配置。

当前仅支持OBSOutputConfig

表4 DatasetProperties

属性

描述

是否必填

数据类型

dataset_name

数据集的名称,只能是中文、字母、数字、下划线或中划线组成的合法字符串,长度为1-100位。

str、Placeholder

dataset_format

数据集格式,默认为0,表示文件类型。

0:文件类型

1:表格类型

data_type

数据类型,默认为FREE_FORMAT。

DataTypeEnum

description

描述信息。

str

import_data

是否要导入数据,当前只支持表格数据,默认为False。

bool

work_path_type

数据集输出路径类型,当前仅支持OBS,默认为0。

int

import_config

标签导入的相关配置,默认为None,当基于已标注的数据创建数据集时,可指定该字段导入相关标注信息。

ImportConfig

表5 Importconfig

属性

描述

是否必填

数据类型

import_annotations

是否自动导入输入目录下的标注信息,支持检测/图像分类/文本分类。可选值如下:

  • true:导入输入目录下的标注信息(默认值)
  • false:不导入输入目录下的标注信息

str、Placeholder

import_type

导入方式。可选值如下:

  • dir:目录导入
  • manifest:按manifest文件导入

0:文件类型ImportTypeEnum

annotation_format_config

导入的标注格式的配置参数。

DAnnotationFormaTypeEtConumfig的列表

表6 AnnotationFormatConfig

属性

描述

是否必填

数据类型

format_name

标注格式的名称。

AnnotationFormatEnum

scene

标注场景,可选参数。

LabelTaskTypeEnum

枚举类型

枚举值

ImportTypeEnum

DIR

MANIFEST

DataTypeEnum

IMAGE

TEXT

AUDIO

TABULAR

VIDEO

FREE_FORMAT

AnnotationFormatEnum

MA_IMAGE_CLASSIFICATION_V1

MA_IMAGENET_V1

MA_PASCAL_VOC_V1

YOLO

MA_IMAGE_SEGMENTATION_V1

MA_TEXT_CLASSIFICATION_COMBINE_V1

MA_TEXT_CLASSIFICATION_V1

MA_AUDIO_CLASSIFICATION_DIR_V1

support.huaweicloud.com/usermanual-standard-modelarts/modelarts_workflow_0364.html