示例代码 示例一：根据数据类型创建图像数据集 from modelarts.session import Session from modelarts.dataset import Dataset session = Session() dataset_name = "dataset-image" # 数据集名称 data_type = "IMAGE" # 数据集类型，图像类型数据集 data_sources = dict() # 数据集数据来源 data_sources["type"] = 0 # 数据来源类型，0表示OBS data_sources["path"] = "/obs-gaia-test/data/image/image-classification/" # 数据在OBS中的路径 work_path = dict() # 数据集输出位置，用于存放输出的标注信息等文件 work_path['type'] = 0 # 数据集工作目录的类型，0表示OBS work_path['path'] = "/obs-gaia-test/data/output/work_path/" # 数据集工作目录在OBS中的路径 create_dataset_resp = Dataset.create_dataset(session, dataset_name=dataset_name, data_type=data_type, data_sources=data_sources, work_path=work_path) 示例二：根据数据类型创建图像数据集（导入标注信息） from modelarts.session import Session from modelarts.dataset import Dataset session = Session() dataset_name = "dataset-image-with-annotations" data_type = "IMAGE" data_sources = dict() data_sources["type"] = 0 data_sources["path"] = "/obs-gaia-test/data/image/image-classification/" annotation_config = dict() # 源数据的标注格式 annotation_config['scene'] = "image_classification" # 数据标注场景为图像分类标注 annotation_config['format_name'] = "ModelArts image classification 1.0" # 标注格式为ModelArts image classification 1.0 data_sources['annotation_config'] = annotation_config work_path = dict() work_path['type'] = 0 work_path['path'] = "/obs-gaia-test/data/output/work_path/" create_dataset_resp = Dataset.create_dataset(session, dataset_name=dataset_name, data_type=data_type, data_sources=data_sources, work_path=work_path) 示例三：根据数据类型创建表格数据集 from modelarts.session import Session from modelarts.dataset import Dataset session = Session() dataset_name = "dataset-table" data_type = "TABLE" data_sources = dict() data_sources["type"] = 0 data_sources["path"] = "/obs-gaia-test/data/table/table0/" data_sources['with_column_header'] = True work_path = dict() work_path['type'] = 0 work_path['path'] = "/obs-gaia-test/data/output/work_path/" # 表格类型的数据集需要指定表格数据的schema信息 schema0 = dict() schema0['schema_id'] = 0 schema0['name'] = "name" schema0['type'] = "STRING" schema1 = dict() schema1['schema_id'] = 1 schema1['name'] = "age" schema1['type'] = "STRING" schema2 = dict() schema2['schema_id'] = 2 schema2['name'] = "label" schema2['type'] = "STRING" schemas = [] schemas.append(schema0) schemas.append(schema1) schemas.append(schema2) create_dataset_resp = Dataset.create_dataset(session, dataset_name=dataset_name, data_type=data_type, data_sources=data_sources, work_path=work_path, schema=schemas) 示例四：根据标注类型创建图像分类数据集 from modelarts.session import Session from modelarts.dataset import Dataset session = Session() dataset_name = "dataset-image-classification" dataset_type = 0 # 数据集的标注类型，0表示图像分类标注类型 data_sources = dict() data_sources["path"] = "/obs-gaia-test/data/image/image-classification/" data_sources["type"] = "0" work_path = dict() work_path['type'] = 0 work_path['path'] = "/obs-gaia-test/data/output/work_path/" create_dataset_resp = Dataset.create_dataset(session, dataset_name=dataset_name, dataset_type=dataset_type, data_sources=data_sources, work_path=work_path) 示例五：根据标注类型创建文本三元组数据集 dataset_name = "dataset-text-triplet" dataset_type = 102 # 数据集标注类型，102表示文本三元组标注类型 data_sources = dict() data_sources['type'] = 0 data_sources['path'] = "/obs-gaia-test/data/text/text-classification/" work_path = dict() work_path['type'] = 0 work_path['path'] = "/obs-gaia-test/data/output/work_path/" # 创建文本三元组标注类型的数据集，需要传入标签参数 label_entity1 = dict() # 标签对象 label_entity1['name'] = "疾病" # 标签名称 label_entity1['type'] = 101 # 标签类型，101表示实体类型标签 label_entity2 = dict() label_entity2['name'] = "疾病别称" label_entity2['type'] = 101 label_relation1 = dict() label_relation1['name'] = "又称为" label_relation1['type'] = 102 # 标签类型，102表示关系类型标签 property = dict() # 关系类型标签需要在标签属性中指定起始实体标签和终止实体标签 property['@modelarts:from_type'] = "疾病" # 起始实体标签 property['@modelarts:to_type'] = "疾病别称" # 终止实体标签 label_relation1['property'] = property labels = [] labels.append(label_entity1) labels.append(label_entity2) labels.append(label_relation1) create_dataset_resp = Dataset.create_dataset(session, dataset_name=dataset_name, dataset_type=dataset_type, data_sources=data_sources, work_path=work_path, labels=labels) 示例六：根据标注类型创建表格数据集 dataset_name = "dataset-table" dataset_type = 400 # 数据集标注类型，400表示表格数据集 data_sources = dict() data_sources['type'] = 0 data_sources['path'] = "/obs-gaia-test/data/table/table0/" data_sources['with_column_header'] = True # 用来指明表格数据中是否包含表头 work_path = dict() work_path['type'] = 0 work_path['path'] = "/obs-gaia-test/data/output/work_path/" # 表格数据集需要传入表格数据的表头参数 schema0 = dict() # 表格的表头 schema0['schema_id'] = 0 # 第一列表头 schema0['name'] = "name" # 表头名称，该列表头为name schema0['type'] = "STRING" # 表头数据类型，表示字符串 schema1 = dict() schema1['schema_id'] = 1 schema1['name'] = "age" schema1['type'] = "STRING" schema2 = dict() schema2['schema_id'] = 2 schema2['name'] = "label" schema2['type'] = "STRING" schemas = [] schemas.append(schema0) schemas.append(schema1) schemas.append(schema2) create_dataset_resp = Dataset.create_dataset(session, dataset_name=dataset_name, dataset_type=dataset_type, data_sources=data_sources, work_path=work_path, schema=schemas)

在组件中使用数据集 返回AstroCanvas项目列表页面。 进入开发页面，拖拽所需组件（如基本柱图）到画布中。 图6 拖拽基本柱图到画布中 选中该组件，单击组件上方的，进入组件数据页面。 在“数据类型”下拉框中，选择“数据集”，选择创建关系型数据库数据集中创建的数据集。 配置全局变量。 全局变量可以理解为参数变量，用于控制组件之间参数的传递，从而达到交互的目的，例如图表联动、自定义字段等功能。如何使用全局变量，可参考如何基于页面级的全局变量实现组件交互~如何通过全局变量，实现组件数据的动态变化。本示例不做配置。 在组件预览中，选择要展示的表字段，即从左边栏中拖入到右边栏中，单击“保存”。 图7 拖拽字段到对应坐标轴 表格字段：展示创建关系型数据库数据集中，接入的关系型数据库中的数据。 配置：从表格字段中，拖拽所需的字段到X轴数据、Y轴数据或系列中。 刷新周期：每隔多少秒从关系型数据库中读取一次数据，默认配置为“0”，表示只获取一次。 共享数据：是否共享数据。勾选后，如果多个组件调用了相同的关系型数据库请求，不会各自只调用，而是共享结果数据。 选中基本柱图组件，单击组件上方的，设置标题内容为“N省各市人口数量（千万）”。 图8 设置图表标题 单击页面上方的，保存设置页面。 单击，进入预览页面，预览效果。 图9 最终呈现效果

在组件中使用数据集 返回AstroCanvas项目列表页面。 进入开发页面，拖拽所需组件（如基本柱图）到画布中。 图3 拖拽基本柱图到画布中 选中该组件，单击组件上方的，进入组件数据页面。 在“数据类型”下拉框中，选择“数据集”，选择创建数据集中创建的数据集。 配置全局变量。 全局变量可以理解为参数变量，用于控制组件之间参数的传递，从而达到交互的目的，例如图表联动、自定义字段等功能。AstroZero不支持配置全局变量。 在组件预览中，选择要展示的表字段，即从左边栏中拖入到右边栏中，单击“保存”。 图4 拖拽字段到坐标轴 表格字段：展示创建数据集中，获取的数据。 配置：从表格字段中，拖拽所需的字段到X轴数据、Y轴数据和系列中。 刷新周期：每隔多少秒从AstroZero中读取一次数据，默认配置为“0”，表示只获取一次。 共享数据：是否共享数据。勾选后，如果多个组件调用了相同的桥接器URL请求，不会各自只调用，而是共享结果数据。 选中基本柱图组件，单击组件上方的，设置标题内容为“A市男性小学生平均身高统计”。 图5 设置图表标题 单击页面上方的，保存设置页面。 单击，进入预览页面，预览效果。 图6 最终呈现效果

参数说明 表1 请求参数 参数 是否必选 参数类型 描述 session 是 Object 会话对象，初始化方法请参见Session鉴权。 dataset_type 否 Integer 根据数据集类型查询数据集列表，默认为空。可选值如下： 0：图像分类 1：物体检测 3: 图像分割 100：文本分类 101：命名实体 102：文本三元组 200：声音分类 201：语音内容 202：语音分割 400：表格数据集 600：视频标注 900：自由格式 dataset_name 否 String 模糊匹配数据集名称，默认为空。 offset 否 Integer 分页列表的起始页，默认为0。 limit 否 Integer 指定每一页返回的最大条目数，取值范围[1,100]，默认为10。

示例代码 示例一：查询数据集列表 from modelarts.session import Session from modelarts.dataset import Dataset session = Session() # 查询数据集列表 dataset_list = Dataset.list_datasets(session) print(dataset_list) # 打印出查询结果 示例二：根据数据集类型查询数据集列表 # 查询图像分类数据集 dataset_list = Dataset.list_datasets(session, dataset_type=0) print(dataset_list) 示例三：根据数据集名称查询数据集列表 # 查询名称中包含dataset的数据集列表 dataset_list = Dataset.list_datasets(session, dataset_name="dataset") print(dataset_list)

请求参数 表1 请求Body参数 参数 是否必选 参数类型 描述 orgID 是 String 组织id channelID 是 String 通道id cryptoMethod 是 String 加密方法，目前固定为SW cert 是 String 证书 sk 是 String 私钥 timestamp 是 String 时间戳 consumer 是 String 订单申请者身份标识 orderSeq 是 String 订单序列号 encryptData 否 String 数据密文，当onChainStore设置为“true”时，可不输入 watermarkType 否 String 水印类型，visible明水印，blind暗水印，嵌入水印时，必须填写本字段。如果发布或主动分享数据集的时候嵌入的是暗水印，则无法再次嵌入暗水印。嵌入的水印内容为：使用人did_orderID。 onChainStore 否 String 数据密文是否在链上存储，可设置为“true”或“false”，默认为“false”。如果设置为“true”，则不需要输入encryptData，可自动在链上获取数据密文

请求示例 { "orgID" : "ce0ac69b0c8648cd25b44a551780409767c8890b", "channelID" : "mychannel", "cryptoMethod" : "SW", "cert" : "-----BEGIN CERTIFICATE-----\\n...\\n-----END CERTIFICATE-----", "sk" : "-----BEGIN PRIVATE KEY-----\\n...\\n-----END PRIVATE KEY-----", "timestamp" : "2020-10-27T17:28:16+08:00", "consumer" : "did:example:3TMWx8owKHARgNwbj4ywmG", "orderSeq" : "1", "encryptData" : "base64 encoding string", "watermarkType" : "string", "onChainStore" : "string" }

响应示例 状态码： 200 订单信息。 { "provider" : "did:example:DHkJjyD5wZwya6sd6BNBnG", "productID" : "product1", "plaintext" : "base64 encoding string" } 状态码： 500 失败响应 { "errorCode" : " BCS .5002046", "errorMsg" : "Incorrect number of arguments" }

在组件中使用数据集 返回AstroCanvas项目列表页面。 进入大屏开发页面，拖拽所需组件（如基本柱图）到画布中。 图4 拖拽基本柱图到画布中 选中该组件，单击组件上方的，进入组件数据页面。 在“数据类型”下拉框中，选择“数据集”，选择创建DWS数据集中创建的数据集。 配置全局变量。 全局变量可以理解为参数变量，用于控制组件之间参数的传递，从而达到交互的目的，例如图表联动、自定义字段等功能。如何使用全局变量，可参考如何基于页面级的全局变量实现组件交互~如何通过全局变量，实现组件数据的动态变化。本示例不做配置。 在组件预览中，选择要展示的表字段，即从左边栏中拖入到右边栏中，单击“保存”。 图5 拖拽字段到坐标轴 表格字段：展示创建DWS数据集中，获取的数据。 配置：从表格字段中，拖拽所需的字段到X轴数据、Y轴数据和系列中。 刷新周期：每隔多少秒从DWS中读取一次数据，默认配置为“0”，表示只获取一次。 共享数据：是否共享数据。勾选后，如果多个组件调用了相同的桥接器URL请求，不会各自只调用，而是共享结果数据。 选中基本柱图组件，单击组件上方的，设置标题内容为“各班学科分数统计”。 图6 设置图表标题 单击页面上方的，保存设置页面。 单击，进入预览页面，预览效果。 图7 最终呈现效果

在组件中使用数据集 返回AstroCanvas项目列表页面。 进入开发页面，拖拽所需的组件（如基本柱图）到画布中。 图5 拖拽基本柱图到画布中 选中该组件，单击组件上方的，进入组件数据页面。 在“数据类型”下拉框中，选择“数据集”，选择创建数据集中创建的数据集。 配置全局变量。 全局变量可以理解为参数变量，用于控制组件之间参数的传递，从而达到交互的目的，例如图表联动、自定义字段等功能。如何使用全局变量，可参考如何基于页面级的全局变量实现组件交互~如何通过全局变量，实现组件数据的动态变化。本示例不做配置。 在组件预览中，选择要展示的表字段，即从左边栏中拖入到右边栏中，单击“保存”。 图6 拖拽字段到坐标轴 表格字段：展示创建数据集中，获取的数据。 配置：从表格字段中，拖拽所需的字段到X轴数据、Y轴数据和系列中。 刷新周期：每隔多少秒从AstroZero中读取一次数据，默认配置为“0”，表示只获取一次。 共享数据：是否共享数据。勾选后，如果多个组件调用了相同的桥接器URL请求，不会各自只调用，而是共享结果数据。 选中基本柱图组件，单击组件上方的，设置标题内容为“各市1月降雨量(mm)”。 图7 设置图表标题 单击页面上方的，保存设置页面。 单击，进入预览页面，预览效果。 图8 最终呈现效果

创建静态数据数据集 登录DMAX界面。 在主菜单中，选择“数据中心”。 在左侧导航栏中，选择“数据集管理”。 在数据集管理页面，单击“新增数据集”。 在新增数据集页面，“数据来源”选择“静态数据”。 输入数据集名称，分类选择新建分类中新建的分类，也可以直接单击分类后的“新建分类”，新建一个分类。 新增静态数据，支持导入Excel/ CS V和手工输入两种方式来新增数据。 手工输入：在右侧数据配置页面，单击，输入对应数据。若需要添加列或行，可单击“添加列/行”，新增列和行。例如，输入图1中数据。 图1 输入静态数据 导入Excel或CSV 单击“新增静态数据”，将本地的Excel或CSV文件（文件大小不能超过512KB）拖入“上传文件”中，单击“保存”。 单击“保存”，完成数据集的创建。 在数据集管理列表中，可查看到已创建的数据集。

通用表格对接呈现效果 返回DMAX项目列表页面。 进入大屏/小屏开发页面，拖拽所需组件（如通用表格）到画布中。 图2 拖拽通用表格到画布中 选中该组件，单击组件上方的，进入组件数据页面。 在“配置流程”下拉框中，选择“数据集”，选择已创建的数据集。 图3 使用已创建的数据源 配置全局变量，单击“下一步”。 页面组件之间需要共享数据时，才需要设置全局变量。 添加转换器，单击“下一步”。 当需要使用连接器处理数据时，请选择已配置的转换器。若不配置，直接使用数据集数据。 当前转换器为中间节点时，转换器出参无特殊约束。若当前转换器为最后一个数据处理节点，出参必须为对象的数组。 在组件预览中，选择要展示的表字段，即从左边栏中拖入到右边栏中，单击“保存”。 图4 设置前效果 表1 通用表格数据集配置说明 参数 参数说明 表格字段 展示创建静态数据数据集中，录入的静态数据。 配置 从表格字段中，拖拽所需的字段到X轴数据、Y轴数据或系列中。 刷新周期 每隔多少秒获取一次静态数据，默认配置为“0”，表示只获取一次静态数据。 共享数据 是否共享数据。勾选后，如果多个组件调用了相同的静态数据请求，不会各自只调用，而是共享结果数据。 表格组件比较特殊，需要为数据系列指定要展现的数据字段。 图5 为数据系列指定要展现的数据字段 单击页面上方的，保存设置页面。 单击，进入预览页面，预览效果。 图6 最终呈现效果