-
创建数据集 - AI开发平台ModelArts
数据集的数据与OBS的数据不一致,可能导致部分数据不可用。如果需要在数据集中修改数据,建议使用同步数据源或4章节OBS目录导入操作功能。 超出数据集的样本和标签配额,会导致数据无法正常导入。 数据标注状态 选择数据的标注状态,分为“未标注”和“已标注”。 选择“已标注”时,需指定
-
数据标注简介 - AI开发平台ModelArts
数据标注简介 数据管理模块在重构升级中,对未使用过数据管理的用户不可见。如果要使用数据管理相关功能,建议提交工单开通权限。 模型训练过程中需要大量已标注的数据,因此在模型训练之前需要进行数据标注作业。ModelArts为用户提供了标注数据的能力: 人工标注:用户创建单人标注作业,对数据进行手工标注。
-
数据集简介 - AI开发平台ModelArts
其中,不同类型的数据集支持不同的功能,如智能标注、团队标注等。详细信息参考表1。 表1 不同类型的数据集支持的功能 数据集类型 标注类型 创建数据集 导入数据 导出数据 发布数据集 修改数据集 管理版本 自动分组 数据特征 图片 图像分类 支持 支持 支持 支持 支持 支持 支持 支持
-
数据集如何切分 - AI开发平台ModelArts
数据集如何切分 在发布数据集时,仅“图像分类”、“物体检测”、“文本分类”和“声音分类”类型数据集支持进行数据切分功能。 一般默认不启用该功能。启用后,需设置对应的训练验证比例。 输入“训练集比例”,数值只能是0~1区间内的数。设置好“训练集比例”后,“验证集比例”自动填充。“训练集比例”加“验证集比例”等于1。
-
数据标注 - AI开发平台ModelArts
数据标注 项目创建完成后,将会自动跳转至新版自动学习页面,并开始运行,当数据标注节点的状态变为“等待操作”时,需要手动进行确认数据集中的数据标注情况,也可以对数据集中的数据进行标签的修改,数据的增加或删减。 图1 数据标注节点状态 双击“数据标注”节点,单击实例详情按钮,打开数据标注页面。
-
查看参与标注的作业 - AI开发平台ModelArts
查看参与标注的作业 在ModelArts数据标注页面可查看用户参与的标注作业。 前提条件 创建标注作业时,启用了团队标注。 操作步骤 登录ModelArts管理控制台。在左侧菜单栏选择“数据管理>数据标注”,进入数据标注详情页面。 在数据标注详情页选择“我参与的”,即可展示所有参
-
数据管理(旧版) - AI开发平台ModelArts
数据管理(旧版) 查询数据集列表 创建数据集 查询数据集详情 更新数据集 删除数据集 查询数据集的统计信息 查询数据集监控数据 查询数据集的版本列表 创建数据集标注版本 查询数据集版本详情 删除数据集标注版本 查询样本列表 批量添加样本 批量删除样本 查询单个样本信息 获取样本搜索条件
-
创建数据集 - AI开发平台ModelArts
创建数据集 在ModelArts进行数据准备,首先需要先创建一个数据集,后续的操作如数据导入、数据分析、数据标注等,都是基于数据集来进行的。 数据集简介 创建数据集 修改数据集
-
创建数据集 - AI开发平台ModelArts
模型名称。 数据集统计信息可视化 数据集API支持自动统计数据集信息,比如目标、尺寸等信息,帮助用户更好的理解数据集,同时还可以动态查看每一个batch经过pipeline之后的输入图像,确保数据增强的正确性。 db.plot_dataset_stats() 可以绘制数据集的统计信
-
标注数据 - AI开发平台ModelArts
标注数据 图像分类 物体检测 图像分割 文本分类 命名实体 文本三元组 声音分类 语音内容 语音分割 视频标注 父主题: 数据管理(旧版即将下线)
-
数据管理简介 - AI开发平台ModelArts
针对不同类型的数据集,对数据进行标注。“自由格式”和“表格”类型的数据集暂不支持数据标注。 导入操作 将数据导入数据集中。 导出数据 支持将部分数据导出为新的数据集或者将数据导出至OBS。同时支持对任务历史进行查看和管理。 修改数据集 修改数据集的基本信息。如数据集名称、描述或标签等信息。
-
查询数据集同步任务的状态 - AI开发平台ModelArts
查询数据集同步任务的状态 功能介绍 查询数据集同步任务的状态。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v2/{project_id}/datase
-
数据集管理 - AI开发平台ModelArts
数据集管理 查询数据集列表 创建数据集 查询数据集详情 更新数据集 删除数据集 父主题: 数据管理
-
如何将某些图片划分到验证集或者训练集? - AI开发平台ModelArts
如何将某些图片划分到验证集或者训练集? 目前只能指定切分比例,随机将样本划分到训练集或者验证集,不支持指定。 切分比例的指定: 在发布数据集时,仅“图像分类”、“物体检测”、“文本分类”和“声音分类”类型数据集支持进行数据切分功能。 一般默认不启用该功能。启用后,需设置对应的训练验证比例。
-
从AI Gallery下载数据集 - AI开发平台ModelArts
“目标区域”:选择您需要将该数据集下载到的区域位置,如“华北-北京四”。 “数据类型”:根据实际情况选择该数据集的数据类型。 “数据集输入位置”:AI Gallery的数据集下载到OBS的路径,此位置会作为数据集的数据存储路径,数据集输入位置不能和输出位置相同。 “数据集输出位置”:数据集输出位置
-
使用ModelArts Standard自定义算法实现手写数字识别 - AI开发平台ModelArts
完成配置后,在ModelArts控制台的全局配置列表,可查看到此账号的委托配置信息。 图2 查看委托配置信息 Step1 准备训练数据 本案例使用的数据是MNIST数据集,您可以从MNIST官网下载数据集至本地,以下4个文件均要下载。 图3 MNIST数据集 “train-images-idx3-ubyte
-
数据清洗 - AI开发平台ModelArts
do_validation 否 True 是否做数据校验,可填True或者False。表示数据清洗前需要做数据校验,否则只做数据清洗。 输入要求 算子输入分为两种,“数据集”或“OBS目录”。 选择“数据集”,请从下拉框中选择ModelArts中管理的数据集及其版本。要求数据集类型与您在本任务中选择的场景类别一致。
-
数据集连接 - AI开发平台ModelArts
数据集连接 概述 “连接”节点是关系数据库中常用的方法之一,用于以特定的方式将两个数据集联接在一起。 输入 参数 子参数 参数说明 inputs left_dataframe inputs为字典类型,left_dataframe为执行连接操作的左数据集 right_dataframe
-
数据管理 - AI开发平台ModelArts
理、音视频分析等;同时提供数据筛选、数据分析、数据处理、智能标注、团队标注以及版本管理等功能,AI开发者可基于该框架实现数据标注全流程处理。如图1所示。 图1 数据标注全流程 数据管理平台提供了聚类分析、数据特征分析、数据清洗、数据校验、数据增强、数据选择等分析处理能力,可帮助开
-
数据管理 - AI开发平台ModelArts
数据管理 数据集管理 数据集版本管理 样本管理 导入任务管理 导出任务管理 Manifest管理 标注任务管理