检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ModelArts为用户提供了标注数据的能力: 人工标注:用户创建单人标注作业,对数据进行手工标注。 智能标注:在标注一定量的数据情况下,用户可以通过启动智能标注任务对数据进行自动标注,提高标注的效率。
准备文本分类数据 使用ModelArts自动学习构建模型时,您需要将数据上传至对象存储服务(OBS)中。OBS桶需要与ModelArts在同一区域。 数据集要求 文件格式要求为txt或者csv,文件大小不能超过8MB。 以换行符作为分隔符,每行数据代表一个标注对象。
查询数据集详情 查询数据集的详细信息,包括数据集的样本信息、版本信息等。
数据准备与处理 数据准备使用流程 创建ModelArts数据集 导入数据到ModelArts数据集 处理ModelArts数据集中的数据 标注ModelArts数据集中的数据 发布ModelArts数据集中的数据版本 分析ModelArts数据集中的数据特征 导出ModelArts
下方步骤描述中所致的OBS桶,指创建自动学习项目时,指定的OBS桶,或者是创建项目时选择的数据集,其数据存储所在的OBS桶。 检查当前账号具备OBS桶的读写权限(桶ACLs) 进入OBS管理控制台,选择当前自动学习项目使用的OBS桶,单击桶名称进入概览页。
父主题: 数据存储
当数据采集和接入之后,数据一般是不能直接满足训练要求的。为了保障数据质量,以免对后续操作(如数据标注、模型训练等)带来负面影响,开发过程通常需要进行数据处理。 常见的数据处理类型有以下四种: 数据校验:通常数据采集后需要进行校验,保证数据合法。
删除数据集 功能介绍 删除数据集,但不删除数据集的源数据。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。
处理方法 请排查是否将数据下载至“/cache”目录下,GPU规格资源的每个节点会有一个“/cache”目录,空间大小为4TB。并确认该目录下并发创建的文件数量是否过大,占用过多存储空间会出现inode耗尽的情况,导致空间不足。 请排查是否使用的是GPU资源。
status Integer 数据集状态。当前可选值: 0:数据集创建中 1:数据集正常 2:数据集删除中 3:数据集已删除 4:数据集异常 5:数据集同步中 6:数据集发布中 7:数据集版本切换中 8:数据集导入中 third_path String 第三方路径。
删除数据集版本 删除数据集的指定版本。
查询数据集版本详情 根据版本ID查询数据集指定版本的详细信息。
如何查看数据集大小 数据管理目前只统计数据集的样本数量,无法查看数据集大小。 父主题: Standard数据管理
图1 实体标签和关系标签的示例 图2 无法添加关系标签 开始标注 登录ModelArts管理控制台,在左侧菜单栏中选择“数据准备> 数据标注”,进入“数据标注”管理页面。
父主题: 通过人工标注方式标注数据
父主题: 通过人工标注方式标注数据
通过智能标注方式标注数据 创建智能标注作业 确认智能标注作业的数据难例 使用自动分组智能标注作业 父主题: 标注ModelArts数据集中的数据
父主题: 数据管理(旧版)
通过团队标注方式标注数据 团队标注使用说明 创建和管理团队 创建团队标注任务 审核并验收团队标注任务结果 管理团队和团队成员 父主题: 标注ModelArts数据集中的数据
图像分类数据集要求将标注对象和标注文件存储在同一目录,并且一一对应,例如标注对象文件名为“10.jpg”,那么标注文件的文件名应为“10.txt”。