-
旧版数据集中的数据是否会被清理? - AI开发平台ModelArts
旧版数据集中的数据是否会被清理? 旧版数据集中创建的数据不会被清理,旧版数据集中会自动关联一个数据标注任务。 但是在新版数据集中创建的数据,在旧版的数据集列表不会展示。 父主题: 数据管理(旧版)
-
数据去重 - AI开发平台ModelArts
do_validation 否 True 是否进行数据校验,可填True或者False。表示数据去重前需要进行数据校验,否则只进行数据去重。 输入要求 算子输入分为两种,“数据集”或“OBS目录”。 选择“数据集”,请从下拉框中选择ModelArts中管理的数据集及其版本。要求数据集类型与您在本任务中选择的场景类别一致。
-
数据标注 - AI开发平台ModelArts
数据标注 文本分类项目创建完成后,将自动跳转至“自动学习 > 数据标注”页面,界面默认“已标注”页签。当选择的数据集已存在标注好的数据时,将自动展示已标注数据。您也可以单击“未标注”页签,切换至“未标注”页面,展示数据集的输入目录中的未标注数据。 文本分类的数据标注 在“标注对象
-
数据标注 - AI开发平台ModelArts
数据标注 音频标注 选择未标注音频。在“数据标注”页面单击“未标注”页签,此页面展示所有未标注的音频数据。依次单击选中待标注的音频,或勾选“选择当前页”选中该页面所有音频,在页面右侧进行标注。 图1 音频标注 添加标注。先对音频进行播放识别,然后选中音频文件,在右侧“标签”区域,
-
创建数据集标签 - AI开发平台ModelArts
创建数据集标签 功能介绍 创建数据集标签。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v2/{project_id}/datasets/{datas
-
使用MoXing复制数据报错 - AI开发平台ModelArts
可能是空间不足导致,可在代码中使用如下命令查看磁盘大小。 os.system('df -hT') 磁盘空间满足,请执行5。 磁盘空间不足,请您使用GPU资源。 如果是在Notebook使用MoXing复制数据不成功,可以在Terminal界面中使用df -hT命令查看空间大小,排
-
复制数据卡死 - AI开发平台ModelArts
复制数据卡死 问题现象 调用mox.file.copy_parallel拷贝数据时卡死。 解决方案 拷贝文件和文件夹均可采用: import moxing as mox mox.file.set_auth(is_secure=False) 拷贝单个大文件5G以上时可采用: from
-
数据标注 - AI开发平台ModelArts
项目创建完成后,将会自动跳转至新版自动学习页面,并开始运行,当数据标注节点的状态变为“等待操作”时,需要手动进行确认数据集中的数据标注情况,也可以对数据集中的数据进行标签的修改,数据的增加或删减。 图1 数据标注节点状态 图片标注 在新版自动学习页面单击“实例详情”按钮,前往数据标注页面。单击任意一张图片,进入图片标注界面。
-
数据标注 - AI开发平台ModelArts
单张图片大小不能超过5MB。 同步数据源:将图片数据上传至创建项目时指定的OBS目录,然后单击“同步数据源”,快速将通过OBS目录中的图片数据添加到ModelArts。 删除图片:您可以依次单击选中图片进行删除,也可以勾选“选择当前页”对该页面所有图片进行删除。 所有的删除操作均不可恢复,请谨慎操作。
-
创建数据集 - AI开发平台ModelArts
"dataset-image" # 数据集名称 data_type = "IMAGE" # 数据集类型,图像类型数据集 data_sources = dict() # 数据集数据来源 data_sources["type"] = 0 # 数据来源类型,0表示OBS
-
数据处理简介 - AI开发平台ModelArts
和接入之后,数据一般是不能直接满足训练要求的。为了保障数据质量,以免对后续操作(如数据标注、模型训练等)带来负面影响,开发过程通常需要进行数据处理。 常见的数据处理类型有以下四种: 数据校验:通常数据采集后需要进行校验,保证数据合法。 数据校验是指对数据可用性进行基本判断和验证的
-
数据标注 - AI开发平台ModelArts
数据标注 物体检测图片标注,一张图片是否可以添加多个标签? 在物体检测作业中上传已标注图片后,为什么部分图片显示未标注? 父主题: 自动学习
-
数据标注 - AI开发平台ModelArts
同步或添加图片 在“自动学习”页面,单击项目名称,进入“自动学习 > 数据标注”页面。项目创建时,数据标注的图片来源有两种,通过本地添加图片和同步OBS中的图片数据。 图3 添加本地图片 图4 同步OBS图片数据 添加图片:您可以将本地图片快速添加到ModelArts,同时自动上传
-
查询数据集详情 - AI开发平台ModelArts
Schema列表。 status Integer 数据集状态。当前可选值: 0:数据集创建中 1:数据集正常 2:数据集删除中 3:数据集已删除 4:数据集异常 5:数据集同步中 6:数据集发布中 7:数据集版本切换中 8:数据集导入中 third_path String 第三方路径。
-
从DWS导入数据 - AI开发平台ModelArts
在下拉框中选择您所需的DWS集群。 数据库名称:根据选择的DWS集群,填写数据所在的数据库名称。 表名称:根据选择的数据库,填写数据所在的表。 用户名:输入DWS集群管理员用户的用户名。 密码:输入DWS集群管理员用户的密码。 从DWS导入数据,需要借助DLI的功能,如果用户没有
-
创建数据处理任务版本 - AI开发平台ModelArts
String 工作空间ID。未创建工作空间时默认值为“0”,存在创建并使用的工作空间,以实际取值为准。 表3 ProcessorDataSource 参数 是否必选 参数类型 描述 name 否 String 数据集的名称。 source 否 String 数据源所在路径。可选值如下:
-
更新数据集 - AI开发平台ModelArts
更新数据集 功能介绍 修改数据集的基本信息,如数据集名称、描述、当前版本或标签等信息。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI PUT /v2/{projec
-
从DLI导入数据 - AI开发平台ModelArts
从DLI导入数据 表格数据集支持从DLI导入数据。 从DLI导入数据,用户需要选择DLI队列、数据库和表名称。所选择的表的schema(列名和类型)需与数据集一致,支持自动获取所选择表的schema。DLI的详细功能说明,请参考DLI用户指南。 图1 DLI导入数据 队列名称:系
-
从MRS导入数据 - AI开发平台ModelArts
从MRS导入数据 ModelArts支持从MRS服务中导入存储在HDFS上的csv格式的数据,首先需要选择已有的MRS集群,并从HDFS文件列表选择文件名称或所在目录,导入文件的列数需与数据集schema一致。MRS的详细功能说明,请参考MRS用户指南。 图1 从MRS导入数据 集群名
-
从AI Gallery下载数据集 - AI开发平台ModelArts
“目标区域”:选择您需要将该数据集下载到的区域位置,如“华北-北京四”。 “数据类型”:根据实际情况选择该数据集的数据类型。 “数据集输入位置”:AI Gallery的数据集下载到OBS的路径,此位置会作为数据集的数据存储路径,数据集输入位置不能和输出位置相同。 “数据集输出位置”:数据集输出位置