检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建ModelArts数据校验任务 前提条件 数据已准备完成:已经创建数据集或者已经将数据上传至OBS。 确保您使用的OBS与ModelArts在同一区域。 创建数据处理任务 登录ModelArts管理控制台,在左侧的导航栏中选择“数据准备>数据处理”,进入“数据处理”页面。
创建ModelArts数据选择任务 前提条件 数据已准备完成:已经创建数据集或者已经将数据上传至OBS。 确保您使用的OBS与ModelArts在同一区域。
删除数据集 当资产不使用时,支持删除,释放AI Gallery仓库的存储空间。 在资产详情页,选择“设置”页签。 在“删除资产”处,单击“删除”按钮,确认后资产将被删除。 删除操作不可撤销,执行此操作后该资产及相关文件将被永久删除,请谨慎操作。
查询数据集详情 查询数据集的详细信息,包括数据集的样本信息、版本信息等。
Profiling数据采集 在train.py的main()函数Step迭代处添加配置,添加位置如下图所示: 此处需要注意的是prof.step()需要加到dataloder迭代循环的内部以保证采集单个Step迭代的Profiling数据。
ModelArts控制台为什么能看到创建失败被删除的专属资源池? 在控制台页面操作删除专属资源池后,后端服务需要进行资源实例释放。在资源实例释放过程中,用户依然可以查询到资源池。
同步新数据:将图片数据上传至创建项目时指定的OBS目录,然后单击“同步新数据”,快速将原OBS目录中的新数据添加到ModelArts数据集。 删除图片:您可以依次单击选中图片进行删除,也可以勾选“选择当前页”对该页面所有图片进行删除。 所有的删除操作均不可恢复,请谨慎操作。
创建数据集版本 为数据集创建新的版本。
数据准备与处理 数据准备使用流程 创建ModelArts数据集 导入数据到ModelArts数据集 处理ModelArts数据集中的数据 标注ModelArts数据集中的数据 发布ModelArts数据集中的数据版本 分析ModelArts数据集中的数据特征 导出ModelArts
勾选标注不准确的图片,删除错误标签,然后在右侧“标签名”处添加准确标签。单击“确认”,勾选的图片及其标注情况,将呈现在“已标注”页签下。 选中的图片为标注错误图片,在右侧删除错误标签,然后在标签名处添加“狗”的标签,然后单击“确认”,完成难例确认。
标注作业创建完成后,系统自动跳转至数据标注管理页面,针对创建好的标注作业,您可以执行智能标注、发布、修改和删除等操作。
- √ √ 删除数据集 DELETE /v2/{project_id}/datasets/{dataset_id} modelarts:dataset:delete obs:bucket:ListAllMyBuckets obs:bucket:ListBucket obs:object
同步新数据:将图片数据上传至创建项目时指定的OBS目录,然后单击“同步新数据”,快速将原OBS目录中的新数据添加到ModelArts数据集。 删除图片:您可以依次单击选中图片进行删除,也可以勾选“选择当前页”对该页面所有图片进行删除。 所有的删除操作均不可恢复,请谨慎操作。
建议您前往OBS控制台,删除存储的数据和OBS桶,即可停止收费。 父主题: 计费FAQ
status Integer 数据集状态。当前可选值: 0:数据集创建中 1:数据集正常 2:数据集删除中 3:数据集已删除 4:数据集异常 5:数据集同步中 6:数据集发布中 7:数据集版本切换中 8:数据集导入中 third_path String 第三方路径。
当数据采集和接入之后,数据一般是不能直接满足训练要求的。为了保障数据质量,以免对后续操作(如数据标注、模型训练等)带来负面影响,开发过程通常需要进行数据处理。 常见的数据处理类型有以下四种: 数据校验:通常数据采集后需要进行校验,保证数据合法。
查询数据集版本详情 根据版本ID查询数据集指定版本的详细信息。
配置Grafana数据源 在Grafana配置数据源后,即可通过Grafana查看ModelArts的监控数据。 前提条件 已安装Grafana。 配置Grafana数据源 获取Grafana数据源配置代码。 进入AOM管理控制台。
通过团队标注方式标注数据 团队标注使用说明 创建和管理团队 创建团队标注任务 审核并验收团队标注任务结果 管理团队和团队成员 父主题: 标注ModelArts数据集中的数据
父主题: 数据管理(旧版)