检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
视频数据集无法显示和播放视频 若无法显示和播放视频,请检查视频格式类型,目前只支持MP4格式。 父主题: Standard数据管理
创建导入任务 功能介绍 创建数据集的导入任务:从存储系统导入样本、标签到数据集。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。
预测分析对数据集的要求 训练数据: 训练数据列数一致,总数据量不少于100条不同数据(有一个特征取值不同,即视为不同数据)。 训练数据列内容不能有时间戳格式(如:yy-mm-dd、yyyy-mm-dd等)的数据。 如果某一列的取值只有一种,会被视为无效列。
父主题: 数据管理(旧版)
创建团队标注任务 同一个数据集,支持创建多个团队标注作业,指派给同一团队的不同成员,或者指派给其他标注团队。 登录ModelArts管理控制台,在左侧菜单栏中选择“资产管理 >数据集”,打开数据集列表。 在数据集列表中,选择支持团队标注的数据集,单击数据集名称进入数据集概览页。
创建Workflow数据集版本发布节点 功能介绍 通过对ModelArts数据集能力进行封装,实现数据集的版本自动发布的功能。数据集版本发布节点主要用于将已存在的数据集或者标注任务进行版本发布,每个版本相当于数据的一个快照,可用于后续的数据溯源。
团队标注使用说明 数据标注任务中,一般由一个人完成,但是针对数据集较大时,需要多人协助完成。ModelArts提供了团队标注功能,可以由多人组成一个标注团队,针对同一个数据集进行标注管理。
从AI Gallery下载到桶里的数据集,再在ModelArts里创建数据集,显示样本数为0 首先需要确认从AI Gallery下载的数据格式,比如压缩包、excel文件等会被忽略,支持格式详情: 数据集类型 标注类型 创建数据集 导入数据 导出数据 发布数据集 修改数据集 管理版本
前提条件 在进行数据标注前,需要创建相应类型的数据集。具体步骤参考创建数据集。 操作步骤 登录ModelArts管理控制台,在左侧菜单栏中选择“数据准备> 数据标注”,进入“数据标注”管理页面。
发布和管理AI Gallery数据集 托管数据集到AI Gallery 发布数据集到AI Gallery 管理AI Gallery数据集 父主题: AI Gallery(新版)
智能标注完成后新加入数据是否需要重新训练? 智能标注完成后,需要对标注结果进行确认。 如果未确认标注结果,直接加入新数据,重新智能标注,会将待确认的数据和新加入的数据全部重新训练。 如果确认标注结果后,再加入新数据,只重新训练标注新的数据。 父主题: Standard数据管理
特权池信息数据显示均为0%如何解决? 问题现象 特权池基本信息页面数据均显示为0%(如CPU使用率、内存使用率、加速卡使用率、加速卡显存使用率)。 原因分析 原因是集群没有安装ICAgent。
父主题: 通过团队标注方式标注数据
单击“新建对象存储服务(OBS)桶”,进入创建桶页面,具体请参见《对象存储服务控制台指南》中的创建桶章节。 图1 快速创建OBS桶 桶创建完成后,选择对应桶名称,单击“新建文件夹”,在“新建文件夹”对话框中,填写文件夹“名称”,单击“确定”完成创建,选择创建的文件夹。
切换数据源和资源池 图5 切换数据源和资源池 单击红框中相应位置,即可出现下拉框,修改响应的数据源和资源池。
原因分析 复制数据慢的可能原因如下: 直接从OBS上读数据会造成读数据变成训练的瓶颈,导致迭代缓慢。 由于环境或网络问题,读OBS时遇到读取数据失败情况,从而导致整个作业失败。 重复打印日志,该日志表示正在读取远端存在的文件,当文件列表读取完成以后,开始下载数据。
上传数据和算法至OBS(首次使用时需要) 前提条件 已经在OBS上创建好并行文件系统,请参见创建并行文件系统。 已经在obsutil安装和配置,请参见obsutils安装和配置。 准备数据 单击下载动物数据集至本地,并解压。 通过obsutil将数据集上传至OBS桶中。 .
有以下几种可能情况: 因为您在使用ModelArts过程中,将数据上传至OBS进行存储,OBS会根据实际存储的数据进行计费。建议前往OBS管理控制台,清理您不再使用的数据、文件夹以及OBS桶,避免产生不必要的费用。
有以下几种可能情况: 因为您在使用ModelArts过程中,将数据上传至OBS进行存储,OBS会根据实际存储的数据进行计费。建议前往OBS管理控制台,清理您不再使用的数据、文件夹以及OBS桶,避免产生不必要的费用。
在Workflow中使用大数据能力(DLI/MRS) 功能介绍 该节点通过调用MRS服务,提供大数据集群计算能力。主要用于数据批量处理、模型训练等场景。 应用场景 需要使用MRS Spark组件进行大量数据的计算时,可以根据已有数据使用该节点进行训练计算。