检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用PyCharm上传数据至Notebook 不大于500MB数据量,直接复制至本地IDE中即可。 大于500MB数据量,请先上传到OBS中,再从OBS下载到云上Notebook。 图1 数据通过OBS中转上传到Notebook 上传数据至OBS,具体操作请参见上传文件至OBS桶。
Session() # 查询数据集列表 dataset_list = Dataset.list_datasets(session) print(dataset_list) # 打印出查询结果 示例二:根据数据集类型查询数据集列表 # 查询图像分类数据集 dataset_list =
标注声音分类数据 项目创建完成后,将会自动跳转至新版自动学习页面,并开始运行,当数据标注节点的状态变为“等待操作”时,需要手动进行确认数据集中的数据标注情况,也可以对数据集中的数据进行标签的修改,数据的增加或删减。 图1 数据标注节点状态 音频标注 在新版自动学习页面单击“实例详
Browser+上传数据或上传文件夹。上传的数据需满足此类型自动学习项目的数据集要求。 在上传数据时,请选择非加密桶进行上传,否则会由于加密桶无法解密导致后期的训练失败。 用于训练的音频,至少有2种以上的分类,每种分类的音频数据数不少20条。 创建数据集 数据准备完成后,需要创建相应项
Browser+上传数据或上传文件夹。上传的数据需满足此类型自动学习项目的数据集要求。 在上传数据时,请选择非加密桶进行上传,否则会由于加密桶无法解密导致后期的训练失败。 用于训练的文本,至少有2种以上的分类,每种分类样本数据数不少20行。 创建数据集 数据准备完成后,需要创建相应项目
数据集版本管理 查询数据集版本列表 创建数据集版本 查询数据集版本详情 删除数据集版本 父主题: 数据管理
1:安全集群 cluster_name String MRS集群名称。可登录MRS控制台查看。 database_name String 导入表格数据集,数据库名字。 input String 表格数据集,HDFS路径。例如/datasets/demo。 ip String 用户GaussDB(DWS)集群的IP地址。
割”类型的数据集支持自动分组功能。 启动自动分组任务 登录ModelArts管理控制台,在左侧菜单栏中选择“数据准备>数据标注”,进入“数据标注”管理页面。 在标注作业列表中,选择“物体检测”或“图像分类”类型的标注作业,单击标注作业名称进入“标注作业详情页”。 在数据集详情页的“全部”页签中,单击“自动分组
Browser+上传数据或上传文件夹。上传的数据需满足此类型自动学习项目的数据集要求。 在上传数据时,请选择非加密桶进行上传,否则会由于加密桶无法解密导致后期的训练失败。 用于训练的图片,至少有1种以上的分类,每种分类的图片数不少50张。 创建数据集 数据准备完成后,需要创建相应项目支
用户项目ID。获取方法请参见获取项目ID和名称。 task_id 是 String 数据处理任务ID。 version_id 是 String 数据处理任务的版本ID。 请求参数 无 响应参数 无 请求示例 停止数据处理任务的版本 POST https://{endpoint}/v2/{p
标注任务管理 创建标注任务 查询数据集的标注任务列表 查询标注任务详情 父主题: 数据管理
管理AI Gallery数据集 编辑数据集介绍 资产发布上架后,准确、完整的资产介绍有助于提升资产的排序位置和访问量,能更好的支撑用户使用该资产。 在数据集详情页,选择“数据集介绍”页签,单击右侧“编辑介绍”。 编辑数据集基础设置和数据集描述。 表1 数据集介绍的参数说明 参数名称
dataset_id 是 String 数据集ID。 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 version_id 是 String 数据集版本ID。 请求参数 无 响应参数 无 请求示例 删除数据集标注版本 DELETE https
version_format 否 String 数据集版本格式。可选值如下: Default:默认格式 CarbonData:Carbon格式(仅表格数据集支持) CSV:CSV格式 version_id 否 String 数据集版本ID。当导出数据集某一版本的数据时,需要指定该参数。 with_column_header
“确认”,完成难例确认。 将数据集中的数据标注为难例 针对标注作业中,已标注或未标注数据,也可以将图片数据标注为难例。标注为难例的数据,对后续模型训练中,通过内置规则提升模型精度。 登录ModelArts管理控制台,在左侧菜单栏中选择“数据准备>数据标注”,单击“我创建的”页签可查看所有作业列表。
查询数据处理的算法类别 功能介绍 查询数据处理的算法类别。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v2/{project_id}/processor-tasks/items
查询数据集版本列表 查询数据集的版本列表。 dataset.list_versions() 示例代码 查询数据集版本列表 from modelarts.session import Session from modelarts.dataset import Dataset session
通过人工标注方式标注数据 创建ModelArts人工标注作业 人工标注图片数据 人工标注文本数据 人工标注音频数据 人工标注视频数据 管理标注数据 父主题: 标注ModelArts数据集中的数据
创建团队标注任务 同一个数据集,支持创建多个团队标注作业,指派给同一团队的不同成员,或者指派给其他标注团队。 登录ModelArts管理控制台,在左侧菜单栏中选择“资产管理 >数据集”,打开数据集列表。 在数据集列表中,选择支持团队标注的数据集,单击数据集名称进入数据集概览页。 在数据集概览页页
项目创建完成后,将会自动跳转至新版自动学习页面,并开始运行,当数据标注节点的状态变为“等待操作”时,需要手动进行确认数据集中的数据标注情况,也可以对数据集中的数据进行标签的修改,数据的增加或删减。 图1 数据标注节点状态 图片标注 在新版自动学习页面单击“实例详情”按钮,前往数据标注页面。单击任意一张图片,进入图片标注界面。