检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
调用启动智能任务接口给图像分类的数据集创建一个智能标注任务。 调用获取智能任务的信息接口根据智能标注的任务ID查询任务详情。 待智能标注任务完成后,调用查询智能标注的样本列表接口可以查看标注结果。 调用批量更新样本标签根据获取的智能标注样本列表确认智能标注结果。 前提条件 已获取IAM的EndPoint和ModelArts的EndPoint。
启动智能任务 功能介绍 启动智能任务,支持启动“智能标注”和“自动分组”两大类智能任务。可通过指定请求体中的“task_type”参数来启动某类任务。数据路径或工作路径位于KMS加密桶的数据集,不支持启动主动学习和自动分组任务,支持预标注任务。 “智能标注”是指基于当前标注阶段的
分页查询智能任务列表 功能介绍 分页查询智能任务列表,包括“智能标注”和“自动分组”两大类智能任务。可通过指定“type”参数来单独查询某类任务的列表。 “智能标注”是指基于当前标注阶段的标签及图片学习训练,选中系统中已有的模型进行智能标注,快速完成剩余图片的标注操作。“智能标注”又包含“主动学习”和“预标注”两类。
获取智能任务的信息 功能介绍 获取智能任务的详细信息,支持查询“智能标注”和“自动分组”两大类智能任务。可通过指定路径参数“task_id”来查询某个具体任务的详情。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK
在数据集管理中,对难例的管理有如下场景。 智能标注后,确认难例 将数据集中的数据标注为难例 目前只有“图像分类”和“物体检测”类型的数据集支持难例发现功能。 智能标注后,确认难例 “智能标注”任务执行过程中,ModelArts将自动识别难例,并完成标注。当智能标注结束后,难例标
停止智能任务 功能介绍 停止智能任务,支持停止“智能标注”和“自动分组”两大类智能任务。可通过指定路径参数“task_id”来停止某个具体任务。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。
击操作列的“智能标注”启动智能标注作业。 在弹出的“启动智能标注”对话框中,选择智能标注类型,可选“主动学习”或者“预标注”,详见表1和表2。 表1 主动学习 参数 说明 智能标注类型 “主动学习”。“主动学习”表示系统将自动使用半监督学习、难例筛选等多种手段进行智能标注,降低人工标注量,帮助用户找到难例。
作权限。 验证DEW权限。 在左上角的服务列表中,选择DEW服务,进入DEW管理控制台。 在DEW管理控制台,在“密钥对管理”-“私有密钥对”中单击“创建密钥对”,如果能正常打开页面,表示当前用户具备DEW的操作权限。 验证OBS权限。 在左上角的服务列表中,选择OBS服务,进入OBS管理控制台。
使用自动分组智能标注作业 为了提升智能标注算法精度,可以均衡标注多个类别,有助于提升智能标注算法精度。ModelArts内置了分组算法,您可以针对您选中的数据,执行自动分组,提升您的数据标注效率。 自动分组可以理解为数据标注的预处理,先使用聚类算法对未标注图片进行聚类,再根据聚类
查询单个智能标注样本的信息 功能介绍 查询单个智能标注样本的信息。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v2/{project_id}/data
在ModelArts中智能标注完成后新加入数据需要重新训练吗? 智能标注完成后,需要对标注结果进行确认。 如果未确认标注结果,直接加入新数据,重新智能标注,会将待确认的数据和新加入的数据全部重新训练。 如果确认标注结果后,再加入新数据,只重新训练标注新的数据。 父主题: Standard数据准备
查询智能标注的样本列表 功能介绍 查询数据集中智能标注的样本列表。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v2/{project_id}/data
AI开发基本流程介绍 什么是AI开发 AI(人工智能)是通过机器来模拟人类认识能力的一种科技能力。AI最核心的能力就是根据给定的输入做出判断或预测。 AI开发的目的是什么 AI开发的目的是将隐藏在一大批数据背后的信息集中处理并进行提炼,从而总结得到研究对象的内在规律。 对数据进行
自动学习功能可以根据标注数据自动设计模型、自动调参、自动训练、自动压缩和部署模型,不需要代码编写和模型开发经验。只需三步,标注数据、自动训练、部署模型,即可完成模型构建。 端-边-云 端-边-云分别指端侧设备、智能边缘设备、公有云。 推理 指按某种策略由已知判断推出新判断的思维过程。人工智能领域下,由
通过智能标注方式标注数据 创建智能标注作业 确认智能标注作业的数据难例 使用自动分组智能标注作业 父主题: 标注ModelArts数据集中的数据
本案例介绍如何在Snt9B上进行分布式训练任务,其中Cluster资源池已经默认安装volcano调度器,训练任务默认使用volcano job形式下发lite池集群。训练测试用例使用NLP的bert模型,详细代码和指导可参考Bert。 图1 任务示意图 操作步骤 拉取镜像。本测试镜像为bert_pretrain_
创建ModelArts人工标注作业 由于模型训练过程需要大量有标签的数据,因此在模型训练之前需对没有标签的数据添加标签。您可以通过创建单人标注作业或团队标注作业对数据进行手工标注,或对任务启动智能标注添加标签,快速完成对图片的标注操作,也可以对已标注图片修改或删除标签进行重新标注。 数
视频标注:识别出视频中每个物体的位置及分类。目前仅支持mp4格式。 智能标注 除了人工标注外,ModelArts还提供了智能标注功能,快速完成数据标注,为您节省70%以上的标注时间。智能标注是指基于当前标注阶段的标签及图片学习训练,选中系统中已有的模型进行智能标注,快速完成剩余图片的标注操作。 目前只有
PI,搭建企业专属方案、LLM驱动的语义搜索、多模态搜索增强。 盘古数字人大脑:基于在MaaS开源大模型部署的模型API,升级智能对话解决方案,含智能客服、数字人。 Dify:支持自部署的应用构建开源解决方案,用于Agent编排、自定义工作流。 操作步骤 登录ModelArts管理控制台。
标注物体检测数据 物体检测之前,首先需考虑如何设计标签,标签设计需要对应所检测图片的明显特征,并且选择的标签比较容易识别(画面主体物与背景区分度较高),每个标签就是对所检测图片期望识别的全部结果。物体的标签设计完成之后,基于设计好的标签准备该图片的数据,每种需识别出的标签,建议应