检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
建议根据业务情况及使用习惯,选择OBS使用方法。 如果您的数据量较小(小于100MB)或数据文件少(少于100个),建议您使用控制台上传数据。控制台上传无需工具下载或多余配置,在少量数据上传时,更加便捷高效。 如果您的数据量较大或数据文件较多,建议选择OBS Browser+或obsutil工具上传。OBS
上传数据集失败如何处理? 问题原因 上传数据集失败,一般是因为数据集格式不对导致的。不同行业套件的工作流,对数据集要求也不同。 首先请检查数据集是否符合要求,各个套件的数据集要求如下: 文字识别套件 自然语言处理套件 视觉套件 HiLens套件 确认数据集符合要求后,将数据集上传至OBS桶。
“编码”选择“UTF-8”格式。 以换行符作为分隔符,每行数据代表一个样本数据,单个样本不能有分行显示,不支持换行。 基于已设计好的分类标签准备文本数据。每个分类标签需要准备5个及以上数据,为了训练出效果较好的模型,建议每个分类标签准备100个以上的数据。 针对未标注数据,将待标注的内容放在一个文本文件内
准备数据 在使用第二相面积含量测定工作流开发应用之前,您需要提前准备用于模型训练的数据,上传至OBS服务中。 数据标签 标注基于ModelArts的图像分割标注基础能力,由于第二相边界多为不规则形状,目前采用多边形标注第二相,标签为“second_phase”。 数据集要求 文件
基于已设计好的商品标签准备图片数据。每个商品标签需要准备20个数据以上,为了训练出效果较好的模型,建议每个商品标签准备200个以上的数据。 针对未标注数据,要求将图片放在一个目录里,示例如下所示。 ├─dataset-import-example │ IMG_20180919_114732
场景尽量相似。 为保证模型的泛化能力,数据集尽量覆盖可能出现的各种场景。 每一类数据尽量多,尽量均衡。每个分类标签需要准备20个数据以上,为了训练出效果较好的模型,建议每个分类标签准备200个以上的数据。 针对未标注数据,要求将图片放在一个目录里,示例如下所示。 ├─dataset-import-example
为保证模型的泛化能力,数据集尽量覆盖可能出现的各种场景。 每一类数据尽量多,尽量均衡。每个分类标签需要准备20个数据以上,为了训练出效果较好的模型,建议每个分类标签准备200个以上的数据。 针对未标注数据,要求将图片放在一个目录里,示例如下所示。 ├─dataset-import-example
为保证模型的泛化能力,数据集尽量覆盖可能出现的各种场景。 每一类数据尽量多,尽量均衡。每个分类标签需要准备20个数据以上,为了训练出效果较好的模型,建议每个分类标签准备200个以上的数据。 针对未标注数据,要求将图片放在一个目录里,示例如下所示。 ├─dataset-import-example
进入“应用开发”页面。 新建数据集 在“数据选择”页面,单击“新建数据集”,右侧弹出“新建数据集”页面,根据数据存储位置和数据标注情况,按表1填写数据集基本信息,然后单击“确定”。 图1 新建数据集 表1 新建数据集参数说明 参数 说明 数据集名称 待新建的数据集名称。 描述 数据集简要描述。 数据集状态
新建训练数据集 在“数据选择”页面,单击“新建训练数据集”,右侧弹出“新建数据集”页面,根据数据存储位置和数据标注情况,按表1填写数据集基本信息,然后单击“确定”。 图3 新建数据集 表1 新建训练数据集参数说明 参数 说明 数据集名称 待新建的数据集名称。 描述 数据集简要描述。
新建训练数据集 在“数据选择”页面,单击“新建训练数据集”,右侧弹出“新建数据集”页面,根据数据存储位置和数据标注情况,按表1填写数据集基本信息,然后单击“确定”。 图3 新建数据集 表1 新建训练数据集参数说明 参数 说明 数据集名称 待新建的数据集名称。 描述 数据集简要描述。
在“数据选择”页面,新建数据集后,单击操作列的“标注”,进入数据概览页,单击右上角的“开始标注”,进入“数据标注”页面。 图1 数据标注 标注文本 数据集详情页中,展示了此数据集中“未标注”和“已标注”的文本,默认显示“未标注”的文本列表。 在“未标注”页签文本列表中,页面左侧罗列“
发布数据集 ModelArts Pro在数据集管理过程中,针对同一个数据源,对不同时间标注后的数据,按版本进行区分,方便后续模型构建和开发过程中,选择对应的数据集版本进行使用。数据标注完成后,您可以将数据集当前状态进行发布,生成一个新的数据集版本。 关于数据集版本 针对刚创建的数
自动标注数据 针对已经选择的数据和SKU,在应用开发的“数据标注”页面,ModelArts Pro会自动标注数据,自动标注完成后,可对每个数据的标注结果进行核对和确认。 前提条件 已在视觉套件控制台选择“零售商品识别工作流”新建应用,并已执行到“SKU创建”步骤,详情请见创建SKU。
标注数据 针对已经选择的数据,在应用开发的“数据标注”页面,ModelArts Pro会自动标注数据,自动标注完成后,可对每个数据的标注结果进行核对和确认。 前提条件 已在视觉套件控制台选择“第二相面积含量测定工作流”新建应用,详情请见标注数据。 自动标注数据 在“数据标注”页面
如何访问ModelArts Pro 云服务平台提供了提供了管理控制台的管理方式。 ModelArts Pro提供了简洁易用的管理控制台,包括自然语言处理、视觉AI、文字识别、语音识别等应用开发功能,您可以在管理控制台端到端完成您的AI应用开发。 使用ModelArts Pro管理
如何使用ModelArts Pro 使用流程 注册华为帐号并开通华为云 申请行业套件 配置访问授权
模型,自主上传数据训练模型,实现安全帽检测功能,并快速创建技能,一键部署至端侧设备。 图1 HiLens安全帽检测技能流程 表1 HiLens安全帽检测工作流说明 流程 说明 详细指导 选择数据 在使用HiLens安全帽检测工作流开发应用时,您需要新建或导入训练数据集,后续训练模型操作是基于您选择的训练数据集。
与OBS关系 上传训练数据集 ModelArts Pro上传的训练数据集存储在OBS中。 标注数据 ModelArts Pro标注的数据存储在OBS中。 管理数据集 数据集存储在OBS中。 数据集的标注信息存储在OBS中。 支持从OBS中导入数据。 训练模型 训练模型使用的数据集存储在OBS中。