检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
不要把明显不同的多个任务数据放在同一个数据集内。 为了保证模型的预测准确度,训练样本跟真实使用场景尽量相似。 为保证模型的泛化能力,数据集尽量覆盖可能出现的各种场景。 数据集样本数应大于100,用于测试的已标注数据应不少于20张,样本数达1万张以上性能更优。 为了准确率,建议数据集中标注数据占总数
以换行符作为分隔符,每行数据代表一个样本数据,单个样本不能有分行显示,不支持换行。 基于已设计好的实体标签准备文本数据。每个实体标签需要准备20个及以上数据,为了训练出效果较好的模型,建议每个实体标签准备100个以上的数据。 本工作流只支持上传未标注数据,将待标注的内容放在一个文本文件内。
“编码”选择“UTF-8”格式。 以换行符作为分隔符,每行数据代表一个样本数据,单个样本不能有分行显示,不支持换行。 文本数据至少包含2个及以上的标签。每个分类标签需要准备5个及以上数据,为了训练出效果较好的模型,建议每个分类标签准备100个以上的数据。 多语种文本分类工作流仅支持对单语种的文本
基于已设计好的热轧钢板表面缺陷标签准备图片数据。每个分类标签需要准备20个数据以上,为了训练出效果较好的模型,建议每个分类标签准备200个以上的数据。 针对未标注数据,要求将图片放在一个目录里,示例如下所示。 ├─dataset-import-example │ IMG_20180919_114732
自动标注数据 针对已经选择的数据和SKU,在应用开发的“数据标注”页面,ModelArts Pro会自动标注数据,自动标注完成后,可对每个数据的标注结果进行核对和确认。 前提条件 已在视觉套件控制台选择“零售商品识别工作流”新建应用,并已执行到“SKU创建”步骤,详情请见创建SKU。
发布数据集 ModelArts Pro在数据集管理过程中,针对同一个数据源,对不同时间标注后的数据,按版本进行区分,方便后续模型构建和开发过程中,选择对应的数据集版本进行使用。数据标注完成后,您可以将数据集当前状态进行发布,生成一个新的数据集版本。 关于数据集版本 针对刚创建的数
管理数据集版本 数据标注完成后,您可以发布成多个版本对数据集进行管理。针对已发布生产的数据集版本,您可以通过查看数据集演进过程、设置当前版本、删除版本等操作,对数据集进行管理。数据集版本的相关说明,请参见关于数据集版本。 发布为新版本的说明,请参见发布数据集。 进入数据集版本管理页面
建议根据业务情况及使用习惯,选择OBS使用方法。 如果您的数据量较小(小于100MB)或数据文件少(少于100个),建议您使用控制台上传数据。控制台上传无需工具下载或多余配置,在少量数据上传时,更加便捷高效。 如果您的数据量较大或数据文件较多,建议选择OBS Browser+或obsutil工具上传。OBS
上传数据集失败如何处理? 问题原因 上传数据集失败,一般是因为数据集格式不对导致的。不同行业套件的工作流,对数据集要求也不同。 首先请检查数据集是否符合要求,各个套件的数据集要求如下: 文字识别套件 自然语言处理套件 视觉套件 HiLens套件 确认数据集符合要求后,将数据集上传至OBS桶。
and Access Management,简称IAM)实现认证功能。IAM的更多信息请参见《统一身份认证服务用户指南》。 与对象存储服务的关系 ModelArts Pro使用对象存储服务(Object Storage Service,简称OBS)存储使用工作流过程中训练的数据,实现
训练模型 选择训练数据后,基于已标注的训练数据,选择预训练模型、配置参数,用于训练安全帽检测模型。 前提条件 已创建用于存储数据的OBS桶及文件夹,且数据存储的OBS桶与ModelArts Pro在同一区域,详情请见创建OBS桶。 已在ModelArts Pro控制台选择“HiL
训练分类器 确定模板图片的参照字段和识别区后,多模板分类工作流在模板数量较多,或版式相似度较高的情况下,建议针对不同的模板上传对应的训练集数据,用于训练模板分类模型,使服务能够精准地分类多个模板图片,然后对多个模板图片进行文字识别和结构化提取。 前提条件 已在文字识别套件控制台选
在商品识别场景下,如果上传的数据含有未标注数据,您需要创建SKU,即商品各类单品的图片,方便后续针对数据集中的数据进行自动标注。 前提条件 新建训练数据需要获取访问OBS权限,在未进行委托授权之前,无法使用此功能。您需要提前获得OBS授权,详情请见配置访问授权。 需要提前准备好SKU数据,即商品各
训练模型 选择训练数据后,基于已标注的训练数据,选择预训练模型、配置参数,用于训练实体抽取模型。 前提条件 已在自然语言处理套件控制台选择“通用实体抽取工作流”新建应用,并选择训练数据集,详情请见选择数据。 训练模型 图1 模型训练 在“模型训练”页面配置训练参数,开始训练模型。
训练模型 选择训练数据后,基于已标注的训练数据,选择预训练模型、配置参数,用于训练文本分类模型。 前提条件 已在自然语言处理套件控制台选择“多语种文本分类工作流”新建应用,并选择训练数据集,详情请见选择数据。 训练模型 图1 模型训练 在“模型训练”页面,勾选模型训练所使用的“预
说明 详细指导 准备数据 在使用通用实体抽取工作流开发应用之前,您需要提前准备用于模型训练的数据,上传至OBS中。 准备数据 选择数据 在使用通用实体抽取工作流开发应用时,您需要新建或导入数据集,后续训练模型操作是基于您选择的数据集。 选择数据 训练模型 选择训练数据后,基于已标注的
训练模型 选择训练数据后,基于已标注的训练数据,选择预训练模型、配置参数,用于训练文本分类模型。 前提条件 已在自然语言处理套件控制台选择“通用文本分类工作流”新建应用,并选择训练数据集,详情请见选择数据。 训练模型 图1 模型训练 在“模型训练”页面,勾选模型训练所使用的“预训
在使用无监督车牌检测工作流开发应用时,您需要新建或导入训练数据集,后续训练模型操作是基于您选择的训练数据集。 由于模型训练过程需要有标签的数据,如果您上传未标注数据,需要手动标注数据。 选择数据 训练模型 选择训练数据后,选择训练模型和车辆场景,即可开始训练车牌检测模型,并查看训练的模型准确率和误差的变化。
训练模型 针对已标注完成的训练数据,开始训练模型,您可以查看训练的模型准确率和误差变化。 前提条件 已在视觉套件控制台选择“无监督车牌检测工作流”新建应用,并已执行完“数据选择”步骤,详情请见选择数据。 训练模型 图1 训练模型 在“模型训练”页面,选择“训练模型”和“车辆场景”。