检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据,单个样本不能有分行显示,不支持换行。 基于已设计好的分类标签准备文本数据。每个分类标签需要准备5个及以上数据,为了训练出效果较好的模型,建议每个分类标签准备100个以上的数据。 针对未标注数据,将待标注的内容放在一个文本文件内,通用文本分类工作流仅支持中文文本内容的分类,其
数据,单个样本不能有分行显示,不支持换行。 文本数据至少包含2个及以上的标签。每个分类标签需要准备5个及以上数据,为了训练出效果较好的模型,建议每个分类标签准备100个以上的数据。 多语种文本分类工作流仅支持对单语种的文本分类,当前支持文本分类的语种包括英语、法语、德语、西班牙语
保证图片质量:不能有损坏的图片;目前支持的格式包括JPG、JPEG、PNG、BMP。 为了保证模型的预测准确度,训练样本跟真实使用场景尽量相似。 为保证模型的泛化能力,数据集尽量覆盖所有材质类型的待定级图片。 为保证训练效果,需要准备至少20张待训练的图片数据,低于20张工作流数据处理会报错。
数据集要求 文件名规范,不能有中文,不能有+、空格、制表符。 保证图片质量:不能有损坏的图片;目前支持的格式包括JPG、JPEG、PNG、BMP。 为了保证模型的预测准确度,训练样本跟真实使用场景尽量相似。 为保证模型的泛化能力,数据集尽量覆盖所有标签的图片。 基于已设计好的热
相似。 为保证模型的泛化能力,数据集尽量覆盖所有标签的图片。 基于已设计好的商品标签准备图片数据。每个商品标签需要准备20个数据以上,为了训练出效果较好的模型,建议每个商品标签准备200个以上的数据。 针对未标注数据,要求将图片放在一个目录里,示例如下所示。 ├─dataset-import-example
发布数据集 ModelArts Pro在数据集管理过程中,针对同一个数据源,对不同时间标注后的数据,按版本进行区分,方便后续模型构建和开发过程中,选择对应的数据集版本进行使用。数据标注完成后,您可以将数据集当前状态进行发布,生成一个新的数据集版本。 关于数据集版本 针对刚创建的数据
如何上传数据至OBS? 使用ModelArts Pro进行应用开发时,您需要将数据上传至对象存储服务(OBS)桶中。您可以登录OBS管理控制台创建OBS桶,并在您创建的OBS桶中创建文件夹,然后再进行数据的上传,OBS上传数据的详细操作请参见《对象存储服务快速入门》。 您在创建O
管理数据集版本 数据标注完成后,您可以发布成多个版本对数据集进行管理。针对已发布生产的数据集版本,您可以通过查看数据集演进过程、设置当前版本、删除版本等操作,对数据集进行管理。数据集版本的相关说明,请参见关于数据集版本。 发布为新版本的说明,请参见发布数据集。 进入数据集版本管理页面
上传数据集失败如何处理? 问题原因 上传数据集失败,一般是因为数据集格式不对导致的。不同行业套件的工作流,对数据集要求也不同。 首先请检查数据集是否符合要求,各个套件的数据集要求如下: 文字识别套件 自然语言处理套件 视觉套件 HiLens套件 确认数据集符合要求后,将数据集上传至OBS桶。
配额说明 本服务在使用数据集、在线服务、训练任务资源时涉及配额限制。 其配额查看及修改请参见关于配额。
更新应用版本 在模型构建过程中,您可能需要根据训练结果,不停的调整数据、训练参数或模型,以获得一个满意的模型。 因此您可以修改模型的配置信息以匹配业务变化。每修改一次,更新成一个版本,不同的作业版本之间,能快速进行对比,获得对比结果。 前提条件 已在HiLens套件控制台选择“H
扩充。 检查不同标签的样本数是否均衡,建议不同标签的样本数量级相同,并尽量接近,如果有的类别数据量很高,有的类别数据量较低,会影响模型整体的识别效果。 如果分割效果不好,建议检测图片标注,标注质量的好坏直接影响模型训练图像分割效果的好坏。 根据数据量选择适当的学习率和训练轮次。
检查不同标签的样本数是否均衡,建议不同标签的样本数量级相同,并尽量接近,如果有的类别数据量很高,有的类别数据量较低,会影响模型整体的识别效果。 选择适当的学习率和训练轮次。 通过详细评估中的错误识别示例,有针对性地扩充训练数据。 后续操作 更新版本后,您可以在“应用详情”页的开发版本
训练模型 选择训练数据后,基于已标注的训练数据,选择预训练模型、配置参数,用于训练安全帽检测模型。 前提条件 已创建用于存储数据的OBS桶及文件夹,且数据存储的OBS桶与ModelArts Pro在同一区域,详情请见创建OBS桶。 已在ModelArts Pro控制台选择“HiL
Management,简称IAM)实现认证功能。IAM的更多信息请参见《统一身份认证服务用户指南》。 与对象存储服务的关系 ModelArts Pro使用对象存储服务(Object Storage Service,简称OBS)存储使用工作流过程中训练的数据,实现安全、高可靠和低成本的存储需求。OBS的更多信息请参见《对象存储服务控制台指南》。
在商品识别场景下,如果上传的数据含有未标注数据,您需要创建SKU,即商品各类单品的图片,方便后续针对数据集中的数据进行自动标注。 前提条件 新建训练数据需要获取访问OBS权限,在未进行委托授权之前,无法使用此功能。您需要提前获得OBS授权,详情请见配置访问授权。 需要提前准备好SKU数据,即商品各
模型如何提升效果 检查是否存在训练数据过少的情况,建议每个标签的样本数不少于100个,如果低于这个量级建议扩充。 检查不同标签的样本数是否均衡,建议不同标签的样本数量级相同,并尽量接近,如果有的类别数据量很高,有的类别数据量较低,会影响模型整体的识别效果。 选择适当的学习率和训练轮次。 通过
详细指导 准备数据 在使用通用实体抽取工作流开发应用之前,您需要提前准备用于模型训练的数据,上传至OBS中。 准备数据 选择数据 在使用通用实体抽取工作流开发应用时,您需要新建或导入数据集,后续训练模型操作是基于您选择的数据集。 选择数据 训练模型 选择训练数据后,基于已标注的训练数据
由于模型训练过程需要大量有标签的数据,如果开发应用时,上传的训练数据集是未标注的,需要对数据集中的数据进行标注。 标注数据 训练模型 选择训练数据后,基于已标注的训练数据,选择预训练模型、配置参数,用于训练文本分类模型。 训练模型 评估模型 训练得到模型之后,整个开发过程还不算结束,需要对模型进行评估和考察。