检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
文本数据至少包含2个及以上的标签。每个分类标签需要准备5个及以上数据,为了训练出效果较好的模型,建议每个分类标签准备100个以上的数据。 多语种文本分类工作流仅支持对单语种的文本分类,当前支持文本分类的语种包括英语、法语、德语、西班牙语、葡萄牙语、阿拉伯语等。暂不支持对同一文本中含多语种的文本进行分类训练。
于模型训练的数据,上传至OBS服务中。 设计实体标签 首先需要确定好文本实体的标签,即希望抽取出文本的一种结果。例如“时间”、“地点”、“人物”等。 数据集要求 文件格式要求为txt或者csv,且编码格式为“UTF-8”格式,文件大小不能超过8MB。 txt文件编码保存为“UTF-8”格式:
在使用通用文本分类工作流开发应用之前,您需要提前准备用于模型训练的数据,上传至OBS服务中。 设计分类标签 首先需要确定好文本分类的标签,即希望识别出文本的一种结果。例如分类用户对商品的评论,则可以以“positive”、“neutral”、“negative”等作为用户对某商品评论的分类标签,可以设计为“posi
00个以上的数据。 多语种文本分类工作流仅支持对单语种的文本分类,当前支持文本分类的语种包括英语、法语、德语、西班牙语、葡萄牙语、阿拉伯语等。暂不支持对同一文本中含多语种的文本进行分类训练。 针对未标注数据,将待标注的内容放在一个文本文件内。 针对已标注数据,文本分类的标注对象和
Pro控制台界面,单击“视觉套件”卡片的“进入套件”。 进入视觉套件控制台。 在左侧导航栏选择“应用开发>工作台”。 默认进入“我的应用”页签。 图1 工作台 在“我的应用”页签下,单击“新建应用”。 进入“新建应用”页面。 图2 新建应用 您也可以单击“我的工作流”,切换至“我的工作流”页签,选择工作流并单击卡片中的“新建应用”。
Pro控制台界面,单击“文字识别”套件卡片的“进入套件”。 进入文字识别套件控制台。 图1 进入套件 在左侧导航栏选择“应用开发>工作台”。 默认进入“我的应用”页签。 图2 工作台 在“我的应用”页签下,单击“新建应用”。 进入“新建应用”页面。 图3 新建应用 您也可以单击“我的工作流”,切换至“我的工作流”
Pro控制台界面,单击“自然语言处理”套件卡片的“进入套件”。 进入自然语言处理套件控制台。 在左侧导航栏选择“应用开发>工作台”。 默认进入“我的应用”页签。 图1 工作台 在“我的应用”页签下,单击“新建应用”。 进入“新建应用”页面。 图2 新建应用 您也可以单击“我的工作流”,切换至“我的工作流”页签,选择工作流并单击卡片中的“新建应用”。
训练模型 选择训练数据后,基于已标注的训练数据,选择预训练模型、配置参数,用于训练安全帽检测模型。 前提条件 已创建用于存储数据的OBS桶及文件夹,且数据存储的OBS桶与ModelArts Pro在同一区域,详情请见创建OBS桶。 已在ModelArts Pro控制台选择“HiL
保证图片质量:不能有损坏的图片;目前支持的格式包括JPG、JPEG、PNG、BMP。 为了保证模型的预测准确度,训练样本跟真实使用场景尽量相似。 为保证模型的泛化能力,数据集尽量覆盖所有材质类型的待定级图片。 为保证训练效果,需要准备至少20张待训练的图片数据,低于20张工作流
创建名称为“training-data-in”的文件夹用于存放训练数据集。 创建名称为“training-data-out”的文件夹用于存放输出的数据集。 创建OBS桶和文件夹的操作指导请参见创建桶和新建文件夹。为保证数据能正常访问,请务必保证创建的OBS桶与ModelArts Pro服务在同一区域。
保证图片质量:不能有损坏的图片。 目前支持的格式包括JPG、JPEG、PNG、BMP。 训练数据集 本样例训练数据集使用未标注数据。 为了保证模型的预测准确度,训练样本跟真实使用场景尽量相似。 为保证模型的泛化能力,数据集尽量覆盖所有商品分类的图片,即覆盖所有标签的图片。 每个分类标签
作,详情请见准备工作。 步骤1:准备数据 在本地准备好用于制作模板的图片、用于训练多模板分类器的训练集、用于评估模板的图片,图片要求如下: 只支持PNG、JPG、JPEG、BMP、TIFF格式的图片。 图像各边的像素大小在100px到4096px之间。 图像中识别区域有效占比超过
待新建的数据集存储至OBS的位置。 单击“数据集输出位置”右侧的“修改”,在弹出的“数据集输出位置”对话框中,选择“OBS桶”和“文件夹”,然后单击“确定”。 选择步骤1:准备数据中提前创建好的输出数据集的OBS路径“mapro-nlp/data-out”。 勾选已上传的数据集。
HiLens套件 HiLens为端云协同AI应用开发平台,提供简单易用的开发框架、开箱即用的开发环境、丰富的AI技能市场和云上管理平台,帮助用户高效开发多模态AI技能,并将其快速部署到端侧计算设备。 HiLens套件提供可训练技能模板开发技能,无需代码,只需自主上传训练数据,快速
提前准备模板图片以及训练分类器的数据集,其要求请见数据要求。 数据要求 保证图片质量:不能有损坏的图片;目前支持的格式包括JPG、JPEG、PNG、BMP。 图片最大边不大于4096px,最小边不小于100px,且大小不超过4M。 训练分类器的数据集要求将图片放在一个目录里,并压缩成zip文件,文件大小不应大于10M。
在使用单模板工作流开发应用之前,必须要明确文字识别的模板类型,明确以哪张图片作为模板训练文字识别模型,基于自己的业务需求制定针对性的文字识别模型。例如上传某一格式的发票图片作为模板,训练的文字识别模型就能识别并提取同格式发票上的关键字段。 前提条件 已授权ModelArts服务和对象存储服务(OBS)。 已在
训练得到模型之后,整个开发过程还不算结束,需要对模型进行评估和考察。一次性很难获得一个满意的模型,需要反复的调整算法、数据,不断评估训练生成的模型。 一些常用的指标,如精准率、召回率、F1值等,能帮助您有效的评估,最终获得一个满意的模型。 前提条件 已在视觉套件控制台选择“零售商品识别工作流”新建应用,并训练模型,详情请见训练模型。
与ModelArts的关系 ModelArts Pro底层依托一站式AI 开发管理平台ModelArts 提供的领先算法技术,保证AI 应用开发的高效和推理结果的准确,同时减少人力投入。ModelArts的更多信息请参见AI开发平台Modelarts。 与华为HiLens的关系 ModelArts
ModelArts与ModelArts Pro的区别 ModelArts是一站式AI开发管理平台,提供领先算法技术,保证AI应用开发的高效和推理结果的准确,同时减少人力投入。ModelArts致力于底层模型专业开发、调参等。 ModelArts Pro根据预置工作流生成指定场景模
备用于模型训练的数据,上传至OBS服务中。 数据集要求 文件名规范,不能有中文,不能有+、空格、制表符。 保证图片质量:不能有损坏的图片;目前支持的格式包括jpg、jpeg、bmp、png。 为了保证模型的预测准确度,训练样本跟真实使用场景尽量相似。 为保证模型的泛化能力,数据集