检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
标注数据 由于模型训练过程需要大量有标签的数据,如果开发应用时,上传的训练数据集是未标注的,需要对数据集中的数据进行标注。 针对文本分类场景,是对文本的内容按照标签进行分类处理,标签名是由中文、大小写字母、数字、中划线或下划线组成,且不超过32位的字符串。 进入数据标注页面 在“数据
参照字段是文字内容、位置固定不变的文本框区域。 参照字段为单行文本框,不可以框选竖版文字或跨行框选。 框选参照字段个数须建议大于4个,越多越好,并尽量分散在图片的四周。 参考字段尽量沿着文字边缘框选,精确框住对应文本行为佳。 核对右侧“框选参照字段”中的参照字段是否与框选的参照字段一致。 框选
显示正确标签所对应样本的正确标签和预测标签,您可以对比正确标签和预测标签,判断当前模型对该样本的预测是否正确。 例如搜索框内输入标签“1”,下方会显示正确标签为“1”的样本中,预测正确的样本数在验证集中的占比。右侧显示正确标签为“1”的样本信息,包括样本的正确标签和预测标签。 图2
确文字识别的模板类型,明确以哪几种板式图片作为模板训练文字识别模型,基于自己的业务需求制定针对性的文字识别模型。例如上传两种不同格式的发票图片作为模板,训练的文字识别模型就能识别并提取这两种格式发票上的关键字段。 前提条件 已授权ModelArts服务和对象存储服务(OBS)。
通用单模板工作流 工作流介绍 上传模板图片 定义预处理 框选参照字段 框选识别区 评估应用 部署服务 自定义字段类型 编辑应用 删除应用 父主题: 文字识别套件
多模板分类工作流 工作流介绍 上传模板图片 定义预处理 框选参照字段 框选识别区 训练分类器 评估应用 部署服务 编辑应用 自定义字段类型 删除应用 父主题: 文字识别套件
在使用单模板工作流开发应用之前,必须要明确文字识别的模板类型,明确以哪张图片作为模板训练文字识别模型,基于自己的业务需求制定针对性的文字识别模型。例如上传某一格式的发票图片作为模板,训练的文字识别模型就能识别并提取同格式发票上的关键字段。 前提条件 已授权ModelArts服务和对象存储服务(OBS)。 已在
检查是否存在训练数据过少的情况,建议每个类别的图片量不少于100个,如果低于这个量级建议扩充。 检查不同标签的样本数是否均衡,建议不同标签的样本数量级相同,并尽量接近,如果有的类别数据量很高,有的类别数据量较低,会影响模型整体的识别效果。 选择适当的学习率和训练轮次。 通过详细评估中的错误识别示例,有针对性地扩充训练数据。
换。 为了检查并校正待识别的图片,这就需要在模板图片中指定参照字段。通过参照字段的文字内容来判断是否属于同一种模板,通过参照字段的位置来校正待识别图片。 基本概念 参照字段为模板图片和待识别图片中的公共文字部分,所有需要识别的图片中都要包含参照字段,且位置必须固定。 套件提供了自
零售商品识别工作流 工作流介绍 准备数据 选择数据 创建SKU 自动标注数据 训练模型 评估模型 部署服务 父主题: 视觉套件
通用图像分类工作流 工作流介绍 新建应用 准备数据 选择数据 训练模型 评估模型 部署服务 父主题: 视觉套件
创建名称为“training-data-in”的文件夹用于存放训练数据集。 创建名称为“training-data-out”的文件夹用于存放输出的数据集。 创建OBS桶和文件夹的操作指导请参见创建桶和新建文件夹。为保证数据能正常访问,请务必保证创建的OBS桶与ModelArts Pro服务在同一区域。
单击框选操作图标,单击待识别文字的左上角,移动鼠标框选识别区,使得矩形框覆盖待识别的文字。 框选识别区应尽量扩大识别区范围,使所框选识别区覆盖字段值可能出现的区域。 在右侧“框选识别区”中填写“框选字段”,选择“字段类型”。 “字段类型”指待识别文字的内容,您可以在默认字段类型中选择,当前可选择的默认字段
对经过“预处理”的文字进行关键字符提取。 在输入框中填写查找关键字符的正则表达式。 不填写时,默认提取全部字段。 如果需要多个提取规则,单击新增提取规则。提取时按从上到下优先级规则提取,选择第一个非空的提取内容作为提取后的内容。 后处理 根据实际情况,对经过“提取”后的文字进行“后处理”。
试资源部署”,即用于数据处理、模型训练和在线测试的资源池和资源类型。 资源池可选“公共资源池”和“专属资源池”。 “公共资源池”:提供公共的大规模计算集群,资源按作业隔离。您可以按需选择不同的资源类型。 “专属资源池”:提供独享的计算资源,不与其他用户共享,更加高效。使用专属资源
操作列的“标注”,进入数据集概览页单击右上角的“开始标注”,在“数据标注”页面手动标注数据。 如果您上传的是未标注数据,您单击数据集操作列的“标注”,进入数据集概览页单击右上角的“开始标注”,在“数据标注”页面手动标注数据。 合并标签 针对所选择的训练数据集,如果每个标签的样本数量太少,可以选择合并标签。
第二相面积含量测定工作流 工作流介绍 准备数据 选择数据 标注数据 训练模型 评估模型 部署服务 父主题: 视觉套件
检查是否存在训练数据过少的情况,建议每个标签的样本数不少于100个,如果低于这个量级建议扩充。 检查不同标签的样本数是否均衡,建议不同标签的样本数量级相同,并尽量接近,如果有的类别数据量很高,有的类别数据量较低,会影响模型整体的识别效果。 选择适当的学习率和训练轮次。 通过详细评估中的错误识别示例,有针对性地扩充训练数据。
通用实体抽取工作流 工作流介绍 准备数据 选择数据 训练模型 评估模型 部署服务 父主题: 自然语言处理套件
待新建的数据集存储至OBS的位置。 单击“数据集输出位置”右侧的“修改”,在弹出的“数据集输出位置”对话框中,选择“OBS桶”和“文件夹”,然后单击“确定”。 选择步骤1:准备数据中提前创建好的输出数据集的OBS路径“mapro-nlp/data-out”。 勾选已上传的数据集。