检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
自然语言处理套件 自然语言处理套件为客户提供自然语言处理的自定制工具,旨在帮助客户高效地构建行业、领域的高精度文本处理模型,可应用于政府、金融、法律等行业。 自然语言处理套件提供了预置工作流,覆盖多种场景,支持自主上传训练数据,自主构建和升级高精度识别模型。用户自定义模型精度高,识别速度快。
置的工作流,自主上传训练数据,训练高精度的文本预测分类模型,适配不同行业场景的业务数据,快速获得定制服务。 图1 使用预置工作流开发应用 表1 使用预置工作流开发应用流程 流程 说明 详细指导 选择自然语言处理套件 根据您的实际使用需求选择自然语言处理套件。您也可以通过查看工作流定位所需使用的套件。
修改”,在弹出的“数据集输出位置”对话框中,选择“OBS桶”和“文件夹”,然后单击“确定”。 添加标签集 当上传的数据集状态为“未标注数据集”,需要添加标签名称。 单击文本框下方的添加标签。 鼠标移至文本框,单击文本框右侧的删除标签。 新建训练数据集后,勾选当前应用开发所需的训练数据集。
occluded:必选字段,标注内容是否被遮挡(0表示未遮挡) difficult:必选字段,标注目标是否难以识别(0表示容易识别)。 confidence:可选字段,标注目标的置信度,取值范围0-1之间。 bndbox:必选字段,标注框的类型,可选值请参见表2。 表2 标注框类型描述 type 形状
训练模型 选择训练数据后,基于已标注的训练数据,选择预训练模型、配置参数,用于训练实体抽取模型。 前提条件 已在自然语言处理套件控制台选择“通用实体抽取工作流”新建应用,并选择训练数据集,详情请见选择数据。 训练模型 图1 模型训练 在“模型训练”页面配置训练参数,开始训练模型。
大小不能超过5MB,且单次上传的图片总大小不能超过8MB。 表1 PASCAL VOC格式说明 字段 是否必选 说明 folder 是 表示数据源所在目录。 filename 是 被标注文件的文件名。 size 是 表示图像的像素信息。 width:必选字段,图片的宽度。 height:必选字段,图片的高度。
“模型评估”下侧显示当前模型的版本、验证集数量。 评估参数对比 “评估参数对比”下方显示当前模型的评估参数值,包括“精准率”、“召回率”。您可以在上方单击“添加对比版本”,在 “添加对比版本”下拉框选择之前已经训练完成的数据进行对比。 详细评估 “详细评估”下方显示各个标签下准确率,即对应标签下预测正确的样本
在开发版本列表中单击“操作”列的“查看”。 进入“应用开发”页面。 图2 进入应用开发 新建训练数据集 在“数据选择”页面,单击“新建训练数据集”,右侧弹出“新建数据集”页面,根据数据存储位置和数据标注情况,按表1填写数据集基本信息,然后单击“确定”。 图3 新建数据集 表1 新建训练数据集参数说明
第二相标注的标注文件需要满足PASCAL VOC格式,格式详细说明请参见表1。 表1 PASCAL VOC格式说明 字段 是否必选 说明 folder 是 表示数据源所在目录。 filename 是 被标注文件的文件名。 size 是 表示图像的像素信息。 width:必选字段,图片的宽度。 height:必选字段,图片的高度。
在开发版本列表中单击“操作”列的“查看”。 进入“应用开发”页面。 图2 进入应用开发 新建训练数据集 在“数据选择”页面,单击“新建训练数据集”,右侧弹出“新建数据集”页面,根据数据存储位置和数据标注情况,按表1填写数据集基本信息,然后单击“确定”。 图3 新建数据集 表1 新建训练数据集参数说明
在开发版本列表中单击“操作”列的“查看”。 进入“应用开发”页面。 图2 进入应用开发 新建训练数据集 在“数据选择”页面,单击“新建训练数据集”,右侧弹出“新建数据集”页面,根据数据存储位置和数据标注情况,按表1填写数据集基本信息,然后单击“确定”。 图3 新建训练数据集 表1 新建训练数据集参数说明
在开发版本列表中单击“操作”列的“查看”。 进入“应用开发”页面。 图2 进入应用开发 新建训练数据集 在“数据选择”页面,单击“新建训练数据集”,右侧弹出“新建数据集”页面,根据数据存储位置和数据标注情况,按表1填写数据集基本信息,然后单击“确定”。 图3 新建数据集 表1 新建训练数据集参数说明
在开发版本列表中单击“操作”列的“查看”。 进入“应用开发”页面。 图2 进入应用开发 新建训练数据集 在“数据选择”页面,单击“新建训练数据集”,右侧弹出“新建数据集”页面,根据数据存储位置和数据标注情况,按表1填写数据集基本信息,然后单击“确定”。 图3 新建数据集 表1 新建训练数据集参数说明
在开发版本列表中单击“操作”列的“查看”。 进入“应用开发”页面。 图2 进入应用开发 新建训练数据集 在“数据选择”页面,单击“新建训练数据集”,右侧弹出“新建数据集”页面,根据数据存储位置和数据标注情况,按表1填写数据集基本信息,然后单击“确定”。 图3 新建数据集 表1 新建训练数据集参数说明
工作流配置 按图4和表2填写工作流配置。 图4 工作流配置 表2 工作流配置参数说明 参数 说明 推荐填写 所属行业 单击,选择应用所属行业。 本样例选择“通用”。 选择工作流 选择开发应用的预置工作流。 本样例选择“通用文本分类工作流”。 资源配置 按图5和表3填写资源配置。 图5
评估参数对比 “评估参数对比”下方显示当前模型的评估参数值,包括“精准率”、“召回率”、“F1值”。您可以在上方单击选择“评估范围”,单击“添加对比版本”。 详细评估 “详细评估”下方显示各个标签下正确率,即对应标签下预测正确的样本数占该标签下样本总数比例,单击各标签,右侧可查看该标签识别错误的图片。
研究钢板表面的缺陷类型对钢板的使用寿命至关重要,ModelArts Pro提供热轧钢板表面缺陷检测工作流,提供高精度钢板表面缺陷识别算法,提高钢板表面缺陷检测场景上线效率。 功能介绍 支持自主上传热轧钢板表面图片数据,构建热轧钢板表面缺陷类型的检测模型,用于识别热轧钢板表面图片中的缺陷类型。
评估模型 训练得到模型之后,整个开发过程还不算结束,需要对模型进行评估和考察。一次性很难获得一个满意的模型,需要反复的调整算法参数、数据,不断评估训练生成的模型。 一些常用的指标,如精准率、召回率、F1值等,能帮助您有效的评估,最终获得一个满意的模型。 前提条件 已在自然语言处理
评估参数对比 “评估参数对比”下方显示当前模型的评估参数值,包括“精准率”、“召回率”、“F1值”。您可以在上方单击选择“评估范围”,单击“添加对比版本”。 详细评估 “详细评估”下方显示各个标签下正确率,即对应标签下预测正确的样本数占该标签下样本总数比例,单击各标签,右侧可查看该标签识别错误的图片。
评估参数对比 “评估参数对比”下方显示当前模型的评估参数值,包括“精准率”、“召回率”、“F1值”。您可以在上方单击选择“评估范围”,单击“添加对比版本”。 详细评估 “详细评估”下方显示各个标签下正确率,即对应标签下预测正确的样本数占该标签下样本总数比例,单击各标签,右侧可查看该标签识别错误的图片。