检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
自然语言处理套件 自然语言处理套件为客户提供自然语言处理的自定制工具,旨在帮助客户高效地构建行业、领域的高精度文本处理模型,可应用于政府、金融、法律等行业。 自然语言处理套件提供了预置工作流,覆盖多种场景,支持自主上传训练数据,自主构建和升级高精度识别模型。用户自定义模型精度高,识别速度快。
自然语言处理套件 行业套件介绍 新建应用 通用文本分类工作流 多语种文本分类工作流 通用实体抽取工作流 更新应用版本 查看应用详情 监控应用 删除应用
删除应用 如果已创建的应用不再使用,您可以删除应用释放资源。 操作步骤 登录ModelArts Pro管理控制台,单击“自然语言处理”套件卡片的“进入套件”。 进入自然语言处理套件控制台。 在左侧导航栏选择“应用开发>工作台”。 默认进入“我的应用”页签。 在“我的应用”页签下,选择已创建的应用,单击操作列的“删除”。
在左侧导航栏选择“应用开发>工作台”。 默认进入“我的应用”页签。 在“我的应用”页签下,选择已创建的应用,单击操作列的“查看”。 进入应用详情页,默认进入“应用开发”页签。 图1 查看应用 单击页面上方的“应用监控”。 进入“应用监控”页面,您可以查看当前版本应用的“基本信息”、“在线测试”、“历史版本”和“调用指南”。
Pro控制台查看应用详情,包括应用开发的配置信息、应用的历史版本、应用资产、应用监控。 前提条件 已在自然语言处理套件控制台选择“通用文本分类工作流”新建应用,详情请见新建应用。 进入应用详情页 登录ModelArts Pro管理控制台,单击“自然语言处理”套件卡片的“进入套件”。 进入自然语言处理套件控制台。
Pro控制台界面,单击“自然语言处理”套件卡片的“进入套件”。 进入自然语言处理套件控制台。 在左侧导航栏选择“应用开发>工作台”。 默认进入“我的应用”页签。 图1 工作台 在“我的应用”页签下,单击“新建应用”。 进入“新建应用”页面。 图2 新建应用 您也可以单击“我的工作流”,切换至
在新版本的应用开发页面,您可以基于上一版本的工作流配置,更新工作流开发的各个步骤,重新部署服务。 模型如何提升效果 检查是否存在训练数据过少的情况,建议每个标签的样本数不少于100个,如果低于这个量级建议扩充。 检查不同标签的样本数是否均衡,建议不同标签的样本数量级相同,并尽量接近,如果
说明 详细指导 选择自然语言处理套件 根据您的实际使用需求选择自然语言处理套件。您也可以通过查看工作流定位所需使用的套件。 在ModelArts Pro控制台界面,单击“自然语言处理”套件卡片的“进入套件”,进入自然语言处理套件控制台。 新建应用 基于预置的工作流新建应用,填写应用基本信息和工作流。
导入数据集后,单击数据集操作列的“标注”,进入数据集概览页单击右上角的“开始标注”,在“数据标注”页面手动标注数据。 勾选当前应用开发所需的训练数据集。 查看标签解析 新建并选择训练数据集后,针对已标注的数据,您可以在“标签解析”中查看标签样本的统计数据,横轴为“标签”,纵轴为标签对应的有效“样本数”。
通用实体抽取工作流 工作流介绍 准备数据 选择数据 训练模型 评估模型 部署服务 父主题: 自然语言处理套件
训练得到模型之后,整个开发过程还不算结束,需要对模型进行评估和考察。一次性很难获得一个满意的模型,需要反复的调整算法参数、数据,不断评估训练生成的模型。 一些常用的指标,如精准率、召回率、F1值等,能帮助您有效的评估,最终获得一个满意的模型。 前提条件 已在自然语言处理套件控制台选择“通用实体抽取工作流”新建应用,并训练模型,详情请见训练模型。
待新建的数据集存储至OBS的位置。 单击“数据集输出位置”右侧的“修改”,在弹出的“数据集输出位置”对话框中,选择“OBS桶”和“文件夹”,然后单击“确定”。 选择步骤1:准备数据中提前创建好的输出数据集的OBS路径“mapro-nlp/data-out”。 勾选已上传的数据集。
通用文本分类工作流 工作流介绍 准备数据 选择数据 标注数据 训练模型 评估模型 部署服务 发布数据集 管理数据集版本 父主题: 自然语言处理套件
GiB”,适合纯CPU类型的负载运行的模型。 如果资源池选择专属资源池,勾选自己在ModelArts创建的专属资源池。 计算节点个数 设置当前版本模型的实例个数。如果节点个数设置为1,表示后台的计算模式是单机模式;如果节点个数设置大于1,表示后台的计算模式为分布式的。请根据实际编码情况选择计算模式。
检查是否存在训练数据过少的情况,建议每个标签的样本数不少于100个,如果低于这个量级建议扩充。 检查不同标签的样本数是否均衡,建议不同标签的样本数量级相同,并尽量接近,如果有的类别数据量很高,有的类别数据量较低,会影响模型整体的识别效果。 选择适当的学习率和训练轮次。 通过详细评估中的错误识别示例,有针对性地扩充训练数据。
检查是否存在训练数据过少的情况,建议每个标签的样本数不少于100个,如果低于这个量级建议扩充。 检查不同标签的样本数是否均衡,建议不同标签的样本数量级相同,并尽量接近,如果有的类别数据量很高,有的类别数据量较低,会影响模型整体的识别效果。 选择适当的学习率和训练轮次。 通过详细评估中的错误识别示例,有针对性地扩充训练数据。
训练得到模型之后,整个开发过程还不算结束,需要对模型进行评估和考察。一次性很难获得一个满意的模型,需要反复的调整算法参数、数据,不断评估训练生成的模型。 一些常用的指标,如精准率、召回率、F1值等,能帮助您有效的评估,最终获得一个满意的模型。 前提条件 已在自然语言处理套件控制台选择“通用文本分类工作流”新建应用,并训练模型,详情请见训练模型。
操作列的“标注”,进入数据集概览页单击右上角的“开始标注”,在“数据标注”页面手动标注数据。 如果您上传的是未标注数据,您单击数据集操作列的“标注”,进入数据集概览页单击右上角的“开始标注”,在“数据标注”页面手动标注数据。 合并标签 针对所选择的训练数据集,如果每个标签的样本数量太少,可以选择合并标签。
Browser+是一个比较常用的图形化工具,支持完善的桶管理和对象管理操作。推荐使用此工具创建桶或上传对象。obsutil是一款用于访问管理OBS的命令行工具,对于熟悉命令行程序的用户,obsutil是执行批量处理、自动化任务较好的选择。 如果您的业务环境需要通过API或SDK执
多语种文本分类工作流 工作流介绍 准备数据 选择数据 训练模型 评估模型 部署服务 父主题: 自然语言处理套件