检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
信息,完成帐号注册。 注册成功后即可自动登录华为云,您需要完成“实名认证”才可以正常使用服务。具体认证方式请参考帐号实名认证。 父主题: 如何使用ModelArts Pro
操作是基于您选择的训练数据集。 训练数据集可以选择创建一个新的数据集,也可以选择导入在自然语言处理套件其他应用中已创建的文本数据集。 新建数据集 导入数据集 前提条件 已在自然语言处理套件控制台选择“通用文本分类工作流”新建应用,详情请见新建应用。 已准备数据并上传至OBS,详情请见准备数据。
由于模型训练过程需要大量有标签的数据,如果开发应用时,上传的训练数据集是未标注的,需要对数据集中的数据进行标注。 针对文本分类场景,是对文本的内容按照标签进行分类处理,标签名是由中文、大小写字母、数字、中划线或下划线组成,且不超过32位的字符串。 进入数据标注页面 在“数据选择”页面,新建数据集后,单击
作。推荐使用此工具创建桶或上传对象。obsutil是一款用于访问管理OBS的命令行工具,对于熟悉命令行程序的用户,obsutil是执行批量处理、自动化任务较好的选择。 如果您的业务环境需要通过API或SDK执行数据上传操作,或者您习惯于使用API和SDK,推荐选择OBS的API或SDK方法创建桶和上传对象。
针对多场景领域提供预训练模型,支持抽取文本中的实体,分类准确率高。 提供完善的文本处理能力,支持多种数据格式内容,适配不同场景的业务数据。 可根据使用过程中的反馈持续优化模型。 工作流流程 在“ModelArts Pro>自然语言处理套件”控制台选择“我的工作流>通用实体抽取工作流”新建应用,详细
不断评估训练生成的模型。 一些常用的指标,如精准率、召回率、F1值等,能帮助您有效的评估,最终获得一个满意的模型。 前提条件 已在自然语言处理套件控制台选择“通用文本分类工作流”新建应用,并训练模型,详情请见训练模型。 整体评估 在“模型评估”页面,您可以针对当前版本的模型进行整体评估。
多语种文本分类工作流 工作流介绍 准备数据 选择数据 训练模型 评估模型 部署服务 父主题: 自然语言处理套件
据或难例筛选操作。 表格数据集暂不支持切换版本。 发布数据集 在ModelArts Pro控制台界面,单击“自然语言处理”套件卡片的“进入套件”。 进入自然语言处理套件控制台。 在左侧导航栏选择“应用开发>工作台”。 默认进入“我的应用”页签。 在“我的应用”页签下,选择已创建的应用,单击操作列的“查看”。
不断评估训练生成的模型。 一些常用的指标,如精准率、召回率、F1值等,能帮助您有效的评估,最终获得一个满意的模型。 前提条件 已在自然语言处理套件控制台选择“多语种文本分类工作流”新建应用,并训练模型,详情请见训练模型。 整体评估 在“模型评估”页面,您可以针对当前版本的模型进行整体评估。
优势 针对场景领域提供预训练模型,分类准确率高。 提供完善的文本处理能力,支持多种数据格式内容,适配不同场景的业务数据。 可根据使用过程中的反馈持续优化模型。 工作流流程 在“ModelArts Pro>自然语言处理套件”控制台,选择“我的工作流>通用文本分类工作流”新建应用,详
操作是基于您选择的训练数据集。 训练数据集可以选择创建一个新的数据集,也可以选择导入在自然语言处理套件其他应用中已创建的文本数据集。 新建数据集 导入数据集 前提条件 已在自然语言处理套件控制台选择“多语种文本分类工作流”新建应用,详情请见新建应用。 已准备数据并上传至OBS,详情请见准备数据。
模型准备完成后,您可以部署服务,开发属于自己的语种文本分类应用,此应用用于分类自己所上传的文字内容,也可直接调用对应的API。 前提条件 已在自然语言处理套件控制台选择“多语种文本分类工作流”新建应用,并评估模型,详情请见评估模型。 由于部署服务涉及ModelArts功能,需消耗资源,要确保账户未欠费。
发布为新版本的说明,请参见发布数据集。 进入数据集版本管理页面 登录ModelArts Pro管理控制台,单击“自然语言处理”套件卡片的“进入套件”。 进入自然语言处理套件控制台。 在左侧导航栏选择“应用开发>工作台”。 默认进入“我的应用”页签。 在“我的应用”页签下,选择已创建的应用,单击操作列的“查看”。
部署服务 调用时,如果出现ModelArts.4204报错,请参见ModelArts.4204服务未开通报错进行处理。 SDK调用 本章节以Python SDK为例介绍如何进行使用,其他语言SDK使用方法相同。 获取SDK。 在自定义OCR的“部署”页面,选择“SDK调用”获取SDK。
优势 针对场景领域提供预训练模型,分类准确率高。 提供完善的文本处理能力,支持多种数据格式内容,适配不同场景的业务数据。 可根据使用过程中的反馈持续优化模型。 工作流流程 在“ModelArts Pro>自然语言处理套件”控制台,选择“我的工作流>多语种文本分类工作流”新建应用,
定义预处理 在“应用开发>定义预处理”页面,您可以“选择预处理逻辑”快速处理图片,也可以按左上角操作指标调整图片。 图1 定义预处理 右侧“选择预处理逻辑”区域勾选对应操作,当前仅支持“自动旋转”操作,系统自动旋转文字方向不正确的图片,保持图片中的文字方向正确。 单击预处理区域左
定义预处理 在“应用开发>定义预处理”页面上方或者“选择模板”下拉框中选择模板,对每个模板图片进行预处理。 图1 多模板定义预处理 在右侧“选择预处理逻辑”区域勾选对应操作,当前仅支持“自动旋转”操作,系统自动旋转文字方向不正确的图片,保持图片中的文字方向正确。 单击预处理区域左
自然语言处理套件 自然语言处理套件为客户提供自然语言处理的自定制工具,旨在帮助客户高效地构建行业、领域的高精度文本处理模型,可应用于政府、金融、法律等行业。 自然语言处理套件提供了预置工作流,覆盖多种场景,支持自主上传训练数据,自主构建和升级高精度识别模型。用户自定义模型精度高,识别速度快。
”、“云状识别工作流”、“刹车盘识别工作流”等。 图4 工作流配置 资源配置 图5 资源配置 分别选择“数据处理资源”、“模型训练资源”、“测试资源部署”,即用于数据处理、模型训练和在线测试的资源池和资源类型。 资源池可选“公共资源池”和“专属资源池”。 “公共资源池”:提供公共
少人工输入。 合同录入与审核 自动识别结构化信息与提取签名盖章区域,有助快速审核。 自然语言处理套件 通用文本分类场景。 智能问答 通过中文分词、短文本相似度、命名实体识别等自然语言处理相关技术,计算两个问题对的相似度,可解决问答、对话、语料挖掘、知识库构建等问题。 内容推荐 通