检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
工作流流程 在“ModelArts Pro>自然语言处理套件”控制台,选择“我的工作流>通用文本分类工作流”新建应用,详细操作请见新建应用。您可以开发文本分类应用,通过训练文本分类预测模型,实现文本分类功能。
前提条件 已在自然语言处理套件控制台选择“通用实体抽取工作流”新建应用,并选择训练数据集,详情请见选择数据。 训练模型 图1 模型训练 在“模型训练”页面配置训练参数,开始训练模型。 在“参数配置”填写“学习率”、“训练轮次”和“分批训练样本数”。
前提条件 已在自然语言处理套件控制台选择“通用文本分类工作流”新建应用,并评估模型,详情请见评估模型。 由于部署服务涉及ModelArts功能,需消耗资源,要确保账户未欠费。 如果部署服务使用专属资源池,需要在ModelArts创建专属资源池。
训练数据集可以选择创建一个新的数据集,也可以选择导入在自然语言处理套件其他应用中已创建的文本数据集。 新建数据集 导入数据集 前提条件 已在自然语言处理套件控制台选择“通用文本分类工作流”新建应用,详情请见新建应用。 已准备数据并上传至OBS,详情请见准备数据。
工作流流程 在“ModelArts Pro>自然语言处理套件”控制台选择“我的工作流>通用实体抽取工作流”新建应用,详细操作请见新建应用。您可以开发实体抽取应用,通过训练实体抽取模型,实现从文本中抽取实体的功能。
前提条件 已在自然语言处理套件控制台选择“多语种文本分类工作流”新建应用,并选择训练数据集,详情请见选择数据。 训练模型 图1 模型训练 在“模型训练”页面,勾选模型训练所使用的“预训练模型”,并配置训练参数,开始训练模型。
前提条件 已在自然语言处理套件控制台选择“多语种文本分类工作流”新建应用,并训练模型,详情请见训练模型。 整体评估 在“模型评估”页面,您可以针对当前版本的模型进行整体评估。 “整体评估”左侧显示当前模型的版本、标签数量、验证集数量。
准备数据 在使用多语种文本分类工作流开发应用之前,您需要提前准备用于模型训练的数据,上传至OBS服务中。 设计分类标签 首先需要确定好文本分类的标签,即希望识别出文本的一种结果。例如分类用户对商品的评论,则可以以“positive”、“neutral”、“negative”等作为用户对某商品评论的分类标签
前提条件 已在自然语言处理套件控制台选择“多语种文本分类工作流”新建应用,并评估模型,详情请见评估模型。 由于部署服务涉及ModelArts功能,需消耗资源,要确保账户未欠费。 如果部署服务使用专属资源池,需要在ModelArts创建专属资源池。
标注数据 由于模型训练过程需要大量有标签的数据,如果开发应用时,上传的训练数据集是未标注的,需要对数据集中的数据进行标注。 针对文本分类场景,是对文本的内容按照标签进行分类处理,标签名是由中文、大小写字母、数字、中划线或下划线组成,且不超过32位的字符串。 进入数据标注页面 在“数据选择
准备数据 在使用通用文本分类工作流开发应用之前,您需要提前准备用于模型训练的数据,上传至OBS服务中。 设计分类标签 首先需要确定好文本分类的标签,即希望识别出文本的一种结果。例如分类用户对商品的评论,则可以以“positive”、“neutral”、“negative”等作为用户对某商品评论的分类标签
发布数据集 在ModelArts Pro控制台界面,单击“自然语言处理”套件卡片的“进入套件”。 进入自然语言处理套件控制台。 在左侧导航栏选择“应用开发>工作台”。 默认进入“我的应用”页签。 在“我的应用”页签下,选择已创建的应用,单击操作列的“查看”。
工作流流程 在“ModelArts Pro>自然语言处理套件”控制台,选择“我的工作流>多语种文本分类工作流”新建应用,详细操作请见新建应用。您可以开发多语种的文本分类应用,通过训练其他语种的文本分类预测模型,实现文本分类功能。
自然语言处理套件 计费项 自然语言处理套件具体收费项请参见表1,具体计费价格请参见ModelArts价格详情。 表1 自然语言处理计费项说明 计费项 说明 训练文本分类模型、训练实体抽取模型 工作流中训练模型时,会使用到ModelArts计算资源。
自然语言处理套件 计费项 自然语言处理套件具体收费项请参见表1,具体计费价格请参见ModelArts价格详情。 表1 自然语言处理计费项说明 计费项 说明 训练文本分类模型、训练实体抽取模型 工作流中训练模型时,会使用到ModelArts计算资源。
例如单击自然语言处理套件卡片的“进入套件”,即可进入自然语言处理套件的控制台。 图1 进入套件 父主题: 如何使用ModelArts Pro
SDK调用 本章节以Python SDK为例介绍如何进行使用,其他语言SDK使用方法相同。 获取SDK。 在自定义OCR的“部署”页面,选择“SDK调用”获取SDK。 图2 获取SDK 导入SDK至PyCharm(请在PyCharm中提前配置python环境)。
当前ModelArts Pro开放了文字识别套件、自然语言处理套件、视觉套件、HiLens套件,详细介绍请见产品介绍。用户基于自身行业、场景的需求,快速自定制需求,选择合适的套件以及工作流,然后根据工作流指引进行应用开发。
自然语言处理套件 通用文本分类场景。 智能问答 通过中文分词、短文本相似度、命名实体识别等自然语言处理相关技术,计算两个问题对的相似度,可解决问答、对话、语料挖掘、知识库构建等问题。 内容推荐 通过文本分类预测模型,精确匹配出语义相似的内容,快速构建内容推荐场景。
特点:构建专有的自然语言处理分类模型,将大量的政务询问分发到对应的部门,显著提高工作效率。 优势:针对场景领域提供预训练模型,效果远好于通用自然语言处理模型。可根据使用过程中的反馈持续优化模型 。