检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
准备数据 在使用通用实体抽取工作流开发应用之前,您需要提前准备用于模型训练的数据,上传至OBS服务中。 设计实体标签 首先需要确定好文本实体的标签,即希望抽取出文本的一种结果。例如“时间”、“地点”、“人物”等。 数据集要求 文件格式要求为txt或者csv,且编码格式为“UTF-8”格式,文件大小不能超过8MB。
选择数据 在使用通用实体抽取工作流开发应用时,您需要选择训练数据集,后续训练模型操作是基于您选择的训练数据集。 训练数据集可以选择创建一个新的数据集,也可以选择导入在自然语言处理套件其他应用中已创建的文本数据集。 新建数据集 导入数据集 前提条件 已在自然语言处理套件控制台选择“
选择数据 在使用通用文本分类工作流开发应用时,您需要选择训练数据集,后续训练模型操作是基于您选择的训练数据集。 训练数据集可以选择创建一个新的数据集,也可以选择导入在自然语言处理套件其他应用中已创建的文本数据集。 新建数据集 导入数据集 前提条件 已在自然语言处理套件控制台选择“
标注数据 由于模型训练过程需要大量有标签的数据,如果开发应用时,上传的训练数据集是未标注的,需要对数据集中的数据进行标注。 针对文本分类场景,是对文本的内容按照标签进行分类处理,标签名是由中文、大小写字母、数字、中划线或下划线组成,且不超过32位的字符串。 进入数据标注页面 在“
准备数据 在使用通用文本分类工作流开发应用之前,您需要提前准备用于模型训练的数据,上传至OBS服务中。 设计分类标签 首先需要确定好文本分类的标签,即希望识别出文本的一种结果。例如分类用户对商品的评论,则可以以“positive”、“neutral”、“negative”等作为用
准备数据 在使用多语种文本分类工作流开发应用之前,您需要提前准备用于模型训练的数据,上传至OBS服务中。 设计分类标签 首先需要确定好文本分类的标签,即希望识别出文本的一种结果。例如分类用户对商品的评论,则可以以“positive”、“neutral”、“negative”等作为
发布数据集 ModelArts Pro在数据集管理过程中,针对同一个数据源,对不同时间标注后的数据,按版本进行区分,方便后续模型构建和开发过程中,选择对应的数据集版本进行使用。数据标注完成后,您可以将数据集当前状态进行发布,生成一个新的数据集版本。 关于数据集版本 针对刚创建的数
选择数据 在使用多语种文本分类工作流开发应用时,您需要选择训练数据集,后续训练模型操作是基于您选择的训练数据集。 训练数据集可以选择创建一个新的数据集,也可以选择导入在自然语言处理套件其他应用中已创建的文本数据集。 新建数据集 导入数据集 前提条件 已在自然语言处理套件控制台选择
管理数据集版本 数据标注完成后,您可以发布成多个版本对数据集进行管理。针对已发布生产的数据集版本,您可以通过查看数据集演进过程、设置当前版本、删除版本等操作,对数据集进行管理。数据集版本的相关说明,请参见关于数据集版本。 发布为新版本的说明,请参见发布数据集。 进入数据集版本管理页面
删除应用 如果已创建的应用不再使用,您可以删除应用释放资源。 操作步骤 登录ModelArts Pro管理控制台,单击“自然语言处理”套件卡片的“进入套件”。 进入自然语言处理套件控制台。 在左侧导航栏选择“应用开发>工作台”。 默认进入“我的应用”页签。 在“我的应用”页签下,
自然语言处理套件 自然语言处理套件为客户提供自然语言处理的自定制工具,旨在帮助客户高效地构建行业、领域的高精度文本处理模型,可应用于政府、金融、法律等行业。 自然语言处理套件提供了预置工作流,覆盖多种场景,支持自主上传训练数据,自主构建和升级高精度识别模型。用户自定义模型精度高,识别速度快。
行业套件介绍 自然语言处理套件为客户提供自然语言处理的自定制工具,旨在帮助客户高效地构建行业、领域的高精度文本处理模型,可应用于政府、金融、法律等行业。 预置工作流 自然语言处理套件当前提供了通用文本分类工作流、多语种文本分类工作流和通用实体抽取工作流,提供高精度文本分类预测模型
部署服务 模型准备完成后,您可以部署服务,开发属于自己的实体抽取应用,用于从文本中抽取实体,也可直接调用对应的API。 前提条件 已在自然语言处理套件控制台选择“通用实体抽取工作流”新建应用,并评估模型,详情请见评估模型。 由于部署服务涉及ModelArts功能,需消耗资源,要确保账户未欠费。
部署服务 模型准备完成后,您可以部署服务,开发属于自己的语种文本分类应用,此应用用于分类自己所上传的文字内容,也可直接调用对应的API。 前提条件 已在自然语言处理套件控制台选择“多语种文本分类工作流”新建应用,并评估模型,详情请见评估模型。 由于部署服务涉及ModelArts功能,需消耗资源,要确保账户未欠费。
部署服务 模型准备完成后,您可以部署服务,开发属于自己的文本分类应用,此应用用于分类自己所上传的文字内容,也可直接调用对应的API。 前提条件 已在自然语言处理套件控制台选择“通用文本分类工作流”新建应用,并评估模型,详情请见评估模型。 由于部署服务涉及ModelArts功能,需消耗资源,要确保账户未欠费。
训练模型 选择训练数据后,基于已标注的训练数据,选择预训练模型、配置参数,用于训练实体抽取模型。 前提条件 已在自然语言处理套件控制台选择“通用实体抽取工作流”新建应用,并选择训练数据集,详情请见选择数据。 训练模型 图1 模型训练 在“模型训练”页面配置训练参数,开始训练模型。
上传数据集失败如何处理? 问题原因 上传数据集失败,一般是因为数据集格式不对导致的。不同行业套件的工作流,对数据集要求也不同。 首先请检查数据集是否符合要求,各个套件的数据集要求如下: 文字识别套件 自然语言处理套件 视觉套件 HiLens套件 确认数据集符合要求后,将数据集上传至OBS桶。
训练模型 选择训练数据后,基于已标注的训练数据,选择预训练模型、配置参数,用于训练文本分类模型。 前提条件 已在自然语言处理套件控制台选择“通用文本分类工作流”新建应用,并选择训练数据集,详情请见选择数据。 训练模型 图1 模型训练 在“模型训练”页面,勾选模型训练所使用的“预训
训练模型 选择训练数据后,基于已标注的训练数据,选择预训练模型、配置参数,用于训练文本分类模型。 前提条件 已在自然语言处理套件控制台选择“多语种文本分类工作流”新建应用,并选择训练数据集,详情请见选择数据。 训练模型 图1 模型训练 在“模型训练”页面,勾选模型训练所使用的“预
更新应用版本 一个模型很难一次性就训练到最佳的效果,可能需要结合模型评估报告和校验结果不断扩充数据和调优。 因此ModelArts Pro提供版本更新的功能,首次版本为v1,然后v2、v3......以此类推。可以通过调整训练数据和算法,多次训练,获得更好的模型效果。 每修改一次