检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
上传数据集失败如何处理? 问题原因 上传数据集失败,一般是因为数据集格式不对导致的。不同行业套件的工作流,对数据集要求也不同。 首先请检查数据集是否符合要求,各个套件的数据集要求如下: 文字识别套件 自然语言处理套件 视觉套件 HiLens套件 确认数据集符合要求后,将数据集上传至OBS桶。
进入“应用开发>定义预处理”页面。 步骤4:定义预处理 在“应用开发>定义预处理”页面,单击“选择预处理逻辑”的自动旋转,快速处理当前模板的方向。 也可以按左上角操作指标手动调整图片。详情请见定义预处理。 图8 定义预处理 在页面上方通过调整成第二个模板,对第二个模板进行预处理。 图9 定义预处理
型和文字识别模型,实现多模板图像的文字信息结构化提取。 图1 创建多模板流程 表1 创建多模板流程说明 流程 说明 详细指导 上传模板图片 在使用多模板工作流开发应用之前,需要上传模板图片,明确以哪些图片作为模板训练文字识别模型。 上传模板图片 定义预处理 上传模板图片后,需要对
别结果。 自定义正则提取 预过滤 对初始的待识别文字进行预处理。 左边输入框填写待识别文字中被替换字符的正则表达式。 右边输入框填写所替换的新字符。 不填写时,默认不做预处理。 如果需要多次预处理,可单击,填写新增的预处理规则。 例如: “字段类型名称”:“出生日期” “字段属性”:“自定义正则提取”
的语种包括英语、法语、德语、西班牙语、葡萄牙语、阿拉伯语,支持单标签分类和多标签分类。 适用场景 智能问答、舆情分析、内容推荐等场景。 优势 针对场景领域提供预训练模型,分类准确率高。 提供完善的文本处理能力,支持多种数据格式内容,适配不同场景的业务数据。 可根据使用过程中的反馈持续优化模型。
体抽取场景。 优势 针对多场景领域提供预训练模型,支持抽取文本中的实体,分类准确率高。 提供完善的文本处理能力,支持多种数据格式内容,适配不同场景的业务数据。 可根据使用过程中的反馈持续优化模型。 工作流流程 在“ModelArts Pro>自然语言处理套件”控制台选择“我的工作
商店和超市场景下,实现VIP识别、客流量统计等功能。 用户群体 ModelArts Pro用户群体主要是各大政企,一般具有如下特点。 了解行业解决方案,懂得行业知识。 缺乏或略懂AI知识,熟悉问题场景。 希望解决特定场景问题,但不希望复杂开发。
调用指南。 前提条件 已开发并部署服务。 进入应用监控页面 登录ModelArts Pro管理控制台,单击“自然语言处理”套件卡片的“进入套件”。 进入自然语言处理套件控制台。 在左侧导航栏选择“应用开发>工作台”。 默认进入“我的应用”页签。 在“我的应用”页签下,选择已创建的应用,单击操作列的“查看”。
部署服务 调用时,如果出现ModelArts.4204报错,请参见ModelArts.4204服务未开通报错进行处理。 SDK调用 本章节以Python SDK为例介绍如何进行使用,其他语言SDK使用方法相同。 获取SDK。 在自定义OCR的“部署”页面,选择“SDK调用”获取SDK。
通用实体抽取工作流 工作流介绍 准备数据 选择数据 训练模型 评估模型 部署服务 父主题: 自然语言处理套件
操作是基于您选择的训练数据集。 训练数据集可以选择创建一个新的数据集,也可以选择导入在自然语言处理套件其他应用中已创建的文本数据集。 新建数据集 导入数据集 前提条件 已在自然语言处理套件控制台选择“通用文本分类工作流”新建应用,详情请见新建应用。 已准备数据并上传至OBS,详情请见准备数据。
自然语言处理套件 行业套件介绍 新建应用 通用文本分类工作流 多语种文本分类工作流 通用实体抽取工作流 更新应用版本 查看应用详情 监控应用 删除应用
可以设计为“positive”和“negative”两类标签,也可以设计为“positive”、“neutral”、“negative”等多类标签。 数据集要求 文件格式要求为txt或者csv,且编码格式为“UTF-8”格式,文件大小不能超过8MB。 txt文件编码保存为“UTF-8”格式:
应用资产、应用监控。 前提条件 已在自然语言处理套件控制台选择“通用文本分类工作流”新建应用,详情请见新建应用。 进入应用详情页 登录ModelArts Pro管理控制台,单击“自然语言处理”套件卡片的“进入套件”。 进入自然语言处理套件控制台。 在左侧导航栏选择“应用开发>工作台”。
由于模型训练过程需要大量有标签的数据,如果开发应用时,上传的训练数据集是未标注的,需要对数据集中的数据进行标注。 针对文本分类场景,是对文本的内容按照标签进行分类处理,标签名是由中文、大小写字母、数字、中划线或下划线组成,且不超过32位的字符串。 进入数据标注页面 在“数据选择”页面,新建数据集后,单击
如何使用ModelArts Pro 使用流程 注册华为帐号并开通华为云 申请行业套件 配置访问授权
训练模型 选择训练数据后,基于已标注的训练数据,选择预训练模型、配置参数,用于训练实体抽取模型。 前提条件 已在自然语言处理套件控制台选择“通用实体抽取工作流”新建应用,并选择训练数据集,详情请见选择数据。 训练模型 图1 模型训练 在“模型训练”页面配置训练参数,开始训练模型。
据或难例筛选操作。 表格数据集暂不支持切换版本。 发布数据集 在ModelArts Pro控制台界面,单击“自然语言处理”套件卡片的“进入套件”。 进入自然语言处理套件控制台。 在左侧导航栏选择“应用开发>工作台”。 默认进入“我的应用”页签。 在“我的应用”页签下,选择已创建的应用,单击操作列的“查看”。
训练模型 选择训练数据后,基于已标注的训练数据,选择预训练模型、配置参数,用于训练文本分类模型。 前提条件 已在自然语言处理套件控制台选择“多语种文本分类工作流”新建应用,并选择训练数据集,详情请见选择数据。 训练模型 图1 模型训练 在“模型训练”页面,勾选模型训练所使用的“预
不断评估训练生成的模型。 一些常用的指标,如精准率、召回率、F1值等,能帮助您有效的评估,最终获得一个满意的模型。 前提条件 已在自然语言处理套件控制台选择“多语种文本分类工作流”新建应用,并训练模型,详情请见训练模型。 整体评估 在“模型评估”页面,您可以针对当前版本的模型进行整体评估。