检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
支持换行。 基于已设计好的分类标签准备文本数据。每个分类标签需要准备5个及以上数据,为了训练出效果较好的模型,建议每个分类标签准备100个以上的数据。 针对未标注数据,将待标注的内容放在一个文本文件内,通用文本分类工作流仅支持中文文本内容的分类,其他语种的文本分类请使用多语种文本分类工作流。
划线下划线外的特殊符号。 保证图片质量:不能有损坏的图片;目前支持的格式包括JPG、JPEG、PNG、BMP。 不要把明显不同的多个任务数据放在同一个数据集内。 为了保证模型的预测准确度,训练样本跟真实使用场景尽量相似。 为保证模型的泛化能力,数据集尽量覆盖可能出现的各种场景。
符。 保证图片质量,不能有损坏的图片。目前支持的格式包括JPG、JPEG、PNG、BMP。 不要把明显不同的多个任务数据放在同一个数据集内。 为了保证模型的预测准确度,训练样本跟真实使用场景尽量相似。 为保证模型的泛化能力,数据集尽量覆盖可能出现的各种场景。 每一类数据尽量多,尽
文本数据至少包含2个及以上的标签。每个分类标签需要准备5个及以上数据,为了训练出效果较好的模型,建议每个分类标签准备100个以上的数据。 多语种文本分类工作流仅支持对单语种的文本分类,当前支持文本分类的语种包括英语、法语、德语、西班牙语、葡萄牙语、阿拉伯语等。暂不支持对同一文本中含多语种的文本进行分类训练。
图片中的多个商品。 数据集要求 文件名规范,不能有中文,不能有+、空格、制表符。 保证图片质量:不能有损坏的图片;目前支持的格式包括JPG、JPEG、PNG、BMP。 为了保证模型的预测准确度,训练样本跟真实使用场景尽量相似。 为保证模型的泛化能力,数据集尽量覆盖所有标签的图片。
文件名规范,不能有中文,不能有+、空格、制表符。 保证图片质量:不能有损坏的图片;目前支持的格式包括JPG、JPEG、PNG、BMP。 为了保证模型的预测准确度,训练样本跟真实使用场景尽量相似。 为保证模型的泛化能力,数据集尽量覆盖所有标签的图片。 基于已设计好的热轧钢板表面缺陷标签准备图片数据。每个分类标签
注册华为帐号并开通华为云 在使用华为云服务之前您需要注册华为帐号并开通华为云。通过此帐号,只需为使用的服务付费,即可使用所有华为云服务。 进入华为云官网,参考帐号注册指导及界面提示信息,完成帐号注册。 注册成功后即可自动登录华为云,您需要完成“实名认证”才可以正常使用服务。具体认证方式请参考帐号实名认证。
保证图片质量:不能有损坏的图片;目前支持的格式包括JPG、JPEG、PNG、BMP。 为了保证模型的预测准确度,训练样本跟真实使用场景尽量相似。 为保证模型的泛化能力,数据集尽量覆盖所有材质类型的待定级图片。 为保证训练效果,需要准备至少20张待训练的图片数据,低于20张工作流
Browser+是一个比较常用的图形化工具,支持完善的桶管理和对象管理操作。推荐使用此工具创建桶或上传对象。obsutil是一款用于访问管理OBS的命令行工具,对于熟悉命令行程序的用户,obsutil是执行批量处理、自动化任务较好的选择。 如果您的业务环境需要通过API或SDK执
行业场景的业务数据,快速获得定制服务。 适用场景 知识图谱、文本理解、智能问答、舆情分析等实体抽取场景。 优势 针对多场景领域提供预训练模型,支持抽取文本中的实体,分类准确率高。 提供完善的文本处理能力,支持多种数据格式内容,适配不同场景的业务数据。 可根据使用过程中的反馈持续优化模型。
模型训练的数据,上传至OBS中。 准备数据 选择数据 在使用通用文本分类工作流开发应用时,您需要新建或导入训练数据集,后续训练模型操作是基于您选择的训练数据集。 选择数据 标注数据(可选) 由于模型训练过程需要大量有标签的数据,如果开发应用时,上传的训练数据集是未标注的,需要对数据集中的数据进行标注。
如何访问ModelArts Pro 云服务平台提供了提供了管理控制台的管理方式。 ModelArts Pro提供了简洁易用的管理控制台,包括自然语言处理、视觉AI、文字识别、语音识别等应用开发功能,您可以在管理控制台端到端完成您的AI应用开发。 使用ModelArts Pro管理控制台,需
SK)两部分,华为云通过AK识别用户的身份,通过SK对请求数据进行签名验证,用于确保请求的机密性、完整性和请求者身份的正确性。 登录访问密钥页面,依据界面操作指引,获取AK、SK。下载得到的访问密钥为credentials.csv文件,文件中的B列和C列分别是AK、SK信息。 图4
Pro控制台界面,单击“自然语言处理”套件卡片的“进入套件”。 进入自然语言处理套件控制台。 在左侧导航栏选择“应用开发>工作台”。 默认进入“我的应用”页签。 图1 工作台 在“我的应用”页签下,单击“新建应用”。 进入“新建应用”页面。 图2 新建应用 您也可以单击“我的工作流”,切换至“我的工作流”页签,选择工作流并单击卡片中的“新建应用”。
Pro 提供的原子组件(Atom)灵活编排新的行业工作流。基于AI 市场,用户还可以相互分享不同行业场景的行业AI 工作流。ModelArts Pro 以“授人以渔”的方式助力企业构建AI 能力,赋能不同行业的AI 应用开发者,让AI 变得触手可及。 与ModelArts的关系 ModelArts
自然语言处理套件提供了通用文本分类工作流,您可以通过预置的工作流,自主上传训练数据,训练高精度的文本预测分类模型,适配不同行业场景的业务数据,快速获得定制服务。 图1 使用预置工作流开发应用 表1 使用预置工作流开发应用流程 流程 说明 详细指导 选择自然语言处理套件 根据您的实际使用需求选择自然语言处理套
Pro控制台界面,单击“文字识别”套件卡片的“进入套件”。 进入文字识别套件控制台。 图1 进入套件 在左侧导航栏选择“应用开发>工作台”。 默认进入“我的应用”页签。 图2 工作台 在“我的应用”页签下,单击“新建应用”。 进入“新建应用”页面。 图3 新建应用 您也可以单击“我的工作流”,切换至“我的工作流”
Pro控制台界面,单击“视觉套件”卡片的“进入套件”。 进入视觉套件控制台。 在左侧导航栏选择“应用开发>工作台”。 默认进入“我的应用”页签。 图1 工作台 在“我的应用”页签下,单击“新建应用”。 进入“新建应用”页面。 图2 新建应用 您也可以单击“我的工作流”,切换至“我的工作流”页签,选择工作流并单击卡片中的“新建应用”。
检查是否存在训练数据过少的情况,建议每个标签的样本数不少于100个,如果低于这个量级建议扩充。 检查不同标签的样本数是否均衡,建议不同标签的样本数量级相同,并尽量接近,如果有的类别数据量很高,有的类别数据量较低,会影响模型整体的识别效果。 选择适当的学习率和训练轮次。 通过详细评估中的错误识别示例,有针对性地扩充训练数据。
创建名称为“training-data-in”的文件夹用于存放训练数据集。 创建名称为“training-data-out”的文件夹用于存放输出的数据集。 创建OBS桶和文件夹的操作指导请参见创建桶和新建文件夹。为保证数据能正常访问,请务必保证创建的OBS桶与ModelArts Pro服务在同一区域。