检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据集”页面,根据数据存储位置和数据标注情况,按表1填写数据集基本信息,然后单击“确定”。 图3 新建数据集 表1 新建数据集参数说明 参数 说明 数据集名称 待新建的数据集名称。 描述 数据集简要描述。 数据集状态 通用实体抽取工作流只支持上传“未标注数据集”。 数据集输入位置
“导入数据集”对话框会显示您在零售商品识别工作流创建的其他应用中已使用的数据集信息,包括“数据集名称”和“标注进度”。 图4 导入数据集 勾选数据集,然后单击“确定”。 数据集导入后,“数据选择”页面右上角会显示“数据集导入成功”。 导入勾选数据集后,在数据选择页面勾选当前应用开发所需的训练数据集。 由于模型训练过程需要有标签的数据,针对已上传的数据集:
<y6>150<y6> 上传数据至OBS 使用ModelArts Pro进行应用开发时,您需要将数据上传至OBS桶中。 首先需要获取访问OBS权限,在未进行委托授权之前,无法使用此功能。您需要提前获得OBS授权,详情请见配置访问权限。 已创建用于存储数据的OBS桶及文件夹,且数据存储的OBS桶与ModelArts
数据集名称”和“标注进度”。 单击数据集左侧的,可查看数据集的“创建时间”和“标签集”。 图4 导入数据集 勾选数据集,然后单击“确定”。 数据集导入后,“数据选择”页面右上角会显示“数据集导入成功”。 导入勾选数据集后,在数据选择页面勾选当前应用开发所需的训练数据集。 由于模型
准备数据 在使用第二相面积含量测定工作流开发应用之前,您需要提前准备用于模型训练的数据,上传至OBS服务中。 数据标签 标注基于ModelArts的图像分割标注基础能力,由于第二相边界多为不规则形状,目前采用多边形标注第二相,标签为“second_phase”。 数据集要求 文件
标注数据 针对已经选择的数据,在应用开发的“数据标注”页面,ModelArts Pro会自动标注数据,自动标注完成后,可对每个数据的标注结果进行核对和确认。 前提条件 已在视觉套件控制台选择“第二相面积含量测定工作流”新建应用,详情请见标注数据。 自动标注数据 在“数据标注”页面
包括“数据集名称”和“标注进度”。 图4 导入数据集 勾选数据集,然后单击“确定”。 数据集导入后,“数据选择”页面右上角会显示“数据集导入成功”。 导入勾选数据集后,在数据选择页面勾选当前应用开发所需的训练数据集。 由于模型训练过程需要有标签的数据,针对已上传的数据集,手动添加或修改标签。
</annotation> 上传数据至OBS 使用ModelArts Pro进行应用开发时,您需要将数据上传至OBS桶中。 首先需要获取访问OBS权限,在未进行委托授权之前,无法使用此功能。您需要提前获得OBS授权,详情请见配置访问权限。 已创建用于存储数据的OBS桶及文件夹,且数据存储的OBS桶与ModelArts
建议根据业务情况及使用习惯,选择OBS使用方法。 如果您的数据量较小(小于100MB)或数据文件少(少于100个),建议您使用控制台上传数据。控制台上传无需工具下载或多余配置,在少量数据上传时,更加便捷高效。 如果您的数据量较大或数据文件较多,建议选择OBS Browser+或obsutil工具上传。OBS
在左侧导航栏选择“应用开发>工作台”。 默认进入“我的应用”页签。 在“我的应用”页签下,选择已创建的应用,单击操作列的“查看”。 进入应用详情页,默认进入“应用开发”页签。 您可以在“应用详情”页,任意切换页签,查看应用开发配置、应用历史版本、应用资产(数据集)、应用监控。 图1 应用详情
况,按表1填写数据集基本信息,然后单击“确定”。 图1 新建数据集 表1 新建数据集参数说明 参数 说明 数据集名称 待新建的数据集名称。 描述 数据集简要描述。 数据集状态 上传的训练数据可以是已标注的数据,也可以是未标注的数据。 您可以根据自身业务选择“数据集状态”是“已标注数据集”还是“未标注数据集”。
标注数据 由于模型训练过程需要大量有标签的数据,如果开发应用时,上传的训练数据集是未标注的,需要对数据集中的数据进行标注。 针对文本分类场景,是对文本的内容按照标签进行分类处理,标签名是由中文、大小写字母、数字、中划线或下划线组成,且不超过32位的字符串。 进入数据标注页面 在“
“编码”选择“UTF-8”格式。 以换行符作为分隔符,每行数据代表一个样本数据,单个样本不能有分行显示,不支持换行。 基于已设计好的分类标签准备文本数据。每个分类标签需要准备5个及以上数据,为了训练出效果较好的模型,建议每个分类标签准备100个以上的数据。 针对未标注数据,将待标注的内容放在一个文本文件内
针对场景领域提供预训练模型,分类准确率高。 提供完善的文本处理能力,支持多种数据格式内容,适配不同场景的业务数据。 可根据使用过程中的反馈持续优化模型。 通用实体抽取工作流 功能介绍 支持自主上传文本数据,构建高精度实体抽取模型,适配不同行业场景的业务数据,快速获得定制服务。 适用场景 知识图谱、文本理解、智能问答、舆情分析等实体抽取场景。
备工作。 步骤1:准备数据 在开发应用之前,您需要设计好商品标签,并自行准备数据集并上传至OBS桶及文件夹中。 由于数据安全原因,本样例不提供具体的样例数据,仅提供适用本次样例的数据要求。本次样例需要准备两份数据,一份训练数据集用于训练模型,一份SKU数据用于创建SKU,即商品各
新建数据集”页面,根据数据存储位置和数据标注情况,按表1填写数据集基本信息,然后单击“确定”。 图3 新建数据集 表1 新建数据集参数说明 参数 说明 数据集名称 待新建的数据集名称。 描述 数据集简要描述。 数据集状态 上传的训练数据可以是已标注的数据,也可以是未标注的数据。
“编码”选择“UTF-8”格式。 以换行符作为分隔符,每行数据代表一个样本数据,单个样本不能有分行显示,不支持换行。 文本数据至少包含2个及以上的标签。每个分类标签需要准备5个及以上数据,为了训练出效果较好的模型,建议每个分类标签准备100个以上的数据。 多语种文本分类工作流仅支持对单语种的文本
进入自然语言处理套件控制台。 在左侧导航栏选择“应用开发>工作台”。 默认进入“我的应用”页签。 图1 工作台 在“我的应用”页签下,单击“新建应用”。 进入“新建应用”页面。 图2 新建应用 您也可以单击“我的工作流”,切换至“我的工作流”页签,选择工作流并单击卡片中的“新建应用”。 根据业务需求填写“
自动标注数据 针对已经选择的数据和SKU,在应用开发的“数据标注”页面,ModelArts Pro会自动标注数据,自动标注完成后,可对每个数据的标注结果进行核对和确认。 前提条件 已在视觉套件控制台选择“零售商品识别工作流”新建应用,并已执行到“SKU创建”步骤,详情请见创建SKU。
未标注的数据。 您可以根据自身业务选择“数据集状态”是“已标注数据集”还是“未标注数据集”。 数据集模板可在选择“数据集状态”后,单击下方的“文本分类已标注数据模板”或“文本分类未标注数据模板”,下载数据集模板至本地查看。 本样例使用已标注的数据集,所以选择“已标注数据集”。 如