检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
待新建的数据集名称。 描述 数据集简要描述。 数据集状态 按上传的数据是否标注分为“已标注数据集”和“未标注数据集”。数据格式请见数据集要求。 数据上传方式 训练数据上传的方式,当前仅支持把数据上传至OBS,默认为“选择obs文件”。 数据集输入位置 训练数据存储至OBS的位置。
如何上传数据至OBS? 使用ModelArts Pro进行应用开发时,您需要将数据上传至对象存储服务(OBS)桶中。您可以登录OBS管理控制台创建OBS桶,并在您创建的OBS桶中创建文件夹,然后再进行数据的上传,OBS上传数据的详细操作请参见《对象存储服务快速入门》。 您在创建O
“数据集输出位置”不能与“数据集输入位置”为同一路径,且不能是“数据集输入位置”的子目录。“数据集输出位置”建议选择一个空目录。 新建训练数据集后,勾选当前应用开发所需的训练数据集。 由于模型训练过程需要有标签的数据,针对已上传的数据集,手动添加或修改标签。 单击数据集操作列的“标注”,进入数据集概览
入的数据集,包括“数据集名称”和“标注进度”。 单击数据集左侧的,可查看数据集的“创建时间”和“标签集”。 图4 导入数据集 勾选数据集,然后单击“确定”。 数据集导入后,“数据选择”页面右上角会显示“数据集导入成功”。 导入勾选数据集后,在数据选择页面勾选当前应用开发所需的训练数据集。
数据,单个样本不能有分行显示,不支持换行。 基于已设计好的实体标签准备文本数据。每个实体标签需要准备20个及以上数据,为了训练出效果较好的模型,建议每个实体标签准备100个以上的数据。 本工作流只支持上传未标注数据,将待标注的内容放在一个文本文件内。 上传数据至OBS 使用ModelArts
为保证模型的泛化能力,数据集尽量覆盖可能出现的各种场景。 每一类数据尽量多,尽量均衡。每个分类标签需要准备20个数据以上,为了训练出效果较好的模型,建议每个分类标签准备200个以上的数据。 针对未标注数据,要求将图片放在一个目录里,示例如下所示。 ├─dataset-import-example
数据集要求 文件名规范,不能有中文,不能有+、空格、制表符。 保证图片质量:不能有损坏的图片;目前支持的格式包括JPG、JPEG、PNG、BMP。 不要把明显不同的多个任务数据放在同一个数据集内。 为了保证模型的预测准确度,训练样本跟真实使用场景尽量相似。 为保证模型的泛化能力,数据集尽量覆盖可能出现的各种场景。
管理数据集版本 数据标注完成后,您可以发布成多个版本对数据集进行管理。针对已发布生产的数据集版本,您可以通过查看数据集演进过程、设置当前版本、删除版本等操作,对数据集进行管理。数据集版本的相关说明,请参见关于数据集版本。 发布为新版本的说明,请参见发布数据集。 进入数据集版本管理页面
在使用通用图像分类工作流开发应用时,您需要新建或导入训练数据集,后续训练模型操作是基于您选择的训练数据集。 由于模型训练过程需要有标签的数据,如果您上传未标注数据,需要手动标注数据。 选择数据 训练模型 选择训练数据后,无需用户配置任何参数即可开始训练图像分类模型,并查看训练的模型准确率和误差的变化。 训练模型 评估模型
由于模型训练过程需要大量有标签的数据,如果开发应用时,上传的训练数据集是未标注的,需要对数据集中的数据进行标注。 标注数据 训练模型 选择训练数据后,基于已标注的训练数据,选择预训练模型、配置参数,用于训练文本分类模型。 训练模型 评估模型 训练得到模型之后,整个开发过程还不算结束,需要对模型进行评估和考察。
上传数据集失败如何处理? 问题原因 上传数据集失败,一般是因为数据集格式不对导致的。不同行业套件的工作流,对数据集要求也不同。 首先请检查数据集是否符合要求,各个套件的数据集要求如下: 文字识别套件 自然语言处理套件 视觉套件 HiLens套件 确认数据集符合要求后,将数据集上传至OBS桶。
在商品识别场景下,如果上传的数据含有未标注数据,您需要创建SKU,即商品各类单品的图片,方便后续针对数据集中的数据进行自动标注。 前提条件 新建训练数据需要获取访问OBS权限,在未进行委托授权之前,无法使用此功能。您需要提前获得OBS授权,详情请见配置访问授权。 需要提前准备好SKU数据,即商品各
数据集名称 待新建的数据集名称。支持输入中英文、数字、下划线及中划线。 本样例填写“test”。 描述 数据集简要描述。 - 数据集状态 上传的训练数据可以是已标注的数据,也可以是未标注的数据。 您可以根据自身业务选择“数据集状态”是“已标注数据集”还是“未标注数据集”。 数据集模板可在选
训练得到模型之后,整个开发过程还不算结束,需要对模型进行评估和考察。一次性很难获得一个满意的模型,需要反复的调整算法、数据,不断评估训练生成的模型。 一些常用的指标,如精准率、召回率、F1值等,能帮助您有效的评估,最终获得一个满意的模型。 前提条件 已在视觉套件控制台选择“零售商品
如果有的类别数据量很高,有的类别数据量较低,会影响模型整体的识别效果。 如果分割效果不好,建议检测图片标注,标注质量的好坏直接影响模型训练图像分割效果的好坏。 根据数据量选择适当的学习率和训练轮次。 通过详细评估中的错误识别示例,有针对性地扩充训练数据。 后续操作 更新版本后,您
开发新版本 在新版本的应用开发页面,您可以基于上一版本的工作流配置,更新工作流开发的各个步骤,重新部署服务。 模型如何提升效果 检查是否存在训练数据过少的情况,建议每个标签的样本数不少于100个,如果低于这个量级建议扩充。 检查不同标签的样本数是否均衡,建议不同标签的样本数量级相同,
训练得到模型之后,整个开发过程还不算结束,需要对模型进行评估和考察。一次性很难获得一个满意的模型,需要反复的调整算法、数据,不断评估训练生成的模型。 一些常用的指标,如精准率、召回率、F1值等,能帮助您有效的评估,最终获得一个满意的模型。 前提条件 已在视觉套件控制台选择“热轧钢板
训练分类器 确定模板图片的参照字段和识别区后,多模板分类工作流在模板数量较多,或版式相似度较高的情况下,建议针对不同的模板上传对应的训练集数据,用于训练模板分类模型,使服务能够精准地分类多个模板图片,然后对多个模板图片进行文字识别和结构化提取。 前提条件 已在文字识别套件控制台选
训练模型 选择训练数据后,基于已标注的训练数据,选择预训练模型、配置参数,用于训练安全帽检测模型。 前提条件 已创建用于存储数据的OBS桶及文件夹,且数据存储的OBS桶与ModelArts Pro在同一区域,详情请见创建OBS桶。 已在ModelArts Pro控制台选择“HiL
于模型训练的数据,上传至OBS中。 准备数据 选择数据 在使用刹车盘识别工作流开发应用时,您需要新建或导入训练数据集,后续训练模型操作是基于您选择的训练数据集。 由于模型训练过程需要有标签的数据,如果您上传未标注数据,需要手动标注数据。 选择数据 训练模型 选择训练数据后,无需用