检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
为保证模型的泛化能力,数据集尽量覆盖可能出现的各种场景。 每一类数据尽量多,尽量均衡。每个分类标签需要准备20个数据以上,为了训练出效果较好的模型,建议每个分类标签准备200个以上的数据。 针对未标注数据,要求将图片放在一个目录里,示例如下所示。 ├─dataset-import-example
不要把明显不同的多个任务数据放在同一个数据集内。 为了保证模型的预测准确度,训练样本跟真实使用场景尽量相似。 为保证模型的泛化能力,数据集尽量覆盖可能出现的各种场景。 数据集样本数应大于100,用于测试的已标注数据应不少于20张,样本数达1万张以上性能更优。 为了准确率,建议数据集中标注数据占总数
“编码”选择“UTF-8”格式。 以换行符作为分隔符,每行数据代表一个样本数据,单个样本不能有分行显示,不支持换行。 文本数据至少包含2个及以上的标签。每个分类标签需要准备5个及以上数据,为了训练出效果较好的模型,建议每个分类标签准备100个以上的数据。 多语种文本分类工作流仅支持对单语种的文本
如果您的数据量较小(小于100MB)或数据文件较少(少于100个),建议您使用控制台上传数据。控制台上传无需工具下载或多余配置,在少量数据上传时,更加便捷高效。 如果您的数据量较大或数据文件较多,建议选择OBS Browser+或obsutil工具上传。OBS Browser+是一个比较常用的图形化工
如果您的数据量较小(小于100MB)或数据文件较少(少于100个),建议您使用控制台上传数据。控制台上传无需工具下载或多余配置,在少量数据上传时,更加便捷高效。 如果您的数据量较大或数据文件较多,建议选择OBS Browser+或obsutil工具上传。OBS Browser+是一个比较常用的图形化工
如果您的数据量较小(小于100MB)或数据文件较少(少于100个),建议您使用控制台上传数据。控制台上传无需工具下载或多余配置,在少量数据上传时,更加便捷高效。 如果您的数据量较大或数据文件较多,建议选择OBS Browser+或obsutil工具上传。OBS Browser+是一个比较常用的图形化工
标注数据 针对已经选择的数据,在应用开发的“数据标注”页面,ModelArts Pro会自动标注数据,自动标注完成后,可对每个数据的标注结果进行核对和确认。 前提条件 已在视觉套件控制台选择“第二相面积含量测定工作流”新建应用,详情请见标注数据。 自动标注数据 在“数据标注”页面
管理数据集版本 数据标注完成后,您可以发布成多个版本对数据集进行管理。针对已发布生产的数据集版本,您可以通过查看数据集演进过程、设置当前版本、删除版本等操作,对数据集进行管理。数据集版本的相关说明,请参见关于数据集版本。 发布为新版本的说明,请参见发布数据集。 进入数据集版本管理页面
发布数据集 ModelArts Pro在数据集管理过程中,针对同一个数据源,对不同时间标注后的数据,按版本进行区分,方便后续模型构建和开发过程中,选择对应的数据集版本进行使用。数据标注完成后,您可以将数据集当前状态进行发布,生成一个新的数据集版本。 关于数据集版本 针对刚创建的数
自动标注数据 针对已经选择的数据和SKU,在应用开发的“数据标注”页面,ModelArts Pro会自动标注数据,自动标注完成后,可对每个数据的标注结果进行核对和确认。 前提条件 已在视觉套件控制台选择“零售商品识别工作流”新建应用,并已执行到“SKU创建”步骤,详情请见创建SKU。
如何使用ModelArts Pro 使用流程 注册华为帐号并开通华为云 申请行业套件 配置访问授权
Pro管理控制台,需要先注册华为云。如果您已注册华为云,可从主页右上角单击“控制台”,进入管理控制台页面,单击页面左侧的,选择“EI企业智能>ModelArts Pro”。如果未注册,请参见注册帐号。
与OBS关系 上传训练数据集 ModelArts Pro上传的训练数据集存储在OBS中。 标注数据 ModelArts Pro标注的数据存储在OBS中。 管理数据集 数据集存储在OBS中。 数据集的标注信息存储在OBS中。 支持从OBS中导入数据。 训练模型 训练模型使用的数据集存储在OBS中。
”、“更新时间”和可执行的“操作”。 图3 历史版本 查看应用资产 在“应用详情”页的“应用资产”页签下,可以查看当前应用的资产信息,比如通用文本分类工作流中的资产信息就是训练数据集,您可以查看“数据集名称”、“描述”、“数据量”、“标注进度”、“标签总数”、“创建时间”和“操作
息就是训练数据集,您可以查看“数据集名称”、“描述”、“数据量”、“标注进度”、“标签总数”、“创建时间”和“操作”,其中“操作”列可执行“管理”和“删除”操作。 “管理”:进入数据集管理页面,单击“开始标注”,可手动标注数据。 “删除”:单击“删除”,弹出“删除数据集”对话框,单击“确认”,即可删除当前数据集。
在“我的应用”页签下,选择已创建的应用,单击操作列的“查看”。 默认进入“应用总览”页签。 您可以在“应用总览”页查看应用开发、更新应用版本;也可以切换页签,查看应用资产(数据集)、应用监控。 图1 应用总览 查看应用开发配置 在“应用总览”页签,在开发版本列表选择工作流版本,单击“操作”列的“查看”,进入应用开发页
模型训练一般需要运行一段时间,等模型训练完成后,“开发应用>模型训练”页面下方显示查看训练详情。 查看训练详情 模型训练完成后,可在“模型训练”页面查看“训练详情”,包括“准确率变化情况”和“误差变化”。 图1 模型训练 模型如何提升效果 检查是否存在训练数据过少的情况,建议每个类别的图片量不少于100个,如果低于这个量级建议扩充。
模型训练一般需要运行一段时间,等模型训练完成后,“开发应用>模型训练”页面下方显示查看训练详情。 查看训练详情 模型训练完成后,可在“模型训练”页面查看“训练详情”,包括“准确率变化情况”和“误差变化”。 图1 模型训练 模型如何提升效果 检查是否存在训练数据过少的情况,建议每个类别的图片量不少于100个,如果低于这个量级建议扩充。
模型训练一般需要运行一段时间,等模型训练完成后,“模型训练”页面下方显示查看训练详情。 图1 训练模型 查看训练详情 模型训练完成后,可在“模型训练”页面查看“训练详情”,包括“准确率变化情况”和“误差变化”。 图2 模型训练 模型如何提升效果 检查是否存在训练数据过少的情况,建议每个类别的图片量不少于100个,如果低于这个量级建议扩充。
训练模型 针对已标注完成的训练数据,开始训练模型,您可以查看训练的模型准确率和误差变化。 前提条件 已在视觉套件控制台选择“零售商品识别工作流”新建应用,并已执行到“数据标注”步骤确认标注结果,详情请见自动标注数据。 训练模型 在“模型训练”页面,单击“训练”。 模型训练一般需要