检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
模型训练 自动学习训练作业失败 父主题: 自动学习
系统还支持打包训练模型,用于创建训练服务、模型验证,或者发布到应用市场。模型训练包包括编排配置文件、模型文件等。详细的模型管理操作请参见模型管理。 模型训练页面说明 “模型训练”页面列出了已有的训练工程、训练服务和超参优化服务的列表信息,如图1所示。在该页面,用户可以查看训练工程和训练服务的创建信息,新建
模型训练服务简介 模型训练服务为开发者提供电信领域一站式模型开发服务,涵盖数据预处理、特征提取、模型训练、模型验证、推理执行和重训练全流程。服务提供开发环境和模拟验证环境及ICT网络领域AI资产,包括项目模板、算法、特征分析及处理SDK,帮助开发者提速AI应用开发,保障模型应用效果。
当前服务提供安全帽检测预置模型“saved_model.pb”,请勾选预训练模型。 确认信息后,单击“开始训练”。 图1 模型训练 模型训练一般需要运行一段时间,等模型训练完成后,“应用开发>模型训练”页面下方显示训练详情。 查看训练详情 模型训练完成后,可在“应用开发>模型训练”页面查看“训练详情”。
本文档以硬盘故障检测的模型训练为例,介绍NAIE训练平台使用的全流程,包括数据集、特征工程、模型训练、模型管理和模型验证,使开发者快速熟悉NAIE训练平台。 《用户指南》 本文档包含了使用NAIE训练平台前的准备工作和如何使用NAIE训练平台导入数据、特征操作、模型训练、模型打包与模型验证的操作指导。
模型训练服务首页简介 模型训练服务首页展示了用户自己创建的项目和用户所属租户下面其他用户创建的公开项目,提供如下功能: 创建项目 使用模板快速创建项目,模板中已经预制数据集、特征处理算法、模型训练算法和模型验证算法。 查看和编辑项目信息 模型训练服务首页界面如下图所示。 图1 模型训练服务首页
模型训练 硬盘故障检测模板会预置模型训练工程,无需关注,下面会提供端到端的操作流程,帮助用户快速熟悉模型训练界面操作。 单击菜单栏中的“模型训练”,进入模型训练首页。 可以看到预置的“hardisk_detect”模型训练工程,这是硬盘故障检测模板预置的模型训练工程,本次不使用。
同取值下的模型评分和试验时长。详情请参见创建超参优化服务。 单击“开始训练”,训练任务开始。 单击界面右上角的“关闭”,返回模型训练工程详情界面。 “模型训练任务”下方展示新建的训练任务,“训练状态”列展示任务的状态。 ALL显示所有训练任务。 WAITING表示训练任务准备中。
ALL显示所有训练任务。 WAITING表示训练任务准备中。 RUNNING表示正在训练。 FINISHED表示训练成功。 FAILED表示训练失败。 STOPPED表示停止训练任务。 如果“训练任务状态”一直处在“RUNNING”中,模型训练服务前台就会一直给后台发消息,查询当
训练模型 特征和算法确定后,可以开始训练模型。 训练模型 单击“模型选择”左下方的“训练模型”。 新增“训练模型”内容,如图1所示。 图1 训练模型 单击“训练模型”代码框左侧的图标,进行模型训练。 模型训练完成后,界面下方展示模型的评估效果。 第一列内容的含义如下所示: 0:标注为0的所有样本。可以理解为标签。
模型管理 单击菜单栏中的“模型管理”,可在“模型管理”界面查看打包好的模型,如图1所示。 图1 模型管理 父主题: 使用模型训练服务快速训练算法模型
活动时间 最近一次模型训练执行的时间。 创建训练任务,详细请参考模型训练。 删除训练任务。 模型训练工程描述 训练服务的描述信息,支持单击“”重新编辑。 切换到其他的训练工程、联邦学习工程、训练服务或超参优化服务的模型训练页面中。 模型训练运行环境信息查看和配置。 新建训练工程、联邦学习工程、训练服务或超参优化服务。
力,保障用户训练作业的长稳运行 提供训练作业断点续训与增量训练能力,即使训练因某些原因中断,也可以基于checkpoint接续训练,保障需要长时间训练的模型的稳定性和可靠性,避免重头训练耗费的时间与计算成本 支持训练数据使用SFS Turbo文件系统进行数据挂载,训练作业产生的中间和结果等数据可以直接高速写入到SFS
当前服务提供安全帽检测预置模型“saved_model.pb”,请勾选预训练模型。 确认信息后,单击“开始训练”。 图1 模型训练 模型训练一般需要运行一段时间,等模型训练完成后,“应用开发>模型训练”页面下方显示训练详情。 查看训练详情 模型训练完成后,可在“开发应用>模型训练”页面查看“训练详情”。
Standard模型训练 使用ModelArts Standard自定义算法实现手写数字识别 基于ModelArts Standard运行GPU训练作业
数。 模型训练结束后,训练模型以及相关输出信息需保存在OBS路径。“输出”数据默认配置为模型输出,代码参数为“train_url”,也支持用户根据1的算法代码自定义输出路径参数。 在创建训练作业时,填写输入路径和输出路径。 训练输入选择对应的OBS路径或者数据集路径,训练输出选择对应的OBS路径。
准备训练框架(即训练镜像) 模型训练有多种训练框架来源,具体可以参考准备模型训练镜像。 ModelArts Standard平台提供了模型训练常用的预置框架,可以直接使用。 当预置框架不满足训练要求时,支持用户构建自定义镜像用于训练。 准备训练数据 训练数据除了训练数据集,也
Standard模型训练 在ModelArts训练得到的模型欠拟合怎么办? 在ModelArts中训练好后的模型如何获取? 在ModelArts上如何获得RANK_TABLE_FILE用于分布式训练? 在ModelArts上训练模型如何配置输入输出数据? 在ModelArts上如何提升训练效率并减少与OBS的交互?
增量模型训练 什么是增量训练 增量训练(Incremental Learning)是机器学习领域中的一种训练方法,它允许人工智能(AI)模型在已经学习了一定知识的基础上,增加新的训练数据到当前训练流程中,扩展当前模型的知识和能力,而不需要从头开始。 增量训练不需要一次性存储所有的
外安装软件包。 具体案例参考使用预置镜像制作自定义镜像用于训练模型。 场景二:已有本地镜像满足代码依赖的要求,但是不满足ModelArts训练平台约束,需要适配。 具体案例参考已有镜像迁移至ModelArts用于训练模型。 场景三: 当前无可使用的镜像,需要从0制作镜像(既需要安