检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
准备模型训练镜像 ModelArts平台提供了Tensorflow,PyTorch,MindSpore等常用深度学习任务的基础镜像,镜像里已经安装好运行任务所需软件。当基础镜像里的软件无法满足您的程序运行需求时,您还可以基于这些基础镜像制作一个新的镜像并进行训练。 训练作业的预置框架介绍
pb”,请勾选预训练模型。 确认信息后,单击“开始训练”。 图1 模型训练 模型训练一般需要运行一段时间,等模型训练完成后,“应用开发>模型训练”页面下方显示训练详情。 查看训练详情 模型训练完成后,可在“开发应用>模型训练”页面查看“训练详情”。 图2 训练详情 父主题: HiLens安全帽检测技能
模型训练 使用特征工程处理后生成的训练集进行模型训练。 创建联邦学习训练任务(简易编辑器) 单击简易编辑器界面右上角的“训练”。 进入“训练任务配置”界面,如图1所示。 图1 训练任务配置 参数说明,如表1所示。 表1 参数配置 区域 参数名称 参数描述 任务说明 任务名称 训练任务的名称。
OBS桶域名。 验证对象是否可以在线预览。 配置成功后,将“http://自定义域名/对象访问路径”拼接成的链接分享给用户,用户可以在浏览器中通过此链接直接预览文件。 如仍不能在线预览,请检查对象元数据ContentType值是否是浏览器支持的在线展示类型。 例如对象是一个mp4
用户项目ID。获取方法请参见获取项目ID和名称。 training_job_id 是 String 训练作业ID。获取方法请参见查询训练作业列表。 task_id 是 String 训练作业的任务名称。可从训练作业详情中的status.tasks字段中获取。 project_id 是 String
是 String 训练作业类型。默认使用job,表示训练作业。 visualization_job:表示可视化作业 metadata 是 JobMetadata object 训练作业元信息。 algorithm 否 JobAlgorithm object 训练作业算法。目前支持三种形式:
模型训练服务简介 模型训练服务为开发者提供电信领域一站式模型开发服务,涵盖数据预处理、特征提取、模型训练、模型验证、推理执行和重训练全流程。服务提供开发环境和模拟验证环境及ICT网络领域AI资产,包括项目模板、算法、特征分析及处理SDK,帮助开发者提速AI应用开发,保障模型应用效果。
如何在模型训练时,设置日志级别? 在TensorFlow的log日志等级如下: - 0:显示所有日志(默认等级) - 1:显示info、warning和error日志 - 2:显示warning和error信息 - 3:显示error日志信息 以设置日志级别为“3”为例,操作方法如下:
模型训练服务首页简介 模型训练服务首页展示了用户自己创建的项目和用户所属租户下面其他用户创建的公开项目,提供如下功能: 创建项目 使用模板快速创建项目,模板中已经预制数据集、特征处理算法、模型训练算法和模型验证算法。 查看和编辑项目信息 模型训练服务首页界面如下图所示。 图1 模型训练服务首页
使用模型 用训练好的模型预测测试集中的某个图片属于什么类别,先显示这个图片,命令如下。 1 2 3 # display a test image plt.figure() plt.imshow(test_images[9]) 图1 显示用以测试的图片 查看预测结果,命令如下。 1
下载”,即可下载算法。 算法编辑 单击在线编辑栏的“在线编辑”,可在线编辑算法文件,具体请参考在线编辑算法。 在线编辑算法 平台提供算法编辑器,在创建成功的算法名称后单击“在线编辑”,或单击算法详情页右上角的“算法编辑”,进入该算法的在线编辑页面。如图6 在线编辑算法,界面左侧显示的是该算
创建工程 创建训练工程是从创建模型训练工程、编辑模型训练代码到调试模型训练代码的端到端的代码开发过程。 创建模型训练工程:创建模型训练代码编辑和调试的环境。 编辑模型训练代码:在线编辑模型训练代码。 调试模型训练代码:在线调试编辑好的模型训练代码。 创建训练工程步骤如下。 单击“创建”,弹出“创建训练”对话框。
例如: 增量训练 分布式训练 训练加速 训练高可靠性 查看训练结果和日志 查看训练作业详情 训练作业运行中或运行结束后,可以在训练作业详情页面查看训练作业的参数设置,训练作业事件等。 查看训练作业日志 训练日志用于记录训练作业运行过程和异常信息,可以通过查看训练作业日志定位作业运行中出现的问题。
GP”算法,选取十个超参组合,依次进行模型训练。 图2 超参优化配置 单击“开始训练”,回到代码编辑界面。 可通过单击界面右上角的“训练任务”,查看训练任务状态。如图3所示。 单击训练任务下方的图标,下方会展示模型训练日志、运行结果日志、运行图和Tensorboard窗口。 图3 训练任务 模型训练结束后,单击
低于10%)。训练数据的csv文件不能包含表头,否则会导致训练失败。当前由于特征筛选算法限制,标签列建议放在数据集最后一列,否则可能导致训练失败。 由于ModelArts会自动对数据进行一些过滤,过滤后再启动训练作业。当预处理后的数据不满足训练要求时,也会导致训练作业运行失败。 对于数据集中列的过滤策略如下所示:
云空间文档支持在线编辑吗? WeLink企业文档旗舰版已上架,请联系您的客户经理,或移步至华为云WeLink官网(https://console.huaweicloud.com/welink/?region=cn-north-4#/welinks/order)购买。 父主题: 云空间
编辑训练代码(WebIDE) 支持使用WebIDE开发环境编辑代码。 可选择下述一种方式,进入WebIDE开发环境编辑代码: 在“模型训练”菜单页面,“开发环境”为WebIDE环境的情况下,单击模型训练工程所在行的。 在“模型训练”菜单页面,单击模型训练工程所在行,进入详情界面。
创建联邦学习工程 创建工程 编辑代码(简易编辑器) 编辑代码(WebIDE) 模型训练 父主题: 模型训练
训练 上传数据至OBS并预热到SFS Turbo中 创建训练任务 父主题: 实施步骤
任务名称 模型训练任务的名称 任务描述 模型训练任务的描述信息 任务创建时间 模型训练任务创建的时间 训练用时 模型训练耗时时长 Tensorboard Tensorboard状态 训练状态 显示训练任务当前的状态。 包括如下状态: ALL显示所有训练任务。 WAITING表示训练任务准备中。