检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
模型训练 自动学习训练作业失败 父主题: 自动学习
epochs=10) 父主题: 基于CodeArts IDE Online、TensorFlow和Jupyter Notebook开发深度学习模型
使用模型 用训练好的模型预测测试集中的某个图片属于什么类别,先显示这个图片,命令如下。 1 2 3 # display a test image plt.figure() plt.imshow(test_images[9]) 图1 显示用以测试的图片 查看预测结果,命令如下。 1
各个模型深度学习训练加速框架的选择 LlamaFactory框架使用两种训练框架: DeepSpeed和Accelerate都是针对深度学习训练加速的工具,但是它们的实现方式和应用场景有所不同。 DeepSpeed是一种深度学习加速框架,主要针对大规模模型和大规模数据集的训练。D
基于CodeArts IDE Online、TensorFlow和Jupyter Notebook开发深度学习模型 概要 准备工作 导入和预处理训练数据集 创建和训练模型 使用模型
模型发布 模型发布失败 父主题: 自动学习
自定义引擎 通过引擎的镜像地址自定义增加引擎。 主入口 训练任务的入口文件及入口函数。 计算节点规格 模型训练服务提供的计算节点资源,包括CPU和GPU。 用户可以单击选定计算节点资源,并在“计算节点个数”中配置计算节点资源的个数。 计算节点个数 计算节点的个数。 1代表单节点计算
Online中使用TensorFlow和Jupyter Notebook完成神经网络模型的训练,并利用该模型完成简单的图像分类。 父主题: 基于CodeArts IDE Online、TensorFlow和Jupyter Notebook开发深度学习模型
自动学习训练后的模型是否可以下载? 不可以下载。但是您可以在AI应用管理页面查看,或者将此模型部署为在线服务。 父主题: Standard自动学习
模型,自动学习产生的模型都是以“exeML-”开头的。单击模型名称进入模型详情页面,在“基本信息”区域,获取“ID”的值。 图1 获取模型ID 获取模型事件信息。 进入模型详情页面后,单击“事件”页签,将事件信息表截图后反馈给技术支持人员。 图2 获取事件信息 父主题: 模型发布
被用户标注为某个分类的所有样本中,模型正确预测为该分类的样本比率,反映模型对正样本的识别能力。 precision:精确率 被模型预测为某个分类的所有样本中,模型正确预测的样本比率,反映模型对负样本的区分能力。 accuracy:准确率 所有样本中,模型正确预测的样本比率,反映模型对样本整体的识别能力。
导入和预处理训练数据集 参考TensorFlow官网的教程,创建一个简单的图片分类模型。 查看当前TensorFlow版本,单击或者敲击Shift+Enter运行cell。 1 2 3 4 5 6 7 8 9 10 from __future__ import absolute_import
自动学习生成的模型,存储在哪里?支持哪些其他操作? 模型统一管理 针对自动学习项目,当模型训练完成后,其生成的模型,将自动进入“模型管理”页面,如下图所示。模型名称由系统自动命名,前缀与自动学习项目的名称一致,方便辨识。 自动学习生成的模型,不支持下载使用。 图1 自动学习生成的模型
Editor,可以在里面编辑和运行cell。 父主题: 基于CodeArts IDE Online、TensorFlow和Jupyter Notebook开发深度学习模型
创建联邦学习工程 创建工程 编辑代码(简易编辑器) 编辑代码(WebIDE) 模型训练 父主题: 模型训练
创建联邦学习工程,编写代码,进行模型训练,生成模型包。此联邦学习模型包可以导入至联邦学习部署服务,作为联邦学习实例的基础模型包。 在联邦学习部署服务创建联邦学习实例时,将“基础模型配置”选择为“从NAIE平台中导入”,自动匹配模型训练服务的联邦学习工程及其训练任务和模型包。 创建联邦学习工程步骤如下。
物体检测等类型,可在自动学习的数据标注页面,单击“同步数据源”,将OBS中的数据重新同步至ModelArts中。 检查OBS的访问权限 如果OBS桶的访问权限设置无法满足训练要求时,将会出现训练失败。请排查如下几个OBS的权限设置。 当前账号具备OBS桶的读写权限(桶ACLs)
迁移学习 如果当前数据集的特征数据不够理想,而此数据集的数据类别和一份理想的数据集部分重合或者相差不大的时候,可以使用特征迁移功能,将理想数据集的特征数据迁移到当前数据集中。 进行特征迁移前,请先完成如下操作: 将源数据集和目标数据集导入系统,详细操作请参见数据集。 创建迁移数据
ebIDE开发环境编辑代码: 在“模型训练”菜单页面,“开发环境”为WebIDE环境的情况下,单击联邦学习工程所在行的。。 在“模型训练”菜单页面,单击联邦学习工程所在行,进入详情界面。“开发环境”为WebIDE环境的情况下,单击详情界面右上角的图标。其中“开发环境”必须选择WebIDE环境。
入简易编辑器开发环境编辑代码: 在“模型训练”菜单页面,“开发环境”为“简易编辑器”的情况下,单击联邦学习工程所在行的。 在“模型训练”菜单页面,单击联邦学习工程所在行,进入详情界面。“开发环境”为“简易编辑器”的情况下,单击详情界面右上角的图标。 简易编辑器界面,如图1所示,界面说明如表1所示。