检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
背景信息 Megatron-DeepSpeed Megatron-DeepSpeed是一个基于PyTorch的深度学习模型训练框架。
深度学习模型训练 如何修改机器人规格 登录CBS控制台。 在智能问答机器人列表中,选择“操作”列的“规格修改”。 图1 规格修改 依据使用需求修改机器人的规格。 图2 修改问答机器人规格 父主题: 智能问答机器人
各个模型深度学习训练加速框架的选择 LlamaFactory框架使用两种训练框架: DeepSpeed和Accelerate都是针对深度学习训练加速的工具,但是它们的实现方式和应用场景有所不同。 DeepSpeed是一种深度学习加速框架,主要针对大规模模型和大规模数据集的训练。
模型管理简介 hilens::Model类 模型管理器,使用模型管理器加载模型并进行推理。 #include <model.h> 析构函数 ~Model() virtual hilens::Model::~Model( ) Model析构时会释放掉hiai::Graph等资源。
模型管理 单击菜单栏中的“模型管理”,可在“模型管理”界面查看打包好的模型,如图1所示。 图1 模型管理 父主题: 使用模型训练服务快速训练算法模型
模型管理 模型管理简介 创建模型 模型推理
Standard模型部署 ModelArts Standard提供模型、服务管理能力,支持多厂商多框架多功能的镜像和模型统一纳管。 通常AI模型部署和规模化落地非常复杂。 例如,智慧交通项目中,在获得训练好的模型后,需要部署到云、边、端多种场景。
Standard模型训练 ModelArts Standard模型训练提供容器化服务和计算资源管理能力,负责建立和管理机器学习训练工作负载所需的基础设施,减轻用户的负担,为用户提供灵活、稳定、易用和极致性能的深度学习训练环境。
模型管理 管理模型采集任务 同步数据库和缓存数据 父主题: 应用业务模型使用指导
父主题: 资产模型
模型训练 硬盘故障检测模板会预置模型训练工程,无需关注,下面会提供端到端的操作流程,帮助用户快速熟悉模型训练界面操作。 单击菜单栏中的“模型训练”,进入模型训练首页。
导入库模型(平台预置产品模型):您可以使用平台预置的产品模型,快速完成产品开发。当前平台提供了标准模型和厂商模型。标准模型遵循行业标准的产品模型,适用行业内绝大部分厂商设备,而厂商模型针对设备类型发布的产品模型,适用于用行业内少量厂家设备。您可以根据实际需求选择相应的产品模型。
表2 重写方法 方法名 说明 __init__(self, model_name, model_path) 初始化方法,适用于深度学习框架模型。该方法内加载模型及标签等(pytorch和caffe类型模型必须重写,实现模型加载逻辑)。
在深度学习中,微调用于改进预训练模型的性能。 支持将平台资产中心的部分模型作为微调前基础模型,也可以选择微调后的新模型作为基础模型再次进行微调。 前提条件 已订购大模型微调服务API在线调用-SFT局部调优,订购方法请参见购买AI原生应用引擎按需计费资源。
单击已新建的逻辑模型右侧的“编辑”,可以修改逻辑模型的参数信息。 单击已新建的逻辑模型右侧的“删除”,可以删除逻辑模型。删除操作无法恢复,请谨慎操作。如果模型包含业务表,无法删除。 单击已新建的逻辑模型右侧的“转化为物理模型”,可以将逻辑模型转化为物理模型。
模型训练 使用特征工程处理后生成的训练集进行模型训练。 创建联邦学习训练任务(简易编辑器) 单击简易编辑器界面右上角的“训练”。 进入“训练任务配置”界面,如图1所示。 图1 训练任务配置 参数说明,如表1所示。
二者选其一 learning_rate 2.0e-5 指定学习率 disable_gradient_checkpointing true 关闭重计算,用于禁用梯度检查点,默认开启梯度检查点;在深度学习模型训练中用于保存模型的状态,以便在需要时恢复。
系统还支持打包训练模型,用于创建训练服务、模型验证,或者发布到应用市场。模型训练包包括编排配置文件、模型文件等。详细的模型管理操作请参见模型管理。 模型训练页面说明 “模型训练”页面列出了已有的训练工程、训练服务和超参优化服务的列表信息,如图1所示。
资产模型 创建资产模型 获取资产模型列表 获取资产模型详情 修改资产模型 删除资产模型 父主题: API列表
接口调用 和未加密模型一样调用接口,详情请见: 创建模型实例 模型推理 示例-模型管理 父主题: 模型管理模块