AI开发平台MODELARTS-eagle投机小模型训练:步骤四:执行训练
步骤四:执行训练
安装完成后,执行:
accelerate launch -m --mixed_precision=bf16 eagle.train.main \ --tmpdir [path of data] \ --cpdir [path of checkpoints] \ --configpath [path of config file] \ --basepath [path of base_model] --bs [batch size]
tmpdir:即为步骤三中的outdir,训练data地址
cpdir:为训练生成权重的地址
configpath:为模型config文件的地址
basepath:为大模型权重地址
bs:为batch大小
其中,要获取模型config文件, 首先到https://github.com/SafeAILab/EAGLE/页找到对应eagle模型地址。
以llama2-chat-7B为例,单击进入后 ,如下图所示config文件,即为对应模型的eagle config文件。
- ModelArts模型训练_模型训练简介_如何训练模型
- ModelArts模型训练_创建训练作业_如何创建训练作业
- ModelArts模型训练_超参搜索简介_超参搜索算法
- TMS开发_金蝶TMS系统_TMS技术系统_信息化管理_视频
- ModelArts推理部署_纳管Atlas 500_边缘服务-华为云
- ModelArts分布式训练_分布式训练介绍_分布式调测
- ModelArts是什么_AI开发平台_ModelArts功能
- ModelArts自动学习是什么_自动学习简介_零代码完成AI开发
- ModelArts计费说明_计费简介_ModelArts怎么计费
- ModelArts Workflow_什么是Workflow_工作流