AI开发平台MODELARTS-Eagle投机小模型训练:步骤四:执行训练

时间:2025-01-03 09:39:01

步骤四:执行训练

安装完成后,执行:

accelerate launch -m --mixed_precision=bf16 eagle.train.main \
--tmpdir [path of data] \
--cpdir [path of checkpoints] \
--configpath [path of config file] \
--basepath  [path of base_model]
--bs [batch size]
  • tmpdir:即为步骤三中的outdir,训练data地址
  • cpdir:为训练生成权重的地址
  • configpath:为模型config文件的地址
  • basepath:为大模型权重地址
  • bs:为batch大小

其中,要获取模型config文件, 首先到https://github.com/SafeAILab/EAGLE/页找到对应eagle模型地址。

图1 EAGLE Weights

以llama2-chat-7B为例,单击进入后 ,如下图所示config文件,即为对应模型的eagle config文件。

图2 eagle config文件
support.huaweicloud.com/bestpractice-modelarts/modelarts_llm_infer_91115.html