AI开发平台MODELARTS-eagle投机小模型训练:步骤四:执行训练

时间:2025-01-03 09:38:58

步骤四:执行训练

安装完成后,执行:

accelerate launch -m --mixed_precision=bf16 eagle.train.main \
--tmpdir [path of data] \
--cpdir [path of checkpoints] \
--configpath [path of config file] \
--basepath  [path of base_model]
--bs [batch size]

tmpdir:即为步骤三中的outdir,训练data地址

cpdir:为训练生成权重的地址

configpath:为模型config文件的地址

basepath:为大模型权重地址

bs:为batch大小

其中,要获取模型config文件, 首先到https://github.com/SafeAILab/EAGLE/页找到对应eagle模型地址。

图1 EAGLE Weights

以llama2-chat-7B为例,单击进入后 ,如下图所示config文件,即为对应模型的eagle config文件。

图2 eagle config文件
support.huaweicloud.com/bestpractice-modelarts/modelarts_llm_infer_91015.html