AI开发平台MODELARTS-eagle投机小模型训练:步骤五:训练生成权重转换成可以支持vLLM推理的格式

时间:2024-12-09 20:36:35

步骤五:训练生成权重转换成可以支持vLLM推理的格式

将训练完成后的权重文件(.bin文件或. safetensors文件),移动到下载好的开源权重目录下(即步骤4中,config文件所在目录)。

然后在llm_tools/spec_decode/EAGLE文件夹,执行
python convert_eagle_ckpt_to_vllm_compatible.py --base-path 大模型权重地址 --draft-path 小模型权重地址 --base-weight-name 大模型包含lm_head的权重文件名 --draft-weight-name 小模型权重文件名

--base-path:为大模型权重地址,例如 ./llama2-7b-chat

--draft-path:小模型权重地址 即步骤四中config文件所在目录,例如 ./eagle_llama2-7b-chat

--base-weight-name:为大模型包含lm_head的权重文件名,可以在 base-path 目录下的 model.safetensors.index.json 文件获取,例如llama2-7b-chat 的权重名为pytorch_model-00001-of-00002.bin

--draft-weight-name 为小模型权重文件名,即刚才移动的.bin文件或者.safetensors 文件

support.huaweicloud.com/bestpractice-modelarts/toctopics/zh-cn_topic_0000002093995324.html