华为云首页用户手册

AI开发平台MODELARTS-附录：训练常见问题:问题5：训练完成使用vllm0.6.0框架推理失败：

时间：2024-11-12 16:42:44

AI开发平台MODELARTS

问题5：训练完成使用vllm0.6.0框架推理失败：

错误截图：

报错原因：

训练时transformers版本要求为4.45.0，训练完成后保存的tokenizer.json文件中的“merges”时保存的是拆开的列表不是字符串，导致推理异常

解决措施，以下两种方法任选其一：

①更新transformes和tokenizers版本

GLM4-9B模型，容器内执行以下步骤：
```
pip install transformers==4.43.2
```

其它模型，容器内执行以下步骤：

pip install transformers==4.45.0
pip install tokenizers==0.20.0

②使用原始hf权重的tokenizer.json覆盖保存的tokenizer.json即可，如llama3-8b_lora具体过程如下：

# 进入模型tokenizer目录
cd /home/ma-user/ws/tokenizers/llama3-8b/
# 替换tokenizer.json文件
cp -f tokenizer.json /home/ma-user/ws/saves/rm/llama3-8b/lora/tokenizer.json

上一篇：AI开发平台MODELARTS-附录：训练常见问题:问题3：训练过程报错：ImportError: XXX not found in your environment: flash_attn

下一篇：AI开发平台MODELARTS-附录：训练常见问题:问题1：在训练过程中遇到NPU out of memory

华为云11.11 2核1G 2M 云服务器

29元/年

立即注册领万元上云礼券

抽奖赢11111元免单

续费同价 L实例 2核2G 4M

98元/年

热门域名 1元随心购

1元/年

AI开发平台MODELARTS-附录：训练常见问题:问题5：训练完成使用vllm0.6.0框架推理失败：

意见反馈

0/200

提交取消

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

AI开发平台MODELARTS-附录：训练常见问题:问题5：训练完成使用vllm0.6.0框架推理失败：

AI开发平台MODELARTS-附录：训练常见问题:问题5：训练完成使用vllm0.6.0框架推理失败：

问题5：训练完成使用vllm0.6.0框架推理失败：

7*24

备案

专业服务

退订

建议反馈

售前咨询热线