AI开发平台MODELARTS-附录:大模型推理常见问题:问题8:使用benchmark-tools对GLM系列模型进行性能测试报错

时间:2024-12-17 18:06:49

问题8:使用benchmark-tools对GLM系列模型进行性能测试报错

使用benchmark-tools对GLM系列模型进行性能测试报错TypeError: _pad() got an unexpected keyword argument 'padding_side'

解决方法:

1、下载最新的tokenization_chatglm.py,替换原来权重里的tokenization_chatglm.py。

https://huggingface.co/THUDM/glm-4-9b-chat/blob/main/tokenization_chatglm.py

https://huggingface.co/THUDM/chatglm3-6b/blob/main/tokenization_chatglm.py

或者2、修改tokenization_chatglm.py,在266行增加padding_side: str = "left",如图1所示。

图1 tokenization_chatglm.py
support.huaweicloud.com/bestpractice-modelarts/modelarts_llm_infer_91117.html