AI开发平台MODELARTS-附录:大模型推理常见问题:问题8:使用benchmark-tools对GLM系列模型进行性能测试报错
问题8:使用benchmark-tools对GLM系列模型进行性能测试报错
使用benchmark-tools对GLM系列模型进行性能测试报错TypeError: _pad() got an unexpected keyword argument 'padding_side'
解决方法:
1、下载最新的tokenization_chatglm.py,替换原来权重里的tokenization_chatglm.py。
https://huggingface.co/THUDM/glm-4-9b-chat/blob/main/tokenization_chatglm.py
https://huggingface.co/THUDM/chatglm3-6b/blob/main/tokenization_chatglm.py
或者2、修改tokenization_chatglm.py,在266行增加padding_side: str = "left",如图1所示。
- ModelArts推理部署_AI应用_部署服务-华为云
- 华为云盘古大模型_华为云AI大模型_盘古人工智能
- ModelArts推理部署_OBS导入_模型包规范-华为云
- ModelArts推理部署_模型_AI应用来源-华为云
- ModelArts推理部署_纳管Atlas 500_边缘服务-华为云
- ModelArts计费说明_计费简介_ModelArts怎么计费
- ModelArts模型训练_创建训练作业_如何创建训练作业
- ModelArts是什么_AI开发平台_ModelArts功能
- ModelArts推理部署_在线服务_访问在线服务-华为云
- ModelArts自定义镜像_自定义镜像简介_如何使用自定义镜像