AI开发平台ModelArts-Ascend-vLLM推理常见问题:问题8:使用benchmark-tools对GLM系列模型进行性能测试报错
问题8:使用benchmark-tools对GLM系列模型进行性能测试报错
使用benchmark-tools对GLM系列模型进行性能测试报错TypeError: _pad() got an unexpected keyword argument 'padding_side'
解决方法:
1、下载最新的tokenization_chatglm.py,替换原来权重里的tokenization_chatglm.py。
https://huggingface.co/THUDM/glm-4-9b-chat/blob/main/tokenization_chatglm.py
https://huggingface.co/THUDM/chatglm3-6b/blob/main/tokenization_chatglm.py
或者2、修改tokenization_chatglm.py,在266行增加padding_side: str = "left",如图1所示。
- ModelArts推理部署_AI应用_部署服务-华为云
- ModelArts推理部署_纳管Atlas 500_边缘服务-华为云
- ModelArts是什么_AI开发平台_ModelArts功能
- ModelArts推理部署_在线服务_访问在线服务-华为云
- 华为云内容审核服务_内容审核有什么作用_华为云内容审核的优势
- 性能测试使用教程_性能测试操作步骤_性能测试快速入门-华为云
- ModelArts推理部署_服务_访问公网-华为云
- TMS开发_金蝶TMS系统_TMS技术系统_信息化管理_视频
- ModelArts计费说明_计费简介_ModelArts怎么计费
- ModelArts模型训练_创建训练作业_如何创建训练作业