AI开发平台MODELARTS-附录:大模型推理常见问题:问题4:使用SmoothQuant进行W8A8进行模型量化时报错

时间:2025-01-03 09:39:01

问题4:使用SmoothQuant进行W8A8进行模型量化时报错

使用SmoothQuant进行W8A8进行模型量化时报错:AttributeError: type object 'LlamaAttention' has no attribute '_init_rope'

解决方法:降低transformers版本到4.42

pip install transformers==4.42 --upgrade
support.huaweicloud.com/bestpractice-modelarts/modelarts_llm_infer_91117.html