AI开发平台MODELARTS-附录:大模型推理常见问题:问题5:使用AWQ转换llama3.1系列模型权重出现报错

时间:2024-12-17 18:06:49

问题5:使用AWQ转换llama3.1系列模型权重出现报错

使用AWQ转换llama3.1系列模型权重出现报错:ValueError: 'rope_scaling' must be a dictionary with two fields, 'type' and 'factor'

解决方法:

该问题通过将transformers升级到4.44.0,修改对应transformers中的transformers/models/llama/modeling_llama.py,在class LlamaRotaryEmbedding中的forward函数中增加self.inv_freq = self.inv_freq.npu()

support.huaweicloud.com/bestpractice-modelarts/modelarts_llm_infer_91117.html