AI开发平台MODELARTS-附录:大模型推理常见问题:问题5:使用AWQ转换llama3.1系列模型权重出现报错
问题5:使用AWQ转换llama3.1系列模型权重出现报错
使用AWQ转换llama3.1系列模型权重出现报错:ValueError: 'rope_scaling' must be a dictionary with two fields, 'type' and 'factor'
解决方法:
该问题通过将transformers升级到4.44.0,修改对应transformers中的transformers/models/llama/modeling_llama.py,在class LlamaRotaryEmbedding中的forward函数中增加self.inv_freq = self.inv_freq.npu()
- ModelArts推理部署_纳管Atlas 500_边缘服务-华为云
- ModelArts推理部署_AI应用_部署服务-华为云
- ModelArts推理部署_OBS导入_模型包规范-华为云
- ModelArts推理部署_模型_AI应用来源-华为云
- 华为云盘古大模型_华为云AI大模型_盘古人工智能
- ModelArts计费说明_计费简介_ModelArts怎么计费
- ModelArts开发环境_开发环境简介_开发环境怎么使用
- ModelArts推理部署_在线服务_访问在线服务-华为云
- ModelArts是什么_AI开发平台_ModelArts功能
- ModelArts模型训练_创建训练作业_如何创建训练作业