AI开发平台MODELARTS-附录:大模型推理常见问题:问题13:使用SmoothQuant做权重转换时报错

时间:2025-01-03 09:39:01

问题13:使用SmoothQuant做权重转换时报错

图8 权重转换报错

涉及模型:qwen2-1.5b, qwen2-0.5b

解决方法:修改AscendCloud/AscendCloud-LLM/llm_tools/AutoSmoothQuant/autosmoothquant/examples/smoothquant_model.py中的main函数,保存模型时将safe_serialization指定为False

int8_model.save_pretrained(output_path,safe_serialization=False)
support.huaweicloud.com/bestpractice-modelarts/modelarts_llm_infer_91117.html