AI开发平台MODELARTS-附录:大模型推理常见问题:问题12:使用SmoothQuant做权重转换时,scale显示为nan或推理时精度异常

时间:2024-12-17 18:06:49

问题12:使用SmoothQuant做权重转换时,scale显示为nan或推理时精度异常

图7 权重转换scale显示为nan

涉及模型:qwen2-1.5b, qwen2-7b

解决方法:修改AscendCloud/AscendCloud-LLM/llm_tools/AutoSmoothQuant/autosmoothquant/utils/utils.py中的build_model_and_tokenizer函数,将torch_dtype类型从torch.float16改成torch.bfloat16

kwargs = {"torch_dtype": torch.bfloat16, "device_map": "auto"}
support.huaweicloud.com/bestpractice-modelarts/modelarts_llm_infer_91117.html