华为云首页用户手册

AI开发平台MODELARTS-附录：Standard大模型推理常见问题

AI开发平台MODELARTS-附录：Standard大模型推理常见问题

时间：2024-11-12 16:42:39

AI开发平台MODELARTS

附录：Standard大模型推理常见问题

问题1：在推理预测过程中遇到NPU out of memory。
解决方法：调整推理服务启动时的显存利用率，将--gpu-memory-utilization的值调小。

问题2：在推理预测过程中遇到ValueError:User-specified max_model_len is greater than the drived max_model_len。
解决方法：修改config.json文件中的"seq_length"的值，"seq_length"需要大于等于 --max-model-len的值。

config.json存在模型对应的路径下，例如：/data/nfs/benchmark/tokenizer/chatglm3-6b/config.json

问题3：使用离线推理时，性能较差或精度异常。
解决方法：将block_size大小设置为128。
```
from vllm import LLM, SamplingParams
llm = LLM(model="facebook/opt-125m", block_size=128)
```
问题4：使用llama3.1系模型进行推理时，报错：ValueError: 'rope_scaling' must be a dictionary with two fields, 'type' and 'factor', got {'factor': 8.0, 'low_freq_factor': 1.0, 'high_freq_factor': 4.0, 'original_max_position_embeddings': 8192, 'rope_type': 'llama3'}
解决方法：升级transformers版本到4.43.1：pip install transformers --upgrade
问题5：使用SmoothQuant进行W8A8进行模型量化时，报错：AttributeError: type object 'LlamaAttention' has no attribute '_init_rope'
解决方法：降低transformers版本到4.42：pip install transformers==4.42 --upgrade
问题6：使用AWQ转换llama3.1系列模型权重出现报错ValueError: `rope_scaling` must be a dictionary with two fields, `type` and `factor`，
解决方法：将transformers升级到4.44.0，修改对应transformers中的transformers/models/llama/modeling_llama.py，在class LlamaRotaryEmbedding中的forward函数中增加self.inv_freq = self.inv_freq.npu()
问题7：使用Qwen2-7B、Qwen2-72B模型有精度问题，重复输出感叹号
 检查【配置环境变量】章节中，高精度模式的环境变量是否开启

父主题： 主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.908）

上一篇：AI开发平台MODELARTS-推理场景介绍:资源规格要求

下一篇：AI开发平台MODELARTS-附录：基于vLLM不同模型推理支持最小卡数和最大序列说明

华为云11.11 2核1G 2M 云服务器

29元/年

立即注册领万元上云礼券

抽奖赢11111元免单

续费同价 L实例 2核2G 4M

98元/年

热门域名 1元随心购

1元/年

AI开发平台MODELARTS-附录：Standard大模型推理常见问题

意见反馈

0/200

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

推荐文章

解决方案
相关专题