AI开发平台MODELARTS-附录:大模型推理常见问题

时间:2024-12-09 20:36:13

附录:大模型推理常见问题

问题1:在推理预测过程中遇到NPU out of memory

解决方法:调整推理服务启动时的显存利用率,将--gpu-memory-utilization的值调小。

问题2:在推理预测过程中遇到ValueError:User-specified max_model_len is greater than the drived max_model_len

解决方法:

修改config.json文件中的"seq_length"的值,"seq_length"需要大于等于 --max-model-len的值。

config.json存在模型对应的路径下,例如:/data/nfs/benchmark/tokenizer/chatglm3-6b/config.json

support.huaweicloud.com/bestpractice-modelarts/modelarts_10_1907.html