AI开发平台MODELARTS-附录:大模型推理常见问题:问题9:使用benchmark-tools访问推理服务返回报错
问题9:使用benchmark-tools访问推理服务返回报错
使用benchmark-tools访问推理服务时,输入输出的token和大于max_model_len,服务端返回报错Response payload is not completed,见图2。
再次设置输入输出的token和小于max_model_len访问推理服务,服务端响应200,见图3。
客户端仍返回报错Response payload is not completed,见图4。
解决方法:
安装brotlipy后返回正确报错
pip install brotlipy
- ModelArts推理部署_服务_访问公网-华为云
- ModelArts推理部署_在线服务_访问在线服务-华为云
- ModelArts推理部署_OBS导入_模型包规范-华为云
- ModelArts推理部署_模型_AI应用来源-华为云
- ModelArts推理部署_AI应用_部署服务-华为云
- ModelArts计费说明_计费简介_ModelArts怎么计费
- ModelArts推理部署_纳管Atlas 500_边缘服务-华为云
- ModelArts模型训练_创建训练作业_如何创建训练作业
- ModelArts推理部署_创建AI应用_自定义镜像规范-华为云
- 华为云内容审核服务_内容审核有什么作用_华为云内容审核的优势