AI开发平台MODELARTS-在推理生产环境中部署推理服务:Step4 调用在线服务

时间：2024-12-17 18:07:07

AI开发平台MODELARTS

进入在线服务详情页面，选择“预测”。

如果以vllm接口启动服务，设置请求路径：“/generate”，输入预测代码“{"prompt": "你好", "temperature":0, "max_tokens":20}”，单击“预测”即可看到预测结果。

图8 预测-vllm

如果以openai接口启动服务，设置请求路径：“/v1/completions”，输入预测代码“{"prompt": "你是谁","model": "${model_path}","max_tokens": 50,"temperature":0}”，单击“预测”即可看到预测结果。

图9 预测-openai

在线服务的更多内容介绍请参见文档查看服务详情。

新客秒杀 2核2G 3M L实例

68元/年

普惠上云领千元上云礼券

立即前往

企业专享 X实例 4核8G 5M

888元/年

热门域名 1元随心购

1元/年起

AI开发平台MODELARTS-在推理生产环境中部署推理服务:Step4 调用在线服务

意见反馈

0/200

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

7*24