AI开发平台MODELARTS-在推理生产环境中部署推理服务:Step4 调用在线服务

时间：2024-11-12 16:42:40

AI开发平台MODELARTS

进入在线服务详情页面，选择“预测”。

如果以vllm接口启动服务，设置请求路径：“/generate”，输入预测代码“{"prompt": "你好", "temperature":0, "max_tokens":20}”，单击“预测”既可看到预测结果。

图8 预测-vllm

如果以openai接口启动服务，设置请求路径：“/v1/completions”，输入预测代码“{"prompt": "你是谁","model": "${model_path}","max_tokens": 50,"temperature":0}”，单击“预测”既可看到预测结果。

图9 预测-openai

在线服务的更多内容介绍请参见文档查看服务详情。

华为云11.11 2核1G 2M 云服务器

29元/年

立即注册领万元上云礼券

抽奖赢11111元免单

续费同价 L实例 2核2G 4M

98元/年

热门域名 1元随心购

1元/年

AI开发平台MODELARTS-在推理生产环境中部署推理服务:Step4 调用在线服务

意见反馈

0/200

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

7*24