AI开发平台MODELARTS-自动化脚本快速部署推理服务(推荐):步骤三:调用

时间:2025-03-12 09:40:18

步骤三:调用

执行请求调用模型

curl -ik -H 'Content-Type: application/json' -d '{"messages":[{"role":"user","content":"请讲一个笑话"}],"model":"${model_name}","temperature":0.6,"max_tokens":1024}' -X POST http://${ip}:${port}/v1/chat/completions
  • model_name:为要调用的模型名称,即DeepSeek-V3或DeepSeek-R1
  • ip:为步骤二:自动化部署中nodeIps中第一个IP
  • port:为要访问的端口,默认1025
support.huaweicloud.com/bestpractice-modelarts/modelarts_ds_infer_0011.html