AI开发平台MODELARTS-在线服务处于运行中状态时,如何填写推理请求的request header和request body:处理方法

时间:2024-11-06 21:52:50

处理方法

  • Header:

    在调用指南页签上最多可以获取到两个api地址,分别是支持 IAM /AKSK认证的地址以及支持APP认证的地址,对于支持不同认证方式的地址, 对header的组织也不同,具体如下:

    • IAM/AKSK认证方式:需要在header的X-Auth-Token字段上填入该租户在该region的domain级别的token。具体指导参见连接:获取IAM用户Token
    • APP认证的方式:APP认证方式又可以细分为AppCode认证和APP签名认证。
      • AppCode认证需要在header的X-Apig-AppCode字段上填入绑定给该在线服务的APP的AppCode。
      • APP签名认证需要在header的X-Sdk-Date和Authorization字段中填入通过sdk或者工具使用该在线服务绑定的APP的AppKey和AppSecret所生产的这两个字段的值,以完成对该请求的签名认证。具体指导参见链接:访问在线服务(APP认证)
  • Body:

    body的组装和模型强相关,不同来源的模型body的组装方式不同。

    • 模型为从容器镜像中导入的:需要按照 自定义镜像 的要求组织,请咨询该镜像的制作人。
    • 模型为从对象存储(OBS)导入的:此时对body的要求会在推理代码中体现,具体在推理代码的_preprocess方法中,该方法将输入的http body转换成模型期望的输入,具体的指导可以查看文档:模型推理代码编写说明
    • 模型从AI Gallery中获取的:请查看AI Gallery中的调用说明或者咨询该模型的提供方。
support.huaweicloud.com/modelarts_faq/modelarts_05_3136.html