访问在线服务-华为云

AI开发平台MODELARTS-通过VPC高速访问通道的方式访问在线服务:准备工作

准备工作使用专属资源池部署在线服务，服务状态为“运行中”。需使用新版专属资源池部署服务，详情请参见ModelArts Standard资源池功能介绍。只有专属资源池部署的服务才支持VPC直连的高速访问通道。 VPC直连的高速访问通道，目前只支持访问在线服务。因流量限控，获取在线服务的IP和端口号次数有限制，每个主账号租户调用次数不超过2000次/分钟，每个子账号租户不超过20次/分钟。目前仅支持自定义镜像导入模型，部署的服务支持高速访问通道。

AI开发平台MODELARTS 访问在线服务支持的访问通道

AI开发平台MODELARTS-通过VPC高速访问通道的方式访问在线服务:背景说明

背景说明访问在线服务的实际业务中，用户可能会存在如下需求：高吞吐量、低时延 TCP或者RPC请求因此，ModelArts提供了VPC直连的高速访问通道功能以满足用户的需求。使用VPC直连的高速访问通道，用户的业务请求不需要经过推理平台，而是直接经VPC对等连接发送到实例处理，访问速度更快。由于请求不经过推理平台，所以会丢失以下功能：认证鉴权流量按配置分发负载均衡告警、监控和统计图1 VPC直连的高速访问通道示意图

AI开发平台MODELARTS 访问在线服务支持的访问通道

AI开发平台MODELARTS-使用WebSocket协议的方式访问在线服务:背景说明

背景说明 WebSocket是一种网络传输协议，可在单个TCP连接上进行全双工通信，位于OSI模型的应用层。WebSocket协议在2011年由IETF标准化为RFC 6455，后由RFC 7936补充规范。Web IDL中的WebSocket API由W3C标准化。 WebSocket使得客户端和服务器之间的数据交换变得更加简单，允许服务端主动向客户端推送数据。在WebSocket API中，浏览器和服务器只需要完成一次握手，两者之间就可以建立持久性的连接，并进行双向数据传输。

AI开发平台MODELARTS 访问在线服务支持的传输协议

AI开发平台MODELARTS-通过APP认证的方式访问在线服务:方式二：使用Java语言通过AppKey+AppSecret认证鉴权方式发送预测请求

方式二：使用Java语言通过AppKey+AppSecret认证鉴权方式发送预测请求下载Java SDK并在开发工具中完成SDK配置。具体操作请参见在Java环境中集成API请求签名的SDK。创建Java类，进行预测请求。由于在APIG的Java SDK中，“request.setBody()”只支持String类型，所以只支持输入为文本格式的预测请求。此处以json格式为例介绍读取本地预测文件并进行base64编码的请求体： // Package name of the demo. package com.apig.sdk.demo; import com.cloud.apigateway.sdk.utils.Client; import com.cloud.apigateway.sdk.utils.Request; import org.apache.http.HttpHeaders; import org.apache.http.client.methods.CloseableHttpResponse; import org.apache.http.client.methods.HttpPost; import org.apache.http.client.methods.HttpRequestBase; import org.apache.http.impl.client.HttpClients; import org.apache.http.util.EntityUtils; public class MyAkSkTest { public static void main(String[] args) { # API接口公网地址，例如"https://8e******5fe.apig.******.huaweicloudapis.com/v1/infers/f2682******f42" String url = "在线服务的调用地址"; // 认证用的appKey和appSecret硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全； // 本示例以appKey和appSecret保存在环境变量中来实现身份验证为例，运行本示例前请先在本地环境中设置环境变量HUAWEICLOUD_APP_KEY和HUAWEICLOUD_APP_SECRET。 String appKey = System.getenv("HUAWEICLOUD_APP_KEY"); String appSecret = System.getenv("HUAWEICLOUD_APP_SECRET"); String body = "{}"; try { // Create request Request request = new Request(); // Set the AK/AppSecret to sign and authenticate the request. request.setKey(appKey); request.setSecret(appSecret); // Specify a request method, such as GET, PUT, POST, DELETE, HEAD, and PATCH. request.setMethod(HttpPost.METHOD_NAME); // Add header parameters request.addHeader(HttpHeaders.CONTENT_TYPE, "application/json"); // Set a request URL in the format of https://{Endpoint}/{URI}. request.setUrl(url); // Special characters, such as the double quotation mark ("), contained in the body must be escaped. request.setBody(body); // Sign the request. HttpRequestBase signedRequest = Client.sign(request); // Send request. CloseableHttpResponse response = HttpClients.createDefault().execute(signedRequest); // Print result System.out.println(response.getStatusLine().getStatusCode()); System.out.println(EntityUtils.toString(response.getEntity())); } catch (Exception e) { e.printStackTrace(); } } } “body”由具体文本格式决定，此处以json为例。

AI开发平台MODELARTS 访问在线服务支持的认证方式

AI开发平台MODELARTS-通过APP认证的方式访问在线服务:方式三：使用Python语言通过AppCode认证鉴权方式发送预测请求

方式三：使用Python语言通过AppCode认证鉴权方式发送预测请求下载Python SDK并在开发工具中完成SDK配置。具体操作请参见在Python环境中集成API请求签名的SDK。创建请求体，进行预测请求。输入为文件格式 # coding=utf-8 import requests import os if __name__ == '__main__': # Config url, app code and file path. # API接口公网地址，例如"https://8e******5fe.apig.******.huaweicloudapis.com/v1/infers/f2682******f42" url = "在线服务的调用地址" # 认证用的app_code硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全; # 本示例以app_code保存在环境变量中来实现身份验证为例,运行本示例前请先在本地环境中设置环境变量HUAWEICLOUD_APP_CODE。 app_code = os.environ["HUAWEICLOUD_APP_CODE"] file_path = "预测文件的本地路径" # Send request. headers = { 'X-Apig-AppCode': app_code } files = { 'images': open(file_path, 'rb') } resp = requests.post(url, headers=headers, files=files) # Print result print(resp.status_code) print(resp.text) “files”中的参数名由在线服务的输入参数决定，需要和“类型”为“file”的输入参数“名称”保持一致。此处以“images”为例。输入为文本格式（json类型）读取本地预测文件并进行base64编码的请求体示例如下： # coding=utf-8 import base64 import requests import os if __name__ == '__main__': # Config url, app code and request body. # API接口公网地址，例如"https://8e******5fe.apig.******.huaweicloudapis.com/v1/infers/f2682******f42" url = "在线服务的调用地址" # 认证用的app_code硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全; # 本示例以app_code保存在环境变量中来实现身份验证为例,运行本示例前请先在本地环境中设置环境变量HUAWEICLOUD_APP_CODE。 app_code = os.environ["HUAWEICLOUD_APP_CODE"] file_path = "预测文件的本地路径" with open(file_path, "rb") as file: base64_data = base64.b64encode(file.read()).decode("utf-8") # Send request headers = { 'Content-Type': 'application/json', 'X-Apig-AppCode': app_code } body = { 'image': base64_data } resp = requests.post(url, headers=headers, json=body) # Print result print(resp.status_code) print(resp.text) “body”中的参数名由在线服务的输入参数决定，需要和“类型”为“string”的输入参数“名称”保持一致。此处以“image”为例。“body”中的base64_data值为string类型。

AI开发平台MODELARTS 访问在线服务支持的认证方式

AI开发平台MODELARTS-通过APP认证的方式访问在线服务:APP认证鉴权

APP认证鉴权当支持APP认证功能的在线服务运行成功处于“运行中”状态，就可以对服务进行调用。在调用之前您需要进行APP认证鉴权。当使用APP认证，且开启了简易认证模式，API请求既可以选择使用Appkey和AppSecret做签名和校验，也可以选择使用AppCode进行简易认证（ModelArts默认启用简易认证）。推荐使用AppKey/AppSecret认证，其安全性比AppCode认证要高。 AppKey/AppSecret认证：通过AppKey与AppSecret对请求进行加密签名，可标识发送方并防止请求被修改。使用AppKey/AppSecret认证时，您需要使用专门的签名SDK对请求进行签名。 AppKey：APP访问密钥ID。与私有访问密钥关联的唯一标识符；访问密钥ID和私有访问密钥一起使用，对请求进行加密签名。 AppSecret：APP私有访问密钥，即与访问密钥ID结合使用的密钥，对请求进行加密签名，可标识发送方，并防止请求被修改。 AppKey进行简易认证时，即在调用API的时候，在HTTP请求头部消息增加一个参数“apikey”（参数值为“AppKey”），实现快速认证。 AppCode认证：通过AppCode认证通用请求。 AppCode认证就是在调用API的时候，在HTTP请求头部消息增加一个参数“X-Apig-AppCode”（参数值为“AppCode”），而不需要对请求内容签名，API网关也仅校验AppCode，不校验请求签名，从而实现快速响应。您可以在服务详情页的“调用指南”页签（如图5）获取API接口公网地址（对应下文示例中的在线服务的调用地址url）和AppKey/AppSecret（对应下文示例中的app_key、app_secret）和AppCode（对应下文示例中的app_code）。请注意使用图中第二行用于APP认证方式的API接口公网地址。以下情况下需要对API接口公网地址进行拼接修改：当模型配置文件中apis定义了路径，调用地址后需拼接自定义路径。如：“{在线服务的调用地址}/predictions/poetry”。如果是部署SD WebUI推理服务，调用地址后需添加"/"。如：“https://8e******5fe.apig.******.huaweicloudapis.com/v1/infers/f2682******f42/”。图5 获取APP认证鉴权相关信息

AI开发平台MODELARTS 访问在线服务支持的认证方式

AI开发平台MODELARTS-通过APP认证的方式访问在线服务:方式一：使用Python语言通过AppKey+AppSecret认证鉴权方式发送预测请求

方式一：使用Python语言通过AppKey+AppSecret认证鉴权方式发送预测请求下载Python SDK并在开发工具中完成SDK配置。具体操作请参见在Python环境中集成API请求签名的SDK。创建请求体，进行预测请求。输入为文件格式 # coding=utf-8 import requests import os from apig_sdk import signer if __name__ == '__main__': # Config url, ak, sk and file path. # API接口公网地址，例如"https://8e******5fe.apig.******.huaweicloudapis.com/v1/infers/f2682******f42" url = "在线服务的调用地址" # 认证用的app_key和app_secret硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全; # 本示例以app_key和app_secret保存在环境变量中来实现身份验证为例,运行本示例前请先在本地环境中设置环境变量HUAWEICLOUD_APP_KEY和HUAWEICLOUD_APP_SECRET。 app_key = os.environ["HUAWEICLOUD_APP_KEY"] app_secret= os.environ["HUAWEICLOUD_APP_SECRET"] file_path = "预测文件的本地路径" # Create request, set method, url, headers and body. method = 'POST' headers = {"x-sdk-content-sha256": "UNSIGNED-PAYLOAD"} request = signer.HttpRequest(method, url, headers) # Create sign, set the AK/SK to sign and authenticate the request. sig = signer.Signer() sig.Key = app_key sig.Secret = app_secret sig.Sign(request) # Send request files = {'images': open(file_path, 'rb')} resp = requests.request(request.method, request.scheme + "://" + request.host + request.uri, headers=request.headers, files=files) # Print result print(resp.status_code) print(resp.text) “files”参数的请求体样式为“files={"请求参数":("文件路径"，文件内容，“文件类型”)}”，参数填写可以参考表1。表1 files参数说明参数是否必填说明请求参数是在线服务输入参数名称。文件路径否上传文件的路径。文件内容是上传文件的内容。文件类型否上传文件类型。当前支持以下类型： txt类型：text/plain jpg/jpeg类型：image/jpeg png类型：image/png 输入为文本格式（json类型）读取本地预测文件并进行base64编码的请求体示例如下： # coding=utf-8 import base64 import json import os import requests from apig_sdk import signer if __name__ == '__main__': # Config url, ak, sk and file path. # API接口公网地址，例如"https://8e******5fe.apig.******.huaweicloudapis.com/v1/infers/f2682******f42" url = "在线服务的调用地址" # 认证用的app_key和app_secret硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全; # 本示例以app_key和app_secret保存在环境变量中来实现身份验证为例,运行本示例前请先在本地环境中设置环境变量HUAWEICLOUD_APP_KEY和HUAWEICLOUD_APP_SECRET。 app_key = os.environ["HUAWEICLOUD_APP_KEY"] app_secret= os.environ["HUAWEICLOUD_APP_SECRET"] file_path = "预测文件的本地路径" with open(file_path, "rb") as file: base64_data = base64.b64encode(file.read()).decode("utf-8") # Create request, set method, url, headers and body. method = 'POST' headers = { 'Content-Type': 'application/json' } body = { 'image': base64_data } request = signer.HttpRequest(method, url, headers, json.dumps(body)) # Create sign, set the AppKey&AppSecret to sign and authenticate the request. sig = signer.Signer() sig.Key = app_key sig.Secret = app_secret sig.Sign(request) # Send request resp = requests.request(request.method, request.scheme + "://" + request.host + request.uri, headers=request.headers, data=request.body) # Print result print(resp.status_code) print(resp.text) “body”中的参数名由在线服务的输入参数决定，需要和“类型”为“string”的输入参数“名称”保持一致。此处以“image”为例。“body”中的base64_data值为string类型。

AI开发平台MODELARTS 访问在线服务支持的认证方式

AI开发平台MODELARTS-访问在线服务简介

访问在线服务简介在线服务的状态处于“运行中”，则表示在线服务已部署成功，部署成功的在线服务，将为用户提供一个可调用的API，此API为标准Restful API。在集成至生产环境之前，需要对此API进行调测。在线服务的API默认为HTTPS访问，同时还支持WebSocket访问。在线服务部署时如果选择了“升级为WebSocket”，服务部署完成后，API接口公网地址将是一个WebSocket协议地址。请参见Websocket访问在线服务。当前ModelArts支持访问在线服务的认证方式有以下方式（均以HTTPS请求为例）： Token认证 AK/SK认证 APP认证 ModelArts支持通过以下几种方式调用API访问在线服务：访问在线服务（公网访问通道）访问在线服务（VPC高速访问通道）调用API访问在线服务时，对预测请求体大小和预测时间有限制：请求体的大小不超过12MB，超过后请求会被拦截。因APIG（API网关）限制，平台每次请求预测的时间不超过40秒。父主题：访问在线服务

AI开发平台MODELARTS 访问在线服务

AI开发平台MODELARTS-使用Server-Sent Events协议的方式访问在线服务:SSE在线服务调用

SSE在线服务调用 SSE协议本身不提供额外的认证方式，和HTTP请求方式一致。可以使用ModelArts提供的以下认证方式： token认证 AK/SK APP认证 SSE服务调用如下（以图形界面的软件Postman进行预测，token认证为例）：图1 SSE服务调用图2 响应头Content-Type 正常情况下，可以观察到响应头Content-Type为text/event-stream;charset=UTF-8。

AI开发平台MODELARTS 访问在线服务支持的传输协议

云服务器内容精选

访问在线服务

7*24

备案

专业服务

退订

建议反馈

售前咨询热线