AI开发平台MODELARTS-访问在线服务(VPC高速访问通道):背景说明

时间:2024-09-05 08:29:59

背景说明

访问在线服务的实际业务中,用户可能会存在如下需求:

  • 高吞吐量、低时延
  • TCP或者RPC请求

因此,ModelArts提供了VPC直连的高速访问通道功能以满足用户的需求。

使用VPC直连的高速访问通道,用户的业务请求不需要经过推理平台,而是直接经VPC对等连接发送到实例处理,访问速度更快。

由于请求不经过推理平台,所以会丢失以下功能:

  • 认证鉴权
  • 流量按配置分发
  • 负载均衡
  • 告警、监控和统计
图1 VPC直连的高速访问通道示意图
support.huaweicloud.com/inference-modelarts/inference-modelarts-0099.html