云服务器内容精选

华为云首页用户手册

Standard推理部署

AI开发平台MODELARTS-ModelArts Standard推理服务访问公网方案:操作事项

操作事项 ModelArts：设置资源池的网络用户VPC：安装和配置正向代理算法镜像：设置DNS代理和公网地址调用 ModelArts：设置资源池的网络专属资源池的创建作业类型包含推理服务，选择的网络需打通VPC网络，如下图所示：图2 创建专属资源池图3 打通VPC 打通VPC可实现ModelArts资源池和用户VPC的网络打通。打通VPC前需要提前创建好VPC和子网，具体步骤请参考创建虚拟私有云和子网。用户VPC：安装和配置正向代理在安装正向代理前，需要先购买一台弹性云服务器ECS （镜像可选择Ubuntu最新版本），并配置好弹性EIP，然后登录E CS 进行正向代理Squid的安装和配置，步骤如下：如果没有安装Docker，执行以下命令进行Docker安装 curl -sSL https://get.daocloud.io/docker | sh 拉取Squid镜像 docker pull ubuntu/squid 创建主机目录，配置whitelist.conf和squid.conf 先创建主机目录： mkdir –p /etc/squid/ 添加whitelist.conf配置文件，内容为安全控制可访问的地址，如： .apig.cn-east-3.huaweicloudapis.com 添加squid.conf配置文件，内容如下： # An ACL named 'whitelist' acl whitelist dstdomain '/etc/squid/whitelist.conf' # Allow whitelisted URLs through http_access allow whitelist # Block the rest http_access deny all # Default port http_port 3128 然后设置主机目录和配置文件权限如下： chmod 640 -R /etc/squid 启动squid实例 docker run -d --name squid -e TZ=UTC -v /etc/squid:/etc/squid -p 3128:3128 ubuntu/squid:latest 如果whitelist.conf或squid.conf有更新，则进入容器刷新squid docker exec –it squid bash root@{container_id}:/# squid -k reconfigure 算法镜像：设置DNS代理和公网地址调用设置代理在代码中设置代理指向代理服务器私有IP和端口，如下所示： proxies = { "http": "http://{proxy_server_private_ip}:3128", "https": "http://{proxy_server_private_ip}:3128" } 服务器私有IP获取如下图所示：图4 ECS私有IP 地址调用在推理代码中，使用服务URL进行业务请求，如： https://e8a048ce25136addbbac23ce6132a.apig.cn-east-3.huaweicloudapis.com

AI开发平台MODELARTS Standard推理部署
AI开发平台MODELARTS-ModelArts Standard推理服务支持VPC直连的高速访问通道配置:准备工作

准备工作使用专属资源池部署在线服务，服务状态为“运行中”。需使用新版专属资源池部署服务，详情请参见ModelArts Standard资源池功能介绍。只有专属资源池部署的服务才支持VPC直连的高速访问通道。 VPC直连的高速访问通道，目前只支持访问在线服务。因流量限控，获取在线服务的IP和端口号次数有限制，每个主账号租户调用次数不超过2000次/分钟，每个子账号租户不超过20次/分钟。目前仅支持自定义镜像导入模型，部署的服务支持高速访问通道。

AI开发平台MODELARTS Standard推理部署