检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
(Ubuntu 18.04,建议不小于2U8G,本地存储空间100G,带EIP全动态BGP,按流量10M带宽) × 多机多卡 按需购买。 (普通OBS桶) 包月购买。 (HPC型500G) 免费。 免费。 包月购买。 免费。 包月购买。
ModelArts支持通过以下几种方式调用API访问在线服务(案例中均以HTTPS请求为例): 通过公网访问通道的方式访问在线服务:ModelArts推理默认使用公网访问在线服务。在线服务部署成功后,将为用户提供一个可调用的API,此API为标准Restful API。
10M带宽) × 多机多卡 按需购买 (普通OBS桶) 包月购买 (HPC型500G) 免费 免费 包月购买 免费 包月购买 (Ubuntu 18.04,建议不小于2U8G,本地存储空间100G,带EIP全动态BGP,按流量10M带宽) × 表2 开源数据集训练效率参考 算法及数据
请注意使用图中第二行用于APP认证方式的API接口公网地址。 以下情况下需要对API接口公网地址进行拼接修改: 当模型配置文件中apis定义了路径,调用地址后需拼接自定义路径。如:“{在线服务的调用地址}/predictions/poetry”。
权重百分比,分配到此模型的流量权重,仅当infer_type为real-time时需要配置,多个权重相加必须等于100;当在一个在线服务中同时配置了多个模型版本且设置不同的流量权重比例时,持续地访问此服务的预测接口,ModelArts会按此权重比例将预测请求转发到对应的模型版本实例
表1 ModelArts Lite涉及的资源配额 服务 资源类型 ECS资源类型 ECS实例数 CPU核心数 RAM容量(MB) 弹性公网IP EIP资源 伸缩带宽策略 云硬盘EVS SFS资源 磁盘数 磁盘容量(GB) 快照数 弹性文件服务SFS资源 容量配额
图2 获取API接口调用公网地址 如果信息正确,右下角连接状态处会显示:CONNECTED; 如果无法建立连接,如果是401状态码,检查认证信息; 如果显示WRONG_VERSION_NUMBER等关键字,检查自定义镜像的端口和ws跟wss的配置是否正确。
训练作业的资源池以及ECS都需要联通公网,否则会安装和下载失败。 父主题: 准备镜像
枚举值如下: BMS:裸金属服务器 ECS:弹性云服务器 表4 Endpoints 参数 参数类型 描述 allowed_access_ips Array of strings 允许通过SSH协议访问Notebook的公网IP地址白名单列表,默认都可以访问。
枚举值如下: BMS:裸金属服务器 ECS:弹性云服务器 表4 Endpoints 参数 参数类型 描述 allowed_access_ips Array of strings 允许通过SSH协议访问Notebook的公网IP地址白名单列表,默认都可以访问。
weight 是 Integer 权重百分比,分配到此模型的流量权重,仅当infer_type为real-time时需要配置,多个权重相加必须等于100;当在一个在线服务中同时配置了多个模型版本且设置不同的流量权重比例时,持续地访问此服务的预测接口,ModelArts会按此权重比例将预测请求转发到对应的模型版本实例
安装过程需要连接互联网git clone,请确保ECS可以访问公网 docker build -t <镜像名称>:<版本名称> . 若无法访问公网,则可以配置代理,增加`--build-arg`参数指定代理地址,可访问公网。
枚举值如下: BMS:裸金属服务器 ECS:弹性云服务器 表4 Endpoints 参数 参数类型 描述 allowed_access_ips Array of strings 允许通过SSH协议访问Notebook的公网IP地址白名单列表,默认都可以访问。
确保容器可以访问公网。 资源规格要求 推荐使用“西南-贵阳一”Region上的DevServer资源和Ascend Snt9B。
weight Integer 权重,分配到此模型的流量权重。 specification String 资源规格。 instance_count Integer 模型部署的实例数。 envs Map<String, String> 运行模型需要的环境变量键值对。
确保容器可以访问公网。 资源规格要求 推荐使用“西南-贵阳一”Region上的DevServer资源和Ascend Snt9B。
就绪探针:用于检测应用实例是否已经准备好接收流量。如果就绪探针失败,即实例未准备好,会从服务负载均衡的池中剔除该实例,不会将流量路由到该实例,直到探测成功。 存活探针:用于检测应用实例内应用程序的健康状态。如果存活探针失败,即应用程序不健康,将会自动重启实例。
就绪探针:用于检测应用实例是否已经准备好接收流量。如果就绪探针失败,即实例未准备好,会从服务负载均衡的池中剔除该实例,不会将流量路由到该实例,直到探测成功。 存活探针:用于检测应用实例内应用程序的健康状态。如果存活探针失败,即应用程序不健康,将会自动重启实例。
枚举值如下: BMS:裸金属服务器 ECS:弹性云服务器 表5 Endpoints 参数 参数类型 描述 allowed_access_ips Array of strings 允许通过SSH协议访问Notebook的公网IP地址白名单列表,默认都可以访问。
xxx 流量限制(QPS) 设置待部署模型的流量限制QPS。 3 实例数 设置服务器个数。 推荐实例数 = 流量限制 ÷ 推荐的单实例流量限制 1 更多选项 事件通知 选择是否打开“事件通知”开关。 关闭 自动停止 当使用付费资源时,可以选择是否打开“自动停止”开关。