AI开发平台MODELARTS-使用大模型在ModelArts Standard创建模型部署在线服务:部署在线服务

时间:2025-03-12 09:40:00

部署在线服务

部署服务时,需满足以下参数配置:

  1. 自定义部署超时时间

    大模型加载启动的时间一般大于普通的模型创建的服务,请配置合理的“部署超时时间”,避免尚未启动完成被认为超时而导致部署失败。

  2. 添加环境变量

    部署服务时,增加如下环境变量,会将负载均衡的请求亲和策略配置为集群亲和,避免未就绪的服务实例影响预测成功率。

    MODELARTS_SERVICE_TRAFFIC_POLICY: cluster
    图4 自定义部署超时时间和添加环境变量示例图

建议部署多实例,增加服务可靠性。

support.huaweicloud.com/bestpractice-modelarts/modelarts_04_0275.html