检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
因流量限控，获取在线服务的IP和端口号次数有限制，每个主账号租户调用次数不超过2000次/分钟，每个子账号租户不超过20次/分钟。 目前仅支持自定义镜像导入模型，部署的服务支持高速访问通道。
修改模型服务QPS 流量限制QPS是评估模型服务处理能力的关键指标，它指示系统在高并发场景下每秒能处理的请求量。这一指标直接关系到模型的响应速度和处理效率。不当的QPS配置可能导致用户等待时间延长，影响满意度。
共享版计费项包括存储空间和流量费用，目前均免费提供给您。 企业版当前仅支持按需计费模式，公测期间，可免费使用。 上传镜像前需要创建组织，创建步骤请参考创建组织。 购买对象存储服务OBS 对象存储服务提供按需计费和包年包月两种计费模式，用户可以根据实际需求购买OBS服务。
Failed to invoke backend service due to connection refused. " 出现该报错有两种情况： 流量超过了模型的处理能力。可以考虑降低流量或者增加模型实例数量。 镜像自身有问题。需要单独运行镜像确保镜像本身能正确提供服务。
推荐实例数 = 流量限制 ÷ 推荐的单实例流量限制 推荐的单实例流量限制请参见单实例QPS的推荐值说明。 更多选项 内容审核 选择是否打开内容审核，默认启用。 开关打开（默认打开），内容审核可以阻止模型推理中的输入输出中出现不合规的内容，但可能会对接口性能产生较大影响。
如果有高并发的大流量推理请求，请提工单联系专业服务支持。 父主题： 功能咨询
按实际用量付费 发送短信通知费用构成：短信通知条数 发送电子邮件费用构成：电子邮件+外网下行流量 发送HTTP(S)费用构成：HTTP(S)+外网下行流量 计费示例 以下案例中出现的费用价格仅供参考，实际价格请参见各服务价格详情。 示例：使用公共资源池。
ModelArts承载关键业务的对外开放EIP部署了高防服务，以防大流量攻击。 ModelArts对存放关键数据的数据库部署了数据库安全服务。
按实际用量付费 发送短信通知费用构成：短信通知条数 发送电子邮件费用构成：电子邮件+外网下行流量 发送HTTP(S)费用构成：HTTP(S)+外网下行流量 运行日志（不开启则不计费） 由云日志服务（LTS）提供日志收集、分析、存储等服务。
“服务流量限制” - 服务流量限制是指每秒内一个服务能够被访问的次数上限。您可以根据实际需求设置每秒流量限制。 “升级为WebSocket” - 设置在线服务是否部署为WebSocket服务。了解在线服务支持WebSocket，请参考WebSocket在线服务全流程开发。
（Ubuntu 18.04，建议不小于2U8G，本地存储空间100G，带EIP全动态BGP，按流量10M带宽） × 多机多卡 按需购买。 （普通OBS桶） 包月购买。 （HPC型500G） 免费。 免费。 包月购买。 免费。 包月购买。
10M带宽） × 多机多卡 按需购买 （普通OBS桶） 包月购买 （HPC型500G） 免费 免费 包月购买 免费 包月购买 （Ubuntu 18.04，建议不小于2U8G，本地存储空间100G，带EIP全动态BGP，按流量10M带宽） × 表2 开源数据集训练效率参考 算法及数据
weight 是 Integer 权重百分比，分配到此模型的流量权重，仅当infer_type为real-time时需要配置，多个权重相加必须等于100；当在一个在线服务中同时配置了多个模型版本且设置不同的流量权重比例时，持续地访问此服务的预测接口，ModelArts会按此权重比例将预测请求转发到对应的模型版本实例
weight Integer 权重，分配到此模型的流量权重。 specification String 资源规格。 instance_count Integer 模型部署的实例数。 envs Map<String, String> 运行模型需要的环境变量键值对。
就绪探针：用于检测应用实例是否已经准备好接收流量。如果就绪探针失败，即实例未准备好，会从服务负载均衡的池中剔除该实例，不会将流量路由到该实例，直到探测成功。 存活探针：用于检测应用实例内应用程序的健康状态。如果存活探针失败，即应用程序不健康，将会自动重启实例。
就绪探针：用于检测应用实例是否已经准备好接收流量。如果就绪探针失败，即实例未准备好，会从服务负载均衡的池中剔除该实例，不会将流量路由到该实例，直到探测成功。 存活探针：用于检测应用实例内应用程序的健康状态。如果存活探针失败，即应用程序不健康，将会自动重启实例。
权重百分比，分配到此模型的流量权重，仅当infer_type为real-time时需要配置，多个权重相加必须等于100；当在一个在线服务中同时配置了多个模型版本且设置不同的流量权重比例时，持续地访问此服务的预测接口，ModelArts会按此权重比例将预测请求转发到对应的模型版本实例
按实际用量付费 发送短信通知费用构成：短信通知条数 发送电子邮件费用构成：电子邮件+外网下行流量 发送HTTP(S)费用构成：HTTP(S)+外网下行流量 计费示例 以下案例中出现的费用价格仅供参考，实际价格请参见各服务价格详情。 示例：使用公共资源池运行自动学习作业。
就绪探针：用于检测应用实例是否已经准备好接收流量。如果就绪探针失败，即实例未准备好，会从服务负载均衡的池中剔除该实例，不会将流量路由到该实例，直到探测成功。 存活探针：用于检测应用实例内应用程序的健康状态。如果存活探针失败，即应用程序不健康，将会自动重启实例。
70B）等sft训练完成后多线程退出时报“torch.distributed.DistStoreError: Socket Timeout”时请参考问题4：Error waiting on exit barrier错误 4、需要开启profiling功能进行性能数据采集和解析请参考录制
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
