检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
服务部署失败，报错ModelArts.3520，服务总数超限 部署服务时，ModelArts报错“ModelArts.3520: 在线服务总数超限，限制为20”，接口返回“A maximum of xxx real-time services are allowed.”，表示服务数量超限。
错误码还包括247、139等。 退出码137或者247 可能是内存溢出造成的。请减少数据量、减少batch_size，优化代码，合理聚合、复制数据。 请注意，数据文件大小不等于内存占用大小，需仔细评估内存使用情况。 退出码139 请排查安装包的版本，可能存在包冲突的问题。 排查办法
可选项。用于指定DeepSpeed的配置文件相对或绝对路径。DeepSpeed是一个开源库，用于加速深度学习训练。通过使用DeepSpeed，可以实现如混合精度训练、ZeRO内存优化等高级特性，以提高训练效率和性能 stage sft 表示当前的训练阶段。可选择值：[pt、sft、rm、ppo、dpo]，pt代表预训
ModelArts计费模式概述 ModelArts服务提供包年/包月和按需计费两种计费模式，以满足不同场景下的用户需求。如您需要快速了解ModelArts服务不同计费模式的具体价格，请参见ModelArts价格详情。 包年/包月：一种预付费模式，即先付费再使用，按照订单的购买周期
thms 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 表2 Query参数 参数 是否必选 参数类型 描述 offset 否 Integer 查询算法的偏移量，最小为0。例如设置为1，则表示从第二条开始查。
在线服务鉴权 功能介绍 计费工作流在线服务鉴权。 接口约束 无 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI POST /v2/{project_id}/workflows/service/auth
使用专属资源池部署在线服务，服务状态为“运行中”。 需使用新版专属资源池部署服务，详情请参见ModelArts Standard资源池功能介绍。 只有专属资源池部署的服务才支持VPC直连的高速访问通道。 VPC直连的高速访问通道，目前只支持访问在线服务。 因流量限控，获取在线服务的IP和端口号次
是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 resource_id 是 String 资源id，如在线服务的服务ID。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 Content-Type
buildkit由两部分组成： buildkitd（服务端）：负责镜像构建，目前支持runc和containerd作为镜像构建环境，默认是runc。 buildkitctl（客户端）：负责解析Dockerfile文件，并向服务端buildkitd发出构建请求。 下载并解压buildkit程序。
负载均衡 告警、监控和统计 图1 VPC直连的高速访问通道示意图 准备工作 使用专属资源池部署在线服务，服务状态为“运行中”。 只有专属资源池部署的服务才支持VPC直连的高速访问通道。 VPC直连的高速访问通道，目前只支持访问在线服务。 因流量限控，获取在线服务的IP和端口号次数有限制
“告警恢复通知”：开启开关 图4 设置告警通知 先在SMN创建一个主题，用于配置告警通知规则。更多内容请参考消息通知服务用户指南。 创建主题 进入“消息通知服务”控制台，单击“主题管理 > 主题”，进入“主题”页面。 单击“创建主题”填写主题名称，选择企业项目后，单击确定即可创建一个主题。
在线服务预测报错ModelArts.4503 问题现象 在线服务部署完成且服务已经处于“运行中”的状态后，向运行的服务发起推理请求，报错ModelArts.4503。 原因分析及处理方法 服务预测报错ModelArts.4503有多种场景，常见场景如下： 通信出错 请求报错：{"
Studio大模型即服务平台。 在ModelArts Studio左侧导航栏中，选择“模型部署”进入服务列表。 选择“预置服务”页签。 领取免费调用额度。 在预置服务列表，选择所需的服务，单击操作列的“领取”。当领取置灰时，表示该服务的免费额度已领取。 有以下两种方式免费体验预置服务。 在“模型体验”页面进行推理。
目前支持Ascend Snt3和Snt9、Snt9、Snt9B、Snt9C。Ascend应用案例请参见Ascend应用样例。 模型训练：ModelArts中支持使用Snt9、Snt9B训练模型。 模型推理：在ModelArts中将模型部署上线为在线服务时，支持使用Snt3、Snt3
配套关系使用本文档。 资源规格推荐使用“西南-贵阳一”Region上的DevServer和昇腾Snt9B资源。 推理部署使用的服务框架是vLLM。vLLM支持v0.4.2版本。 支持FP16和BF16数据类型推理。 DevServer驱动版本要求23.0.5。 资源规格要求 本文档中的模型运行环境是ModelArts
ype类型不影响int8的scale系数的抽取和加载。 启动kv-cache-int8-per-tensor量化服务。 在使用OpenAI接口或vLLM接口启动推理服务时添加如下参数： --kv-cache-dtype int8_pertensor #只支持int8，表示kvint8
配套关系使用本文档。 资源规格推荐使用“西南-贵阳一”Region上的DevServer和昇腾Snt9B资源。 推理部署使用的服务框架是vLLM。vLLM支持v0.5.0版本。 支持FP16和BF16数据类型推理。 适配的CANN版本是cann_8.0.rc3。 DevServer驱动版本要求23
配套关系使用本文档。 资源规格推荐使用“西南-贵阳一”Region上的DevServer和昇腾Snt9B资源。 推理部署使用的服务框架是vLLM。vLLM支持v0.5.0版本。 支持FP16和BF16数据类型推理。 DevServer驱动版本要求23.0.6。 资源规格要求 本文档中的模型运行环境是ModelArts
erver和昇腾Snt9B资源。 推理部署使用的服务框架是vLLM。vLLM支持v0.3.2。 支持FP16和BF16数据类型推理。 资源规格要求 本文档中的模型运行环境是ModelArts Lite的DevServer。推荐使用“西南-贵阳一”Region上的资源和Ascend
部署的在线服务状态为告警 问题现象 在部署在线服务时，状态显示为“告警”。 解决方法 使用状态为告警的服务进行预测，可能存在预测失败的风险，请从以下4个角度进行排查，并重新部署。 后台预测请求过多。 如果您使用API接口进行预测，请检查是否预测请求过多。大量的预测请求会导致部署的在线服务进入告警状态。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
