检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
扩缩容模型服务实例数 在使用大型模型进行推理时，其业务需求会呈现出明显的峰谷波动。因此，模型服务必须具备灵活的扩缩容能力，以适应不同时间段内的用户负载变化，确保服务的高可用性和资源的高效利用。 ModelArts Studio大模型即服务平台支持手动扩缩容模型服务的实例数，该操作不会影响部署服务的正常运行。
调用API访问在线服务时，对预测请求体大小和预测时间有限制： 请求体的大小不超过12MB，超过后请求会被拦截。 因APIG（API网关）限制，平台每次请求预测的时间不超过40秒。 访问在线服务 公网访问在线服务有以下认证方式，API调用请参见认证详情： 通过Token认证的方式访问在线服务
根据报错提示，请您排查代码，是否已添加以下配置，设置该程序可见的GPU： os.environ['CUDA_VISIBLE_DEVICES'] = '0,1,2,3,4,5,6,7' 其中，0为服务器的GPU编号，可以为0，1，2，3等，表明对程序可见的GPU编号。如果未进行添加配置则该编号对应的GPU不可用。 父主题：
型列表对象，另一个是在线服务对象，此时在运行态通过开关的方式来控制部署/更新服务，如下图所示： 在线服务开关默认关闭，节点走部署服务的流程；如果需要更新服务，则手动打开开关，选择相应的在线服务即可。 进行服务更新时，需要保证被更新的服务所使用的模型与配置的模型名称相同。 父主题：
elArts监控服务。 设置告警规则有多种方式。您可以根据实际应用场景，选择设置告警规则的方式。 对ModelArts服务设置告警规则 对单个服务设置告警规则 对模型版本设置告警规则 对服务或模型版本的单个指标设置告警规则 方式一：对整个ModelArts服务设置告警规则 登录管理控制台。
部署推理服务 非分离部署推理服务 分离部署推理服务 父主题： 主流开源大模型基于Server适配PyTorch NPU推理指导（6.3.909）
查询服务事件日志 功能介绍 查询服务事件日志，包含服务的操作记录及部署过程中的关键动作、部署失败原因。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI GET /v1
PP的AppKey和AppSecret所生产的这两个字段的值，以完成对该请求的签名认证。具体指导参见链接：访问在线服务（APP认证）。 Body： body的组装和模型强相关，不同来源的模型body的组装方式不同。 模型为从容器镜像中导入的：需要按照自定义镜像的要求组织，请咨询该镜像的制作人。
查询服务监控信息 查询当前服务对象监控信息。 示例代码 在ModelArts notebook平台，Session鉴权无需输入鉴权参数。其它平台的Session鉴权请参见Session鉴权。 方式1：根据部署在线服务生成的服务对象进行查询服务监控 1 2 3 4 5 6 7 from
VS Code中设置远端默认安装的插件 在VS Code的配置文件settings.json中添加remote.SSH.defaultExtensions参数，如自动安装Python和Maven插件，可配置如下。 "remote.SSH.defaultExtensions": [
如果您购买了套餐包，计算节点规格可选择您的套餐包，同时在“配置费用”页签还可查看您的套餐包余量以及超出部分的计费方式，请您务必关注，避免造成不必要的资源浪费。 完成资源配置后，单击“继续运行”，服务部署节点将继续运行，直至状态变为“运行成功”，至此，已将模型部署为在线服务。 服务测试 服务部署节点运行成功
接口访问在线服务。 表1 预测结果中的参数说明 参数 说明 predicted_label 该段文本的预测类别。 score 预测为此类别的置信度。 由于“运行中”的在线服务将持续耗费资源，如果不需再使用此在线服务，建议在版本管理区域，单击“停止”，即可停止在线服务的部署，避免产
ModelArts支持将模型部署为哪些类型的服务？ 支持在线服务、批量服务和边缘服务。 父主题： 功能咨询
调用API接口创建训练作业和部署服务时，如何填写资源池的参数？ 调用API接口创建训练作业时，“pool_id”为“资源池ID”。 调用API接口部署在线服务时，“pool_name”为“资源池ID” 。 图1 资源池ID 父主题： API/SDK
Step3 部署在线服务 将Step2 部署模型中创建的AI应用部署为一个在线服务，用于推理调用。 在ModelArts控制台，单击“部署上线 > 在线服务 > 部署”，开始部署在线服务。 图5 部署在线服务 设置部署服务名称，选择Step2 部署模型中创建的AI应用。选择专属资
解决方法 在遇到资源不足的情况时，ModelArts会进行三次重试，在服务重试期间，如果有资源释放出来，则服务可以正常部署成功。 如果三次重试后依然没有足够的资源，则本次服务部署失败。参考以下方式解决： 如果是在公共资源池部署服务，可等待其他用户释放资源后，再进行服务部署。 如果是在专
CombineTmsTags objects 标签的融合结构，相同key合并。 表4 CombineTmsTags 参数 参数类型 描述 key String 标签的key。 values Array of strings 相同key的标签value合并后的列表。 状态码： 400 表5 响应Body参数
service_running_instance_count Integer 服务运行中实例数量。 service_instance_count Integer 服务实例数量。 req_count_per_min Long 服务分钟调用量，这里指当前时间上一分钟的服务调用总量。 表5 Monitor 参数 参数类型
Step3 部署在线服务 将Step2 部署模型中创建的AI应用部署为一个在线服务，用于推理调用。 在ModelArts控制台，单击“部署上线 > 在线服务 > 部署”，开始部署在线服务。 图5 部署在线服务 设置部署服务名称，选择Step2 部署模型中创建的AI应用。选择专属资
”，表示服务数量超限。 正常情况下，单个用户最多可创建20个在线服务。可采取以下方式处理： 删除状态为“异常”的服务。 删除长期不使用的服务。 因业务原因需申请更大配额，可提工单申请扩容。 父主题： 在线服务
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
