检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
已在云监控页面设置告警规则，具体操作请参见设置告警规则。 在线服务已正常运行一段时间（约10分钟）。 对于新创建的在线服务，需要等待一段时间，才能查看上报的监控数据和监控视图。 故障、删除状态的在线服务，无法在云监控中查看其监控指标。当在线服务再次启动或恢复后，即可正常查看。 对接云监控之前，
部署模型为在线服务 模型准备完成后，您可以将模型部署为在线服务，对在线服务进行预测和调用。 约束与限制 单个用户最多可创建20个在线服务。 前提条件 数据已完成准备：已在ModelArts中创建状态“正常”可用的模型。 由于在线运行需消耗资源，确保账户未欠费。 操作步骤 登录Mo
管理同步在线服务 查看在线服务详情 查看在线服务的事件 管理在线服务生命周期 修改在线服务配置 在云监控平台查看在线服务性能指标 集成在线服务API至生产环境中应用 设置在线服务故障自动重启 父主题： 使用ModelArts Standard部署模型并推理预测
6-gpu"。修改完成后，重新执行导入模型和部署为在线服务的操作。 参数设置完成后，单击“下一步”，确认规格参数，单击“提交”，完成在线服务的部署。 您可以进入“模型部署 > 在线服务”页面，等待服务部署完成，当服务状态变为“运行中”时，表示服务部署成功。预计时长2分钟左右。 在线服务部署完成后，您可以单
ModelArts支持通过JupyterLab工具在线打开Notebook，开发基于PyTorch、TensorFlow和MindSpore引擎的AI模型。具体操作流程如图1 使用JupyterLab在线开发调试代码所示。 图1 使用JupyterLab在线开发调试代码 操作步骤 创建Notebook实例。
在线服务处于运行中状态时，如何填写推理请求的request header和request body 问题现象 部署在线服务完成且在线服务处于“运行中”状态时，通过ModelArts console的调用指南tab页签可以获取到推理请求的地址，但是不知道如何填写推理请求的header及body。
部署在线服务时，自定义预测脚本python依赖包出现冲突，导致运行出错 导入模型时，需同时将对应的推理代码及配置文件放置在模型文件夹下。使用Python编码过程中，推荐采用相对导入方式（Python import）导入自定义包。 如果ModelArts推理框架代码内部存在同名包，
根据提示完成身份验证，下载密钥，并妥善保管。 获取在线服务信息 在调用接口时，需获取在线服务的调用地址，以及在线服务的输入参数信息。步骤如下： 登录ModelArts管理控制台，在左侧导航栏中选择“模型部署 > 在线服务”，默认进入“在线服务”列表。 单击目标服务名称，进入服务详情页面。 在“在线服务”的详情页面
开启支持APP认证功能 在部署为在线服务时，您可以开启支持APP认证功能。或者针对已部署完成的在线服务，您可以修改服务，开启支持APP认证功能。 登录ModelArts管理控制台，在左侧菜单栏中选择“模型部署 > 在线服务”，进入在线服务管理页面。 开启支持APP认证功能。 在部署为在线服务时，即“
单击“确定”，完成DNS内网域名的创建。 VPC访问在线服务 通过VPC访问通道访问在线服务，API如下： https://{DNS内网域名}/{URL} DNS内网域名：设置的内网域名。您还可以通过在线服务列表页，单击“VPC访问通道”，打开弹出框，查看“访问域名”。 URL：在线服务的URL为服务详情页
通过Token认证的方式访问在线服务 如果在线服务的状态处于“运行中”，则表示在线服务已部署成功，部署成功的在线服务，将为用户提供一个可调用的API，此API为标准Restful API。在集成至生产环境之前，需要对此API进行调测，您可以使用以下方式向在线服务发起预测请求： 方式一
击操作列“部署>在线服务”，将AI应用部署为在线服务。 图6 部署在线服务 在“部署”页面，参考下图填写参数，然后根据界面提示完成在线服务创建。本案例适用于CPU规格，节点规格需选择CPU。如果有免费CPU规格，可选择免费规格进行部署（每名用户限部署一个免费的在线服务，如果您已经
通过Token认证的方式访问在线服务 通过AK/SK认证的方式访问在线服务 通过APP认证的方式访问在线服务 父主题： 访问在线服务支持的访问通道
ppCode认证（部署模型为在线服务中的“支持APP认证”参数）。对于已部署的在线服务，ModelArts支持修改其配置开启AppCode认证。 本文主要介绍如何修改一个已有的在线服务，使其支持AppCode认证并进行在线预测。 前提条件 提前部署在线服务，具体操作可以参考案例：使用ModelArts
创建在线服务包 功能介绍 计费工作流购买资源。 接口约束 无 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI POST /v2/{project_id}/workfl
向数据传输。 前提条件 在线服务部署时需选择“升级为WebSocket”。 在线服务中的模型导入选择的镜像需支持WebSocket协议。 约束与限制 WebSocket协议只支持部署在线服务。 只支持自定义镜像导入模型部署的在线服务。 调用API访问在线服务时，对预测请求体大小和预测时间有限制：
VPC直连的高速访问通道，目前只支持访问在线服务。 因流量限控，获取在线服务的IP和端口号次数有限制，每个主账号租户调用次数不超过2000次/分钟，每个子账号租户不超过20次/分钟。 目前仅支持自定义镜像导入模型，部署的服务支持高速访问通道。 操作步骤 使用VPC直连的高速访问通道访问在线服务，基本操作步骤如下：
在线服务预测报错ModelArts.4503 问题现象 在线服务部署完成且服务已经处于“运行中”的状态后，向运行的服务发起推理请求，报错ModelArts.4503。 原因分析及处理方法 服务预测报错ModelArts.4503有多种场景，常见场景如下： 通信出错 请求报错：{"
部署的在线服务状态为告警 问题现象 在部署在线服务时，状态显示为“告警”。 解决方法 使用状态为告警的服务进行预测，可能存在预测失败的风险，请从以下4个角度进行排查，并重新部署。 后台预测请求过多。 如果您使用API接口进行预测，请检查是否预测请求过多。大量的预测请求会导致部署的在线服务进入告警状态。
Socket（双向实时），它更加轻量级且易于实现。 前提条件 在线服务中的模型导入选择的镜像需支持SSE协议。 约束与限制 SSE协议只支持部署在线服务。 只支持自定义镜像导入模型部署的在线服务。 调用API访问在线服务时，对预测请求体大小和预测时间有限制： 请求体的大小不超过12MB，超过后请求会被拦截。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
