检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在线服务的API接口组成规则是什么？ AI应用部署成在线服务后，用户可以获取API接口用于访问推理。
在线服务 部署在线服务时，自定义预测脚本python依赖包出现冲突，导致运行出错 在线服务预测时，如何提高预测速度？ 调整模型后，部署新版本AI应用能否保持原API接口不变？ 在线服务的API接口组成规则是什么？
在线服务预测报错MR.0105 问题现象 部署为在线服务，服务处于运行中状态，预测时报错：{ "erno": "MR.0105", "msg": "Recognition failed","words_result": {}}。
集成在线服务API至生产环境中应用 针对已完成调测的API，可以将在线服务API集成至生产环境中应用。 前提条件 确保在线服务一直处于“运行中”状态，否则会导致生产环境应用不可用。
部署在线服务 部署在线服务包括： 已部署为在线服务的初始化。 部署在线服务predictor。 部署批量服务transformer。 部署服务返回服务对象Predictor，其属性包括服务管理章节下的所有功能。
原因分析 在线服务启动后，ModelArts提供两种方式的预测： 方式1：在ModelArts的Console的预测页签进行预测； 方式2：在ModelArts的Console的调用指南页签获取到调用地址，然后通过cURL或者Postman等工具进行预测。
图1 部署在线服务 父主题： 在线服务
查看在线服务详情 当AI应用部署为在线服务成功后，您可以进入“在线服务”页面，来查看服务详情。 登录ModelArts管理控制台，在左侧菜单栏中选择“模型部署>在线服务”，进入“在线服务”管理页面。 单击目标服务名称，进入服务详情页面。
ModelArts支持通过JupyterLab工具在线打开Notebook，开发基于PyTorch、TensorFlow和MindSpore引擎的AI模型。具体操作流程如图1 使用JupyterLab在线开发调试代码所示。
配置kubectl工具 kubectl是Kubernetes集群的命令行工具，配置kubectl后，您可通过kubectl命令操作Kubernetes集群。本文介绍如何配置kubectl工具，操作步骤如下。 进入专属资源池。
APP签名认证需要在header的X-Sdk-Date和Authorization字段中填入通过sdk或者工具使用该在线服务绑定的APP的AppKey和AppSecret所生产的这两个字段的值，以完成对该请求的签名认证。具体指导参见链接：访问在线服务（APP认证）。
在线服务参数说明请参见部署模型为在线服务。修改在线服务还需要配置“最大无效实例数”设置并行升级的最大节点数，升级阶段节点无效。 父主题： 管理同步在线服务
专属资源池下的在线服务停止后，启动新的在线服务，提示资源不足 停止在线服务后，需要等待几分钟等待资源释放。 父主题： Standard资源池
在线服务 单击在线服务列表“操作”列的“更多>删除”删除服务。 勾选在线服务列表中的服务，然后单击列表左上角“删除”按钮，批量删除服务。 单击目标服务名称，进入服务详情页面，单击右上角“删除”删除服务。 批量服务 单击批量服务列表“操作”列的“删除”，删除服务。
查看操作 在ModelArts管理控制台的左侧导航栏中选择“模型部署 > 在线服务”，在服务列表中，您可以单击名称/ID，进入服务详情页面。 在服务详情页面，切换到“事件”页签，查看事件信息。 父主题： 管理同步在线服务
前提条件 在线服务部署时需选择“升级为WebSocket”。 在线服务中的AI应用导入选择的镜像需支持WebSocket协议。 约束与限制 WebSocket协议只支持部署在线服务。 只支持自定义镜像导入AI应用部署的在线服务。
在线服务鉴权 功能介绍 计费工作流在线服务鉴权。 接口约束 无 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。
方式三：使用Python语言通过AppCode认证鉴权方式发送预测请求 下载Python SDK并在开发工具中完成SDK配置。具体操作请参见在Python环境中集成API请求签名的SDK。 创建请求体，进行预测请求。
管理同步在线服务 查看在线服务详情 查看在线服务的事件 管理在线服务生命周期 修改在线服务配置 在云监控平台查看在线服务性能指标 集成在线服务API至生产环境中应用 父主题： 使用ModelArts Standard部署模型并推理预测
父主题： 在线服务
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
