检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
--image-input-shape：输入图片维度，当前不支持图片动态维度，如果图片不是（1，336，336）shape，将会被resize。
实时推理的部署及使用流程 在创建完模型后，可以将模型部署为一个在线服务。当在线服务的状态处于“运行中”，则表示在线服务已部署成功，部署成功的在线服务，将为用户提供一个可调用的API，此API为标准Restful API。
在线推理 在线推理是对每一个推理请求同步给出推理结果的在线服务（Web Service）。 批量推理 批量推理是对批量数据进行推理的批量作业。 昇腾芯片 昇腾芯片又叫Ascend芯片，是华为自主研发的高计算力低功耗的AI芯片。
例如您的模型是Pytorch框架，部署为在线服务时出现告警：ModuleNotFoundError: No module named ‘model_service.tfserving_model_service’，则需要您在推理代码customize_service.py里使用from
步骤六：预测分析 运行完成的工作流会自动部署相应的在线服务，您只需要在相应的服务详情页面进行预测即可。 在服务部署节点单击“实例详情”或者在ModelArts管理控制台，选择“模型部署 > 在线服务”，单击生成的在线服务名称，即可进入在线服务详情页。
步骤六：预测分析 运行完成的工作流会自动部署相应的在线服务，您只需要在相应的服务详情页面进行预测即可。 在服务部署节点单击“实例详情”或者在ModelArts管理控制台，选择“模型部署 > 在线服务”，单击生成的在线服务名称，即可进入在线服务详情页。
图9 运行启动脚本 上传一张预测图片（手写数字图片）到Notebook中。 图10 手写数字图片 图11 上传预测图片 重新打开一个新的Terminal终端，执行如下命令进行预测。
在线服务部署完成后，您可以单击操作列的预测，进入服务详情页的“预测”页面。 在“预测”页签，单击“上传”，上传一个测试图片，单击“预测”进行预测。此处提供一个预测样例图供使用。
支持在线服务、批量服务和边缘服务。 父主题： 功能咨询
在ModelArts管理控制台，选择“部署上线 > 在线服务”。 在服务列表上方搜索框中，搜索条件选择“资源名称”，输入2中的在线服务名称，找到该资源。 单击操作列“更多 > 停止”，对在线服务执行停止操作。
服务管理概述 服务管理，包括将已创建成功的模型部署为在线服务或本地服务。可以实现在线预测、本地预测、服务详情查询、查看服务日志等功能。
首先创建一个Pod以承载服务，随后登录至该Pod容器内部署在线服务，并最终通过新建一个终端作为客户端来访问并测试该在线服务的功能。 图1 任务示意图 操作步骤 拉取镜像。本测试镜像为bert_pretrain_mindspore:v1，已经把测试数据和代码打进镜像中。
启动命令如下： sh run.sh 图6 运行启动脚本 上传一张预测图片（手写数字图片）到Notebook中。 图7 手写数字图片 图8 上传预测图片 重新打开一个新的Terminal终端，执行如下命令进行预测。
原因分析 针对已发布的数据集，其对应的OBS目录下，发生了数据变化，如删除图片，导致此Manifest文件与当前OBS目录下的数据情况不符。使用此Manifest文件再次导入时，出现错误。
服务部署完成且服务处于运行中后，可以往该服务发送推理的请求，请求的内容根据模型的不同可以是文本，图片，语音，视频等内容。 当使用调用指南页签中显示的调用地址（华为云APIG网关服务的地址）预测时，对请求体的大小限制是12MB，超过12MB时，请求会被拦截。
除图片类型之外的数据集（如视频、文本、音频等），单个样本大小限制：5GB。 针对图片类数据集（物体检测、图像分类、图像分割），单个图片大小限制：25MB。 单个manifest文件大小限制：5GB。 文本文件单行大小限制：100KB。 数据集标注结果文件大小限制：100MB。
应用场景 推理服务访问公网地址的场景，如： 输入图片，先进行公网OCR服务调用，然后进行NLP处理； 进行公网文件下载，然后进行分析； 分析结果回调给公网服务终端。 方案设计 从推理服务的算法实例内部，访问公网服务地址的方案。
支持管理托管的资产文件，例如在线预览、下载、删除文件。 只支持预览大小不超过10MB、格式为文本类或图片类的文件。 支持编辑资产介绍。每个资产介绍可分为基础设置和使用描述。 基础设置部分包含了该资产所有重要的结构化元数据信息。
支持管理托管的资产文件，例如在线预览、下载、删除文件。 只支持预览大小不超过10MB、格式为文本类或图片类的文件。 支持编辑资产介绍。每个资产介绍可分为基础设置和使用描述。 基础设置部分包含了该资产所有重要的结构化元数据信息。
进入“部署上线>在线服务”页面，在服务列表中找到自动学习任务中部署的在线服务，自动学习部署的服务都是以“exeML-”开头的。单击服务名称进入服务详情页面，在“基本信息”区域，获取“服务ID”的值。 获取在线服务事件信息。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
