正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
上传远端文件至JupyterLab 在Notebook的JupyterLab中,支持通过远端文件地址下载文件。 要求:远端文件的URL粘贴在浏览器的输入框中时,可以直接下载该文件。 通过JupyterLab打开一个运行中的Notebook。 单击JupyterLab窗口上方导航栏的
实时推理的部署及使用流程 在创建完AI应用后,可以将AI应用部署为一个在线服务。当在线服务的状态处于“运行中”,则表示在线服务已部署成功,部署成功的在线服务,将为用户提供一个可调用的API,此API为标准Restful API。
克隆GitHub开源仓库文件到JupyterLab 在Notebook的JupyterLab中,支持从GitHub开源仓库Clone文件。 通过JupyterLab打开一个运行中的Notebook。 单击JupyterLab窗口上方导航栏的ModelArts Upload Files
例如您的AI应用是Pytorch框架,部署为在线服务时出现告警:ModuleNotFoundError: No module named ‘model_service.tfserving_model_service’,则需要您在推理代码customize_service.py里使用
在线推理 在线推理是对每一个推理请求同步给出推理结果的在线服务(Web Service)。 批量推理 批量推理是对批量数据进行推理的批量作业。 昇腾芯片 昇腾芯片又叫Ascend芯片,是华为自主研发的高计算力低功耗的AI芯片。
支持在线服务、批量服务和边缘服务。 父主题: 功能咨询
服务管理概述 服务管理,包括将已创建成功的模型部署为在线服务或本地服务。可以实现在线预测、本地预测、服务详情查询、查看服务日志等功能。
自动学习中部署上线是将模型部署为在线服务,您可以添加图片或代码进行服务测试,也可以使用URL接口调用。 部署成功后,您也可以在ModelArts管理控制台的“部署上线 > 在线服务”页面中,查看到正在运行的服务。您也可以在此页面停止服务或删除服务。 父主题: 部署上线
首先创建一个Pod以承载服务,随后登录至该Pod容器内部署在线服务,并最终通过新开一个终端作为客户端来访问并测试该在线服务的功能。 图1 任务示意图 操作步骤 拉取镜像。本测试镜像为bert_pretrain_mindspore:v1,已经把测试数据和代码打进镜像中。
在ModelArts管理控制台,选择“部署上线 > 在线服务”。 在服务列表上方搜索框中,搜索条件选择“资源名称”,输入2中的在线服务名称,找到该资源。 单击操作列“更多 > 停止”,对在线服务执行停止操作。
如果您的在线服务刚创建完成,请等待5~10分钟后查看监控数据。 前提条件 ModelArts在线服务正常运行。 已在云监控页面设置告警规则,具体操作请参见设置告警规则。 在线服务已正常运行一段时间(约10分钟)。
进入“部署上线>在线服务”页面,在服务列表中找到自动学习任务中部署的在线服务,自动学习部署的服务都是以“exeML-”开头的。单击服务名称进入服务详情页面,在“基本信息”区域,获取“服务ID”的值。 获取在线服务事件信息。
修改建议 方法1:进入“部署上线>在线服务”页面,将不再使用的服务删除,释放资源。 方法2:如果您部署的在线服务仍需继续使用,建议申请增加配额。 父主题: 部署上线
但是您可以在AI应用管理页面查看,或者将此模型部署为在线服务。 父主题: 模型训练
min ModelArts在线服务 1分钟 req_count_5xx 5xx异常次数 统计api接口返回5xx错误的次数 ≥Count/min ModelArts在线服务 1分钟 avg_latency 平均延迟毫秒数 统计api接口平均响应延时时间 ≥ms ModelArts在线服务
在ModelArts的在线服务中添加标签。 可以在创建在线服务页面添加标签,也可以在已经创建完成的在线服务详情页面的“标签”页签中添加标签。 在ModelArts的专属资源池中添加标签。
在ModelArts的在线服务中添加标签。 可以在创建在线服务页面添加标签,也可以在已经创建完成的在线服务详情页面的“标签”页签中添加标签。 图1 添加标签 用户也可以在ModelArts任务中添加标签时,创建新的标签,直接输入标签键和标签值即可。
设置告警规则 操作场景 通过设置ModelArts在线服务和模型负载告警规则,用户可自定义监控目标与通知策略,及时了解ModelArts在线服务和模型负载状况,从而起到预警作用。
根据部署在线服务生成的服务对象删除服务。 根据查询服务对象列表返回的服务对象删除服务。 示例代码 在ModelArts notebook平台,Session鉴权无需输入鉴权参数。其它平台的Session鉴权请参见Session鉴权。
部署图像分类服务 模型部署 模型部署操作即将模型部署为在线服务,并且提供在线的测试UI与监控能力。完成模型训练后,可选择准确率理想且训练状态为“运行成功”的版本部署上线。具体操作步骤如下。