检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
击操作列“部署>在线服务”,将AI应用部署为在线服务。 图6 部署在线服务 在“部署”页面,参考下图填写参数,然后根据界面提示完成在线服务创建。本案例适用于CPU规格,节点规格需选择CPU。如果有免费CPU规格,可选择免费规格进行部署(每名用户限部署一个免费的在线服务,如果您已经
在线服务的API接口组成规则是什么? AI应用部署成在线服务后,用户可以获取API接口用于访问推理。 API接口组成规则如下: https://域名/版本/infer/服务ID 示例如下: https://6ac81cdfac4f4a30be95xxxbb682.apig.xxx
步骤三:使用订阅模型部署在线服务 模型订阅成功后,可将此模型部署为在线服务。 在展开的版本列表中,单击“部署 > 在线服务”跳转至部署页面。 图5 部署模型 在部署页面,参考如下说明填写关键参数。 “名称”:自定义一个在线服务的名称,也可以使用默认值,此处以“商超商品识别服务”为例。 “资源池”:选择“公共资源池”。
ModelArts AI识别可以单独针对一个标签识别吗? 标注多个标签进行训练而成的模型,最后部署成在线服务之后也是对标注的多个标签去进行识别的。如果只需要快速识别一种标签,建议单独训练识别此标签的模型使用,并选择较大的部署上线的规格也可以提供识别速度。 父主题: 一般性问题
资产识别与管理 资产识别 用户在AI Gallery中的资产包括用户发布的AI资产以及用户提供的一些个人信息。 AI资产包括但不限于文本、图形、数据、文章、照片、图像、插图、代码、AI算法、AI模型等。 用户的个人信息包括: 用户注册时提供的昵称、头像、邮箱。 用户参加实践时提供的姓名、手机号、邮箱。
在线服务 部署在线服务时,自定义预测脚本python依赖包出现冲突,导致运行出错 在线服务预测时,如何提高预测速度? 调整模型后,部署新版本AI应用能否保持原API接口不变? 在线服务的API接口组成规则是什么? 在线服务运行中但是预测失败时,如何排查报错是不是模型原因导致的 在
部署在线服务 部署在线服务包括: 已部署为在线服务的初始化。 部署在线服务predictor。 部署批量服务transformer。 部署服务返回服务对象Predictor,其属性包括服务管理章节下的所有功能。 示例代码 在ModelArts notebook平台,Session
Standard一键完成商超商品识别模型部署 ModelArts的AI Gallery中提供了大量免费的模型供用户一键部署,进行AI体验学习。 本文以“商超商品识别”模型为例,完成从AI Gallery订阅模型,到ModelArts一键部署为在线服务的免费体验过程。 “商超商品识别”模型可以识别81类常
表1 在线服务配置 参数 说明 名称 在线服务名称。 状态 在线服务当前状态。 来源 在线服务的来源。 服务ID 在线服务的ID。 描述 您可以单击编辑按钮,添加服务描述。 资源池 当前服务使用的资源池规格。如果使用公共资源池部署,则不显示该参数。 个性化配置 您可以为在线服务的
在线服务预测时,如何提高预测速度? 部署在线服务时,您可以选择性能更好的“计算节点规格”提高预测速度。例如使用GPU资源代替CPU资源。 部署在线服务时,您可以增加“计算节点个数”。 如果节点个数设置为1,表示后台的计算模式是单机模式;如果节点个数设置大于1,表示后台的计算模式为分布式的。您可以根据实际需求进行选择。
设置在线服务故障自动重启 场景描述 当系统检测到Snt9b硬件故障时,自动复位Snt9B芯片并重启推理在线服务,提升了推理在线服务的恢复速度。 约束限制 仅支持使用Snt9b资源的同步在线服务。 只支持针对整节点资源复位,请确保部署的在线服务为8*N卡规格,请谨慎评估对部署在该节点的其他服务的影响。
专属资源池下的在线服务停止后,启动新的在线服务,提示资源不足 停止在线服务后,需要等待几分钟等待资源释放。 父主题: Standard资源池
以通过如下方式重启在线服务: 登录ModelArts管理控制台,在左侧菜单栏中选择“模型部署>在线服务”,进入在线服务列表页面。您可以单击“操作”列的“更多>重启”,重启服务。 登录ModelArts管理控制台,在左侧菜单栏中选择“模型部署>在线服务”,进入在线服务列表页面。单击
标注多个标签,是否可针对一个标签进行识别? 数据标注时若标注多个标签进行训练而成的模型,最后部署成在线服务之后也是对标注的多个标签去进行识别的。如果只需要快速识别一种标签,建议单独训练识别此标签的模型使用,并选择较大的部署上线的规格也可以提供识别速度。 父主题: Standard数据管理
集成在线服务API至生产环境中应用 针对已完成调测的API,可以将在线服务API集成至生产环境中应用。 前提条件 确保在线服务一直处于“运行中”状态,否则会导致生产环境应用不可用。 集成方式 ModelArts在线服务提供的API是一个标准的Restful API,可使用HTTP
使修改生效。在提交修改服务任务时,如果涉及重启,会有弹窗提醒。 在线服务参数说明请参见部署模型为在线服务。修改在线服务还需要配置“最大无效实例数”设置并行升级的最大节点数,升级阶段节点无效。 父主题: 管理同步在线服务
在线服务预测报错MR.0105 问题现象 部署为在线服务,服务处于运行中状态,预测时报错:{ "erno": "MR.0105", "msg": "Recognition failed","words_result": {}}。 图1 预测报错 原因分析 请在“在线服务”详情页面
在线服务鉴权 功能介绍 计费工作流在线服务鉴权。 接口约束 无 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v2/{project_id}/workflows/service/auth
查看操作 在ModelArts管理控制台的左侧导航栏中选择“模型部署 > 在线服务”,在服务列表中,您可以单击名称/ID,进入服务详情页面。 在服务详情页面,切换到“事件”页签,查看事件信息。 父主题: 管理同步在线服务
在线服务运行中但是预测失败时,如何排查报错是不是模型原因导致的 问题现象 在线服务启动后,当在线服务进入到“运行中”状态后,进行预测,预测请求发出后,收到的响应不符合预期,无法判断是不是模型的问题导致的不符合预期。 原因分析 在线服务启动后,ModelArts提供两种方式的预测: