检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
根据部署在线服务生成的服务对象删除服务。 根据查询服务对象列表返回的服务对象删除服务。 示例代码 在ModelArts notebook平台,Session鉴权无需输入鉴权参数。其它平台的Session鉴权请参见Session鉴权。
服务部署 自定义镜像模型部署为在线服务时出现异常 部署的在线服务状态为告警 服务启动失败 服务部署、启动、升级和修改时,拉取镜像失败如何处理? 服务部署、启动、升级和修改时,镜像不断重启如何处理? 服务部署、启动、升级和修改时,容器健康检查失败如何处理?
在ModelArts的在线服务中添加标签。 可以在创建在线服务页面添加标签,也可以在已经创建完成的在线服务详情页面的“标签”页签中添加标签。 在ModelArts的专属资源池中添加标签。
停止在线服务:在ModelArts Standard控制台的“模型部署 > 在线服务”列表,单击对应服务操作列的“更多 > 停止”,停止在线服务。
使用案例 主要包含三种场景的用例: 新增在线服务 更新在线服务 服务部署输出推理地址 新增在线服务 import modelarts.workflow as wf # 通过ServiceStep来定义一个服务部署节点,输入指定的模型进行服务部署 # 定义模型名称参数 model_name
部署在线服务Predictor需要线上服务端根据AI引擎创建容器,较耗时;本地Predictor部署较快,最长耗时10s,可用以测试模型,不建议进行模型的工业应用。
步骤5:部署为在线服务(CPU) AI应用创建成功后,可将其部署为在线服务,在部署时可使用CPU资源。 单击AI应用名称左侧的单选按钮,在列表页底部展开“版本列表”,在版本的操作列中单击“部署 > 在线服务”。 在部署页面,参考如下说明填写关键参数。
调用API接口部署在线服务时,“pool_name”为“资源池ID” 。 图1 资源池ID 父主题: API/SDK
自动学习声音分类预测报错ERROR:input key sound is not in model 根据在线服务预测报错日志ERROR:input key sound is not in model inputs可知,预测的音频文件是空。预测的音频文件太小,换大的音频文件预测。
图2 检测框的四点坐标示意图 由于“运行中”的在线服务将持续耗费资源,如果不需再使用此在线服务,建议在版本管理区域,单击“停止”,即可停止在线服务的部署,避免产生不必要的费用。如果需要继续使用此服务,可单击“启动”恢复。
部署文本分类服务 模型部署 模型部署操作即将模型部署为在线服务,并且提供在线的测试UI与监控能力。完成模型训练后,可选择准确率理想且训练状态为“运行成功”的版本部署上线。具体操作步骤如下。
部署图像分类服务 模型部署 模型部署操作即将模型部署为在线服务,并且提供在线的测试UI与监控能力。完成模型训练后,可选择准确率理想且训练状态为“运行成功”的版本部署上线。具体操作步骤如下。
图2 预测结果 由于“运行中”的在线服务将持续耗费资源,如果不需再使用此在线服务,建议在“在线服务”的操作列单击“更多>停止”,即可停止在线服务的部署,避免产生不必要的费用。如果需要继续使用此服务,可单击“启动”恢复。
部署声音分类服务 模型部署 模型部署操作即将模型部署为在线服务,并且提供在线的测试UI与监控能力。完成模型训练后,可选择准确率理想且训练状态为“运行成功”的版本部署上线。具体操作步骤如下。
图1 自动学习生成的模型 自动学习生成的模型,支持哪些其他操作 支持部署为在线服务、批量服务或边缘服务。 在自动学习页面中,仅支持部署为在线服务,如需部署为批量服务或边缘服务,可在“模型管理 > 模型”页面中直接部署。
监控安全风险 ModelArts支持监控ModelArts在线服务和对应模型负载,执行自动实时监控、告警和通知操作,帮助用户更好地了解服务和模型的各项性能指标。详细内容请参见ModelArts支持的监控指标。 父主题: 安全
关于configs如何生成,请参见部署在线服务。 更新服务配置时,存在以下约束: 参数status指定的目标状态不允许和当前服务状态相同。
方式1:根据部署在线服务生成的服务对象进行查询服务日志 1 2 3 4 5 6 7 from modelarts.session import Session from modelarts.model import Predictor session = Session() predictor_instance
方式1:根据部署在线服务生成的服务对象进行查询服务监控 1 2 3 4 5 6 7 from modelarts.session import Session from modelarts.model import Predictor session = Session() predictor_instance
方式1:根据部署在线服务生成的服务对象进行服务详情查询 1 2 3 4 5 6 7 from modelarts.session import Session from modelarts.model import Predictor session = Session() predictor_instance