正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
用户通过OBS导入AI应用时,选择使用基础镜像,用户自己编写了部分推理代码实现自己的推理逻辑,出现故障后希望通过故障日志排查定位故障原因,但是通过logger打印日志无法在在线服务的日志中查看到部分内容。 原因分析 推理服务的日志如果需要显示出来,需要代码中将日志打印到Console控制台。当前推理基础镜像使用的
flow、开发环境、模型训练、在线服务、专属资源池涉及到需要停止的计费项如下: 自动学习:停止因运行自动学习作业而创建的训练作业和在线服务。删除存储到OBS中的数据及OBS桶。 Workflow:停止因运行Workflow作业而创建的训练作业和在线服务。删除存储到OBS中的数据及OBS桶。
服务管理概述 服务管理,包括将已创建成功的模型部署为在线服务或本地服务。可以实现在线预测、本地预测、服务详情查询、查看服务日志等功能。 这里的在线服务包括“predictor”和“transformer”两类,都包括下文描述的功能,本章节以“predictor”服务为例进行说明。
场景描述 本案例介绍如何在Snt9B环境中利用Deployment机制部署在线推理服务。首先创建一个Pod以承载服务,随后登录至该Pod容器内部署在线服务,并最终通过新开一个终端作为客户端来访问并测试该在线服务的功能。 图1 任务示意图 操作步骤 拉取镜像。本测试镜像为bert_
ModelArts在线服务正常运行。 已在云监控页面设置告警规则,具体操作请参见设置告警规则。 在线服务已正常运行一段时间(约10分钟)。 对于新创建的在线服务,需要等待一段时间,才能查看上报的监控数据和监控视图。 故障、删除状态的在线服务,无法在云监控中查看其监控指标。当在线服务再次启动或恢复后,即可正常查看。
出现此问题,一般是因为后台服务故障导致的,建议稍等片刻,然后重新部署在线服务。如果重试超过3次仍无法解决,请获取如下信息,并联系华为云技术支持协助解决故障。 获取服务ID。 进入“部署上线>在线服务”页面,在服务列表中找到自动学习任务中部署的在线服务,自动学习部署的服务都是以“exeML-”开头的
型部署为一个在线服务,如果由于配额限制(即在线服务的个数超出配额限制),导致无法将模型部署为服务。此时会在自动学习项目中提示“部署上线任务提交失败”的错误。 修改建议 方法1:进入“部署上线>在线服务”页面,将不再使用的服务删除,释放资源。 方法2:如果您部署的在线服务仍需继续使用,建议申请增加配额。
服务部署 自定义镜像模型部署为在线服务时出现异常 部署的在线服务状态为告警 服务启动失败 服务部署、启动、升级和修改时,拉取镜像失败如何处理? 服务部署、启动、升级和修改时,镜像不断重启如何处理? 服务部署、启动、升级和修改时,容器健康检查失败如何处理? 服务部署、启动、升级和修改时,资源不足如何处理?
自动学习训练后的模型是否可以下载? 不可以下载。但是您可以在AI应用管理页面查看,或者将此模型部署为在线服务。 父主题: 模型训练
自动学习中部署上线是将模型部署为什么类型的服务? 自动学习中部署上线是将模型部署为在线服务,您可以添加图片或代码进行服务测试,也可以使用URL接口调用。 部署成功后,您也可以在ModelArts管理控制台的“部署上线 > 在线服务”页面中,查看到正在运行的服务。您也可以在此页面停止服务或删除服务。
ModelArts支持的监控指标 功能说明 为使用户更好地掌握自己的ModelArts在线服务和对应模型负载的运行状态,云服务平台提供了云监控。您可以使用该服务监控您的ModelArts在线服务和对应模型负载,执行自动实时监控、告警和通知操作,帮助您更好地了解服务和模型的各项性能指标。
可以在创建训练作业页面添加标签,也可以在已经创建完成的训练作业详情页面的“标签”页签中添加标签。 在ModelArts的在线服务中添加标签。 可以在创建在线服务页面添加标签,也可以在已经创建完成的在线服务详情页面的“标签”页签中添加标签。 图1 添加标签 用户也可以在ModelArts任务中添加标签
可以在创建训练作业页面添加标签,也可以在已经创建完成的训练作业详情页面的“标签”页签中添加标签。 在ModelArts的在线服务中添加标签。 可以在创建在线服务页面添加标签,也可以在已经创建完成的在线服务详情页面的“标签”页签中添加标签。 在ModelArts的专属资源池中添加标签。 可以在创建弹性
设置告警规则有多种方式。您可以根据实际应用场景,选择设置告警规则的方式。 对ModelArts服务设置告警规则 对单个服务设置告警规则 对模型版本设置告警规则 对服务或模型版本的单个指标设置告警规则 方式一:对整个ModelArts服务设置告警规则 登录管理控制台。 在“服务列表”中选择“管理与监管
删除服务存在如下两种删除方式。 根据部署在线服务生成的服务对象删除服务。 根据查询服务对象列表返回的服务对象删除服务。 示例代码 在ModelArts notebook平台,Session鉴权无需输入鉴权参数。其它平台的Session鉴权请参见Session鉴权。 方式1:根据部署在线服务生成的服务对象删除服务
调用API接口创建训练作业和部署服务时,如何填写资源池的参数? 调用API接口创建训练作业时,“pool_id”为“资源池ID”。 调用API接口部署在线服务时,“pool_name”为“资源池ID” 。 图1 资源池ID 父主题: API/SDK
s。SWR的更多信息请参见《容器镜像服务用户指南》。 与智能边缘平台的关系 ModelArts可将模型部署至智能边缘平台(Intelligent EdgeFabric,简称IEF)纳管的边缘节点。IEF的更多信息请参见《智能边缘平台用户指南》。 与云监控的关系 ModelArts使用云监控服务(Cloud
s。SWR的更多信息请参见《容器镜像服务用户指南》。 与智能边缘平台的关系 ModelArts可将模型部署至智能边缘平台(Intelligent EdgeFabric,简称IEF)纳管的边缘节点。IEF的更多信息请参见《智能边缘平台用户指南》。 与云监控的关系 ModelArts使用云监控服务(Cloud
6-gpu"。修改完成后,重新执行导入模型和部署为在线服务的操作。 参数设置完成后,单击“下一步”,确认规格参数,单击“提交”,完成在线服务的部署。 您可以进入“模型部署 > 在线服务”页面,等待服务部署完成,当服务状态变为“运行中”时,表示服务部署成功。预计时长2分钟左右。 在线服务部署完成后,您可以单
自动学习声音分类预测报错ERROR:input key sound is not in model 根据在线服务预测报错日志ERROR:input key sound is not in model inputs可知,预测的音频文件是空。预测的音频文件太小,换大的音频文件预测。 父主题: