正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
好的模型一键部署到端、边、云的各种设备上和各种场景上,并且还为个人开发者、企业和设备生产厂商提供了一整套安全可靠的一站式部署方式。 图1 部署模型的流程 在线推理服务,可以实现高并发,低延时,弹性伸缩,并且支持多模型灰度发布、A/B测试。 支持各种部署场景,既能部署为云端的在线推
登录ModelArts管理控制台,在左侧导航栏中选择“模型部署 > 在线服务”,默认进入“在线服务”列表。 在“在线服务”列表中,单击左上角“部署”,进入“部署”页面。 在“部署”页面,填写在线服务相关参数。 填写基本信息,详细参数说明请参见表1。 表1 基本信息参数说明 参数名称
IEF节点边缘服务部署失败 问题现象 部署边缘服务时,出现“异常”状态。 原因分析1 部署边缘服务时,使用到IEF纳管的边缘节点,就需要用户给ModelArts的委托赋予Tenant Administrator权限,否则将无法成功部署边缘服务。具体可参见IEF的权限说明。 处理方法1
服务部署 自定义镜像模型部署为在线服务时出现异常 部署的在线服务状态为告警 服务启动失败 服务部署、启动、升级和修改时,拉取镜像失败如何处理? 服务部署、启动、升级和修改时,镜像不断重启如何处理? 服务部署、启动、升级和修改时,容器健康检查失败如何处理? 服务部署、启动、升级和修改时,资源不足如何处理?
部署服务如何选择计算节点规格? 部署服务时,用户需要指定节点规格进行服务部署,界面目前显示的节点规格是ModelArts根据用户的AI应用和资源池的节点规格计算得到,用户可以选择ModelArts提供的规格,也可以使用自定义规格(公共资源池不支持)。 计算节点规格主要是根据用户A
载训练得到的模型。 在本地环境进行离线部署。 具体请参见模型调试章节在本地导入模型,参见服务调试章节,将模型离线部署在本地并使用。 父主题: 功能咨询
访问方式 访问在线服务(公网访问通道) 访问在线服务(VPC高速访问通道) 父主题: 访问在线服务
认证方式 访问在线服务(Token认证) 访问在线服务(AK/SK认证) 访问在线服务(APP认证) 父主题: 访问在线服务
若在线服务的状态处于“运行中”,则表示在线服务已部署成功,部署成功的在线服务,将为用户提供一个可调用的API,此API为标准Restful API。在集成至生产环境之前,需要对此API进行调测,您可以使用以下方式向在线服务发起预测请求: 方式一:使用图形界面的软件进行预测(以Postm
ppSecret认证鉴权方式发送预测请求 方式三:使用Python语言通过AppCode认证鉴权方式发送预测请求 方式四:使用Java语言通过AppCode认证鉴权方式发送预测请求 前提条件 数据已完成准备:已在ModelArts中创建状态“正常”可用的AI应用。 由于在线运行需消耗资源,确保账户未欠费。
服务部署失败,报错No Module named XXX 问题现象 服务部署失败,报错:No Module named XXX 原因分析 No Module named XXX,表示模型中没有导入对应依赖模块。 处理方法 依赖模块没有导入,需要您在模型推理代码中导入缺失依赖模块。
访问在线服务(AK/SK认证) 若在线服务的状态处于“运行中”,则表示在线服务已部署成功。部署成功的在线服务,将为用户提供一个可调用的API,此API为标准Restful API。用户可以通过AK/SK签名认证方式调用API。 使用AK/SK认证时,您可以通过APIG SDK访问,也可以通过ModelArts
ModelArts推理默认使用公网访问在线服务。在线服务部署成功后,将为用户提供一个可调用的API,此API为标准Restful API。您可以在服务详情页面,调用指南页签中查看API接口公网地址。 图1 API接口公网地址 访问在线服务 公网访问在线服务有以下认证方式,API调用请参见认证详情: 访问在线服务(Token认证)
面,完成基本配置后单击“下一步:网络配置”,进入网络配置页面,选择1中打通的VPC,完成其他参数配置,完成高级配置并确认配置,下发购买弹性云服务器的任务。等待服务器的状态变为“运行中”时,弹性云服务器创建成功。单击“名称/ID”,进入服务器详情页面,查看虚拟私有云配置信息。 图4
创建AI应用成功后,部署服务报错,如何排查代码问题 问题现象 创建AI应用成功后,部署服务失败,如何定位是模型代码编写有问题。 原因分析 用户自定义镜像或者通过基础镜像导入的AI应用时,用户自己编写了很多自定义的业务逻辑,这些逻辑有问题将会导致服务部署或者预测失败,需要能够排查出哪里有问题。
应用。 部署服务:把AI应用在资源池中部署为容器实例,注册外部可访问的推理API。 推理:在您的应用中增加对推理API的调用,在业务流程中集成AI推理能力。 部署服务 在完成AI应用的创建后,可在“模型部署”页面对AI应用进行部署。ModelArts当前支持如下几种部署类型: 在线服务
修改服务 对于已部署的服务,您可以修改服务的基本信息以匹配业务变化,更换AI应用的版本号,实现服务升级。 您可以通过如下两种方式修改服务的基本信息: 方式一:通过服务管理页面修改服务信息 方式二:通过服务详情页面修改服务信息 前提条件 服务已部署成功,“部署中”的服务不支持修改服务信息进行升级。
通过AK/SK认证的方式访问在线服务 如果在线服务的状态处于“运行中”,则表示在线服务已部署成功。部署成功的在线服务,将为用户提供一个可调用的API,此API为标准Restful API。用户可以通过AK/SK签名认证方式调用API。 使用AK/SK认证时,您可以通过APIG SDK访问,也可以通过ModelArts
访问在线服务 访问在线服务简介 认证方式 访问方式 WebSocket访问在线服务 Server-Sent Events访问在线服务 父主题: 部署AI应用(在线服务)
文本或文件进行服务测试。 如果您的元模型是自定义的,即推理代码和配置文件是自行编写的(配置文件编写说明),“调用指南”只是将您编写的配置文件进行了可视化展示。调用指南的输入参数与配置文件对应关系如下所示。 图2 配置文件与调用指南的对应关系 如果您的元模型是采用模型模板导入,不同