检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建模型成功后，部署服务报错，如何排查代码问题 问题现象 创建模型成功后，部署服务失败，如何定位是模型代码编写有问题。 原因分析 用户自定义镜像或者通过基础镜像导入的模型时，用户自己编写了很多自定义的业务逻辑，这些逻辑有问题将会导致服务部署或者预测失败，需要能够排查出哪里有问题。
Standard模型部署 ModelArts Standard提供模型、服务管理能力，支持多厂商多框架多功能的镜像和模型统一纳管。 通常AI模型部署和规模化落地非常复杂。 例如，智慧交通项目中，在获得训练好的模型后，需要部署到云、边、端多种场景。如果在端侧部署，需要一次性部署到不同规格、
服务部署 自定义镜像模型部署为在线服务时出现异常 部署的在线服务状态为告警 服务启动失败 服务部署、启动、升级和修改时，拉取镜像失败如何处理？ 服务部署、启动、升级和修改时，镜像不断重启如何处理？ 服务部署、启动、升级和修改时，容器健康检查失败如何处理？ 服务部署、启动、升级和修改时，资源不足如何处理？
单击“输出路径”，跳转至OBS对象路径，下载训练得到的模型。 在本地环境进行离线部署。 具体请参见模型调试章节在本地导入模型，参见服务调试章节，将模型离线部署在本地并使用。 父主题： Standard推理部署
服务部署失败，报错No Module named XXX 问题现象 服务部署失败，报错：No Module named XXX 原因分析 No Module named XXX，表示模型中没有导入对应依赖模块。 处理方法 依赖模块没有导入，需要您在模型推理代码中导入缺失依赖模块。
前提条件 已存在部署完成的服务。 已完成模型调整，创建模型。 操作步骤 登录ModelArts管理控制台，在左侧导航栏中选择“部署上线 > 在线服务”，默认进入“在线服务”列表。 在部署完成的目标服务中，单击操作列的“修改”，进入“修改服务”页面。 在选择模型及配置中，单击“增加模型版本进行灰度发布”添加新版本。
IEF节点边缘服务部署失败 问题现象 部署边缘服务时，出现“异常”状态。 原因分析1 部署边缘服务时，使用到IEF纳管的边缘节点，就需要用户给ModelArts的委托赋予Tenant Administrator权限，否则将无法成功部署边缘服务。具体可参见IEF的权限说明。 处理方法1
在部署为在线服务时，即“部署”页面，填写部署服务相关参数时，开启支持APP认证功能。 针对已部署完成的在线服务，进入在线服务管理页面，单击目标服务名称“操作”列的“修改”按钮，进入修改服务页面开启支持APP认证功能。 图1 部署页面开启支持APP认证功能 选择APP授权配置。从下拉列表中选择您需要
在ModelArts中部署模型时，为什么无法选择Ascend Snt3资源？ 由于Ascend Snt3资源有限，当资源售罄后，您在部署上线时，无法选择Ascend Snt3资源（公共资源池）进行推理，即在部署页面中，“Ascend: 1* Snt3 (8GB) | ARM: 3
检查自定义镜像的端口和ws跟wss的配置是否正确。 连接成功后结果如下： 图3 连接成功 优先验证自定义镜像提供的websocket服务的情况，不同的工具实现的websocket服务会有不同，可能出现连接建立后维持不住，可能出现请求一次后连接就中断需要重新连接的情况，Model
访问在线服务支持的认证方式 通过Token认证的方式访问在线服务 通过AK/SK认证的方式访问在线服务 通过APP认证的方式访问在线服务 父主题： 将模型部署为实时推理作业
服务名称：填入步骤1中获取的“终端节点服务地址”。单击右侧验证按钮，系统将为您自动填入虚拟私有云、子网和节点IP。 创建内网域名：保持默认值。 确认规格无误后，单击“立即购买”后提交任务，界面自动跳转至终端节点列表页面。 创建DNS内网域名 新创建的在线服务对接的是专享版APIG，需要使用ModelArts
面，完成基本配置后单击“下一步：网络配置”，进入网络配置页面，选择1中打通的VPC，完成其他参数配置，完成高级配置并确认配置，下发购买弹性云服务器的任务。等待服务器的状态变为“运行中”时，弹性云服务器创建成功。单击“名称/ID”，进入服务器详情页面，查看虚拟私有云配置信息。 图4
通过公网访问通道的方式访问在线服务 背景描述 ModelArts推理默认使用公网访问在线服务。在线服务部署成功后，将为用户提供一个可调用的API，此API为标准Restful API。您可以在服务详情页面，调用指南页签中查看API接口公网地址。 图1 API接口公网地址 约束限制
访问在线服务支持的访问通道 通过公网访问通道的方式访问在线服务 通过VPC访问通道的方式访问在线服务 通过VPC高速访问通道的方式访问在线服务 父主题： 将模型部署为实时推理作业
通过Token认证的方式访问在线服务 如果在线服务的状态处于“运行中”，则表示在线服务已部署成功，部署成功的在线服务，将为用户提供一个可调用的API，此API为标准Restful API。在集成至生产环境之前，需要对此API进行调测，您可以使用以下方式向在线服务发起预测请求： 方
process the new request 原因分析 该报错是因为发送预测请求后，服务出现停止后又启动的情况。 处理方法 需要您检查服务使用的镜像，确定服务停止的原因，修复问题。重新创建模型部署服务。 父主题： 服务部署
实时推理的部署及使用流程 在创建完模型后，可以将模型部署为一个在线服务。当在线服务的状态处于“运行中”，则表示在线服务已部署成功，部署成功的在线服务，将为用户提供一个可调用的API，此API为标准Restful API。访问在线服务时，您可以根据您的业务需求，分别确认使用何种认证
登录ModelArts控制台，管理控制台，在左侧导航栏中选择“权限管理”，单击“查看权限”，检查是否配置了obs的委托权限。 图1 查看权限 如果检查后已经存在委托，但是仍然无法访问，可以提工单寻求技术支持。 父主题： 服务部署
航栏中选择“模型部署 > 在线服务”，默认进入“在线服务”列表。 单击目标服务名称，进入服务详情页面。 在“在线服务”的详情页面，可以获取该服务的调用地址和输入参数信息。 “API接口公网地址”即在线服务的调用地址。当模型配置文件中apis定义了路径，调用地址后需拼接自定义路径。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
