检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
部署在线服务出现报错No CUDA runtime is found 问题现象 部署在线服务出现报错No CUDA runtime is found，using CUDA_HOME='/usr/local/cuda'。 原因分析 从日志报错信息No CUDA runtime is
如出现错误，可能是机器上的NPU设备没有正常安装，或者NPU镜像被其他容器挂载。请先正常安装固件和驱动，或释放被挂载的NPU。 检查docker是否安装。 docker -v #检查docker是否安装 如尚未安装，运行以下命令安装docker。 yum install -y
何种认证方式、访问通道、传输协议，以上三个要素共同构成您的访问请求，三者可自由组合互不影响（例如不同的认证方式可以搭配不同的访问通道、不同的传输协议）。 图1 认证方式、访问通道、传输协议 当前ModelArts支持访问在线服务的认证方式有以下方式（案例中均以HTTPS请求为例）：
如出现错误，可能是机器上的NPU设备没有正常安装，或者NPU镜像被其他容器挂载。请先正常安装固件和驱动，或释放被挂载的NPU。 驱动版本要求是23.0.6。如果不符合要求请参考安装固件和驱动章节升级驱动。 检查docker是否安装。 docker -v #检查docker是否安装 如尚未安装，运行以下命令安装docker。
务可以正常部署成功。 如果三次重试后依然没有足够的资源，则本次服务部署失败。参考以下方式解决： 如果是在公共资源池部署服务，可等待其他用户释放资源后，再进行服务部署。 如果是在专属资源池部署服务，在满足模型需求的前提下，尝试选用更小的容器规格或自定义规格，进行服务部署； 如果当前
配置了合理的服务部署超时时间，服务还是部署失败，无法启动 服务部署成功的标志是模型启动完成，如果没有配置健康检查，就无法检测到模型是否真实的启动。 在自定义镜像健康检查接口中，用户可以实现实际业务是否成功的检测。在创建AI应用时配置健康检查延迟时间，保证容器服务的初始化。 因此，
在线服务部署是否支持包周期？ 在线服务不支持包周期的计费模式。 父主题： 功能咨询
出现此问题现象，通常是因为您部署的模型过大导致的。解决方法如下： 精简模型，重新导入模型和部署上线。 购买专属资源池，在部署上线为在线服务时，使用专属资源池进行部署。 父主题： 服务部署
使用边缘节点部署边缘服务能否使用http接口协议？ 系统默认使用https。如果您想使用http，可以采取以下两种方式： 方式一：在部署边缘服务时添加如下环境变量： MODELARTS_SSL_ENABLED = false 图1 添加环境变量 方式二：在使用自定义镜像导入模型时
部署在线服务时，自定义预测脚本python依赖包出现冲突，导致运行出错 导入模型时，需同时将对应的推理代码及配置文件放置在模型文件夹下。使用Python编码过程中，推荐采用相对导入方式（Python import）导入自定义包。 如果ModelArts推理框架代码内部存在同名包，
服务部署、启动、升级和修改时，镜像不断重启如何处理？ 原因分析 容器镜像代码错误 解决方法 根据容器日志进行排查，修复代码，重新创建AI应用，部署服务。 父主题： 服务部署
如果您的元模型是自定义的，即推理代码和配置文件是自行编写的（配置文件编写说明），“调用指南”只是将您编写的配置文件进行了可视化展示。调用指南的输入参数与配置文件对应关系如下所示。 图3 配置文件与调用指南的对应关系 不同输入请求的预测方式如下： JSON文本预测 登录Model
自动学习中部署上线是将模型部署为什么类型的服务？ 自动学习中部署上线是将模型部署为在线服务，您可以添加图片或代码进行服务测试，也可以使用URL接口调用。 部署成功后，您也可以在ModelArts管理控制台的“部署上线 > 在线服务”页面中，查看到正在运行的服务。您也可以在此页面停止服务或删除服务。
因APIG（API网关）限制，平台每次请求预测的时间不超过40秒。 访问在线服务 公网访问在线服务有以下认证方式，API调用请参见认证详情： 通过Token认证的方式访问在线服务 通过AK/SK认证的方式访问在线服务 通过APP认证的方式访问在线服务 父主题： 访问在线服务支持的访问通道
并进行双向数据传输。 前提条件 在线服务部署时需选择“升级为WebSocket”。 在线服务中的AI应用导入选择的镜像需支持WebSocket协议。 约束与限制 WebSocket协议只支持部署在线服务。 只支持自定义镜像导入AI应用部署的在线服务。 调用API访问在线服务时，对预测请求体大小和预测时间有限制：
ModelArts支持将模型部署为哪些类型的服务？ 支持在线服务、批量服务和边缘服务。 父主题： 功能咨询
部署上线 功能咨询 在线服务 边缘服务 父主题： Standard推理部署
考案例订阅的AI应用一直处于等待同步状态解决。 步骤三：使用订阅模型部署在线服务 模型订阅成功后，可将此模型部署为在线服务。 在展开的版本列表中，单击“部署 > 在线服务”跳转至部署页面。 图5 部署模型 在部署页面，参考如下说明填写关键参数。 “名称”：自定义一个在线服务的名称
面，完成基本配置后单击“下一步：网络配置”，进入网络配置页面，选择1中打通的VPC，完成其他参数配置，完成高级配置并确认配置，下发购买弹性云服务器的任务。等待服务器的状态变为“运行中”时，弹性云服务器创建成功。单击“名称/ID”，进入服务器详情页面，查看虚拟私有云配置信息。 图4
开启AppCode认证（部署模型为在线服务中的“支持APP认证”参数）。对于已部署的在线服务，ModelArts支持修改其配置开启AppCode认证。 本文主要介绍如何修改一个已有的在线服务，使其支持AppCode认证并进行在线预测。 前提条件 提前部署在线服务，具体操作可以参考案例：使用ModelArts
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
