检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
部署上线失败 出现此问题，一般是因为后台服务故障导致的，建议稍等片刻，然后重新部署在线服务。如果重试超过3次仍无法解决，请获取如下信息，并联系华为云技术支持协助解决故障。 获取服务ID。 进入“部署上线>在线服务”页面，在服务列表中找到自动学习任务中部署的在线服务，自动学习部署的
本列表的状态显示为“就绪”时表示模型可以使用。 步骤三：使用订阅模型部署在线服务 模型订阅成功后，可将此模型部署为在线服务 在展开的版本列表中，单击“部署 > 在线服务”跳转至部署页面。 图2 部署模型 在部署页面，参考如下说明填写关键参数。 “名称”：自定义一个在线服务的名称，
如出现错误，可能是机器上的NPU设备没有正常安装，或者NPU镜像被其他容器挂载。请先正常安装固件和驱动，或释放被挂载的NPU。 检查docker是否安装。 docker -v #检查docker是否安装 如尚未安装，运行以下命令安装docker。 yum install -y
如出现错误，可能是机器上的NPU设备没有正常安装，或者NPU镜像被其他容器挂载。请先正常安装固件和驱动，或释放被挂载的NPU。 驱动版本要求是23.0.5。如果不符合要求请参考安装固件和驱动章节升级驱动。 检查docker是否安装。 docker -v #检查docker是否安装 如尚未安装，运行以下命令安装docker。
和创建模型界面上配置的端口。确认两处端口保持一致。模型创建界面如果不填端口信息，则ModelArts会默认监听8080端口，即镜像代码中启用的端口必须是8080。 图2 自定义镜像中的代码开放的端口 图3 创建模型界面上配置的端口 健康检查配置有问题 镜像如果配置了健康检查，服务启动失败，从以下两个方面进行排查：
如出现错误，可能是机器上的NPU设备没有正常安装，或者NPU镜像被其他容器挂载。请先正常安装固件和驱动，或释放被挂载的NPU。 驱动版本要求是23.0.6。如果不符合要求请参考安装固件和驱动章节升级驱动。 检查docker是否安装。 docker -v #检查docker是否安装 如尚未安装，运行以下命令安装docker。
N文件时，则需要根据配置文件生成映射文件；如果模型输入为文件时，则不需要。 操作步骤 登录ModelArts管理控制台，在左侧导航栏中选择“模型部署 > 批量服务”，默认进入“批量服务”列表。 在批量服务列表中，单击左上角“部署”，进入“部署”页面。 在部署页面，填写批量服务相关参数。
Schedule objects 服务调度配置，仅在线服务可配置，默认不使用，服务长期运行。 cluster_id 否 String 可选，部署服务时使用的资源池ID。对于rel-time和batch服务类型，为旧版专属资源池ID，配置此参数后，则使用集群的网络配置，vpc_id参数不生效，使
服务部署、启动、升级和修改时，镜像不断重启如何处理？ 问题现象 服务部署、启动、升级和修改时，镜像不断重启。 原因分析 容器镜像代码错误 解决方法 根据容器日志进行排查，修复代码，重新创建模型，部署服务。 父主题： 服务部署
部署推理服务 非分离部署推理服务 分离部署推理服务 父主题： 主流开源大模型基于Lite Server适配PyTorch NPU推理指导（6.3.908）
部署推理服务 非分离部署推理服务 分离部署推理服务 父主题： 主流开源大模型基于Lite Server适配PyTorch NPU推理指导（6.3.910）
部署推理服务 非分离部署推理服务 分离部署推理服务 父主题： 主流开源大模型基于Lite Server适配PyTorch NPU推理指导（6.3.911）
内存不足如何处理？ 问题现象 在部署或升级在线服务时，如果部署或升级失败，并且在事件中出现如下类似提示。 图1 内存不足提示样例1 运行中服务出现告警时，在事件中出现建议：内存不足，请增加内存。 图2 内存不足提示样例2 原因分析 部署或升级时出现该提示，可能原因是选择的计算节点
实时推理的部署及使用流程 在创建完模型后，可以将模型部署为一个在线服务。当在线服务的状态处于“运行中”，则表示在线服务已部署成功，部署成功的在线服务，将为用户提供一个可调用的API，此API为标准Restful API。访问在线服务时，您可以根据您的业务需求，分别确认使用何种认证
部署推理服务 非分离部署推理服务 分离部署推理服务 父主题： 主流开源大模型基于Lite Server适配PyTorch NPU推理指导（6.3.909）
部署上线 部署上线失败 父主题： 自动学习
Standard推理部署 ModelArts Standard推理服务访问公网方案 端到端运维ModelArts Standard推理服务方案 使用自定义引擎在ModelArts Standard创建模型 使用大模型在ModelArts Standard创建模型部署在线服务 第三方推理框架迁移到ModelArts
Standard推理部署 如何将Keras的.h5格式的模型导入到ModelArts中？ ModelArts导入模型时，如何编写模型配置文件中的安装包依赖参数？ 在ModelArts中使用自定义镜像创建在线服务，如何修改端口？ ModelArts平台是否支持多模型导入？ 在Mod
服务部署、启动、升级和修改时，拉取镜像失败如何处理？ 问题现象 服务部署、启动、升级和修改时，拉取镜像失败。 原因分析 节点磁盘不足，镜像大小过大。 解决方法 首先考虑优化镜像，减小节点磁盘的占用。 优化镜像无法解决问题，请联系系统管理员处理。 父主题： 服务部署
导入模型后部署服务，提示磁盘不足 问题现象 用户在导入模型后，部署服务时，提示磁盘空间不足：“No space left on device”。 原因分析 ModelArts部署使用的是容器化部署，容器运行时有空间大小限制，当用户的模型文件或者其他自定义文件，系统文件超过Docker
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
