检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
部署在线服务出现报错No CUDA runtime is found 问题现象 部署在线服务出现报错No CUDA runtime is found,using CUDA_HOME='/usr/local/cuda'。 原因分析 从日志报错信息No CUDA runtime is
在线服务预测报错ModelArts.4302 问题现象 在线服务部署完成且服务已经处于“运行中”的状态后,向运行的服务发起推理请求,报错ModelArts.4302。 原因分析及处理方法 服务预测报错ModelArts.4302有多种场景,以下主要介绍两种场景: "error_msg":
连接Internet; 如果客户端位于华为云网络内,默认的网络配置即可以访问通这个地址,避免设置特殊的网络配置,例如防火墙规则等。 建议与总结 无 父主题: 在线服务
在线服务部署是否支持包周期? 在线服务不支持包周期的计费模式。 父主题: 功能咨询
ppCode认证(部署模型为在线服务中的“支持APP认证”参数)。对于已部署的在线服务,ModelArts支持修改其配置开启AppCode认证。 本文主要介绍如何修改一个已有的在线服务,使其支持AppCode认证并进行在线预测。 前提条件 提前部署在线服务,具体操作可以参考案例:使用ModelArts
Qwen-VL基于DevServer适配Pytorch NPU的推理指导(6.3.909) Qwen-VL是规模视觉语言模型,可以以图像、文本、检测框作为输入,并以文本和检测框作为输出。具有强大的性能、多语言对话、多图交错对话、支持中文开放域定位、细粒度识别和理解等特点。 本文档主要介绍如何利用训练框架PyTorch_npu
访问在线服务支持的认证方式 通过Token认证的方式访问在线服务 通过AK/SK认证的方式访问在线服务 通过APP认证的方式访问在线服务 父主题: 将AI应用部署为实时推理作业
Lite池故障处理流程 对于ModelArts Lite资源池,每个节点会以DaemonSet方式部署node-agent组件,该组件会检测节点状态,并将检测结果写到K8S NodeCondtition中。同时,节点故障指标默认会上报到AOM,您可在AOM配置告警通知。 当发生节点异常时
Qwen-VL基于DevServer适配Pytorch NPU的Finetune训练指导(6.3.909) Qwen-VL是规模视觉语言模型,可以以图像、文本、检测框作为输入,并以文本和检测框作为输出。具有强大的性能、多语言对话、多图交错对话、支持中文开放域定位、细粒度识别和理解等特点。 本文档主要介绍如何利用训练框架PyTorch_npu
标注数据如何导出 只有“图像分类”、“物体检测”、“图像分割”类型的数据集支持导出功能。 “图像分类”只支持导出txt格式的标注文件。 “物体检测”只支持导出Pascal VOC格式的XML标注文件。 “图像分割”只支持导出Pascal VOC格式的XML标注文件以及Mask图像。
Qwen-VL基于DevServer适配Pytorch NPU的Finetune训练指导(6.3.906) Qwen-VL是规模视觉语言模型,可以以图像、文本、检测框作为输入,并以文本和检测框作为输出。具有强大的性能、多语言对话、多图交错对话、支持中文开放域定位、细粒度识别和理解等特点。 本文档主要介绍如何利用训练框架PyTorch_npu
Qwen-VL基于DevServer适配Pytorch NPU的推理指导(6.3.906) Qwen-VL是规模视觉语言模型,可以以图像、文本、检测框作为输入,并以文本和检测框作为输出。具有强大的性能、多语言对话、多图交错对话、支持中文开放域定位、细粒度识别和理解等特点。 本文档主要介绍如何利用训练框架PyTorch_npu
访问在线服务支持的访问通道 通过公网访问通道的方式访问在线服务 通过VPC高速访问通道的方式访问在线服务 父主题: 将AI应用部署为实时推理作业
访问在线服务支持的传输协议 使用WebSocket协议的方式访问在线服务 使用Server-Sent Events协议的方式访问在线服务 父主题: 将AI应用部署为实时推理作业
模型使用CV2包部署在线服务报错 问题现象 使用CV2包部署在线服务报错 原因分析 使用OBS导入元模型,会用到服务侧的标准镜像,标准镜像里面没有CV2依赖的so的内容。所以ModelArts不支持从对象存储服务(OBS)导入CV2模型包。 处理方法 需要您把CV2包制作为自定义
XXX,表示模型中没有导入对应依赖模块。 处理方法 依赖模块没有导入,需要您在模型推理代码中导入缺失依赖模块。 例如您的AI应用是Pytorch框架,部署为在线服务时出现告警:ModuleNotFoundError: No module named ‘model_service.tfserving
使用预置AI算法部署在线服务报错gunicorn:error:unrecorgized arguments 问题现象 使用预置AI算法部署在线服务报错gunicorn:error:unrecorgized arguments... 图1 在线服务报错 原因分析 根据报错日志分析,
通过JupyterLab在线使用Notebook实例进行AI开发 使用JupyterLab在线开发和调试代码 JupyterLab常用功能介绍 在JupyterLab使用Git克隆代码仓 上传文件至JupyterLab 下载JupyterLab文件到本地 在JupyterLab中使用MindInsight可视化作业
使用自定义镜像创建在线服务,如何修改默认端口 当模型配置文件中定义了具体的端口号,例如:8443,创建AI应用没有配置端口(默认端口号为8080),或者配置了其他端口号,均会导致服务部署失败。您需要把AI应用中的端口号配置为8443,才能保证服务部署成功。 修改默认端口号,具体操作如下:
部署服务时,ModelArts报错“ModelArts.3520: 在线服务总数超限,限制为20”,接口返回“A maximum of xxx real-time services are allowed.”,表示服务数量超限。 正常情况下,单个用户最多可创建20个在线服务。可采取以下方式处理: 删除状态为“异常”的服务。