正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
据传输。 前提条件 在线服务部署时需选择“升级为WebSocket”。 在线服务中的AI应用导入选择的镜像需支持WebSocket协议。 约束与限制 WebSocket协议只支持部署在线服务。 只支持自定义镜像导入AI应用部署的在线服务。 调用API访问在线服务时,对预测请求体大小和预测时间有限制:
开启支持APP认证功能 在部署为在线服务时,您可以开启支持APP认证功能。或者针对已部署完成的在线服务,您可以修改服务,开启支持APP认证功能。 登录ModelArts管理控制台,在左侧菜单栏中选择“模型部署 > 在线服务”,进入在线服务管理页面。 开启支持APP认证功能。 在部署为在线服务时,即“
通过Token认证的方式访问在线服务 如果在线服务的状态处于“运行中”,则表示在线服务已部署成功,部署成功的在线服务,将为用户提供一个可调用的API,此API为标准Restful API。在集成至生产环境之前,需要对此API进行调测,您可以使用以下方式向在线服务发起预测请求: 方式一
通过Token认证的方式访问在线服务 通过AK/SK认证的方式访问在线服务 通过APP认证的方式访问在线服务 父主题: 访问在线服务支持的访问通道
部署AI应用(在线服务) 部署为在线服务 查看服务详情 测试服务 访问在线服务 集成在线服务 CloudShell 父主题: 部署AI应用(部署上线)
数据标注中,难例集如何定义?什么情况下会被识别为难例? 难例是指难以识别的样本,目前只有图像分类和检测支持难例。 父主题: Standard数据管理
VPC直连的高速访问通道,目前只支持访问在线服务。 因流量限控,获取在线服务的IP和端口号次数有限制,每个主账号租户调用次数不超过2000次/分钟,每个子账号租户不超过20次/分钟。 目前仅支持自定义镜像导入模型,部署的服务支持高速访问通道。 操作步骤 使用VPC直连的高速访问通道访问在线服务,基本操作步骤如下:
许重新下发作业的次数。如果不传入则默认为0,表示不做重新下发作业,也不会启用环境检测。 图6 设置API 检测项目与执行条件 检测项目 item(日志关键字) 执行条件 检测成功要求 域名检测 dns 无 volcano容器的域名都解析成功(/etc/volcano下的“.host”文件中的域名解析成功)
cket(双向实时),它更加轻量级且易于实现。 前提条件 在线服务中的AI应用导入选择的镜像需支持SSE协议。 约束与限制 SSE协议只支持部署在线服务。 只支持自定义镜像导入AI应用部署的在线服务。 调用API访问在线服务时,对预测请求体大小和预测时间有限制: 请求体的大小不超过12MB,超过后请求会被拦截。
在线服务预测报错ModelArts.4503 问题现象 在线服务部署完成且服务已经处于“运行中”的状态后,向运行的服务发起推理请求,报错ModelArts.4503。 原因分析及处理方法 服务预测报错ModelArts.4503有多种场景,常见场景如下: 通信出错 请求报错:{"
指按某种策略由已知判断推出新判断的思维过程。人工智能领域下,由机器模拟人类智能,使用构建的神经网络完成推理过程。 在线推理 在线推理是对每一个推理请求同步给出推理结果的在线服务(Web Service)。 批量推理 批量推理是对批量数据进行推理的批量作业。 昇腾芯片 昇腾芯片又叫As
加载模型,执行预处理,完成推理,拼装响应体等。 操作步骤 WebSocket在线服务开发操作步骤如下: 上传镜像至容器镜像服务 使用镜像创建AI应用 使用AI应用部署在线服务 WebSocket在线服务调用 上传镜像至容器镜像服务 将准备好的本地镜像上传到容器镜像服务(SWR)。
标注数据如何导出 只有“图像分类”、“物体检测”、“图像分割”类型的数据集支持导出功能。 “图像分类”只支持导出txt格式的标注文件。 “物体检测”只支持导出Pascal VOC格式的XML标注文件。 “图像分割”只支持导出Pascal VOC格式的XML标注文件以及Mask图像。
Qwen-VL基于DevServer适配Pytorch NPU的Finetune训练指导(6.3.906) Qwen-VL是规模视觉语言模型,可以以图像、文本、检测框作为输入,并以文本和检测框作为输出。具有强大的性能、多语言对话、多图交错对话、支持中文开放域定位、细粒度识别和理解等特点。 本文档主要介绍如何利用训练框架PyTorch_npu
Qwen-VL基于DevServer适配Pytorch NPU的推理指导(6.3.906) Qwen-VL是规模视觉语言模型,可以以图像、文本、检测框作为输入,并以文本和检测框作为输出。具有强大的性能、多语言对话、多图交错对话、支持中文开放域定位、细粒度识别和理解等特点。 本文档主要介绍如何利用训练框架PyTorch_npu
部署的在线服务状态为告警 问题现象 在部署在线服务时,状态显示为“告警”。 解决方法 使用状态为告警的服务进行预测,可能存在预测失败的风险,请从以下4个角度进行排查,并重新部署。 后台预测请求过多。 如果您使用API接口进行预测,请检查是否预测请求过多。大量的预测请求会导致部署的在线服务进入告警状态。
在线服务预测报错ModelArts.4206 问题现象 在线服务部署完成且服务已经处于“运行中”的状态,向服务发起推理请求,报错“ModelArts.4206”。 原因分析 ModelArts.4206表示该API的请求流量超过了设定值。为了保证服务的平稳运行,ModelArts
在线服务预测报错DL.0105 问题现象 在线服务预测报错DL.0105,报错日志:“TypeError:‘float’object is not subscriptable”。 原因分析 根据报错日志分析,是因为一个float数据被当做对象下标访问了。 处理方法 将模型推理代码
在线服务预测报错ModelArts.4302 问题现象 在线服务部署完成且服务已经处于“运行中”的状态后,向运行的服务发起推理请求,报错ModelArts.4302。 原因分析及处理方法 服务预测报错ModelArts.4302有多种场景,以下主要介绍两种场景: "error_msg":
案。如下图所示: 图1 推理服务访问公网 操作事项 ModelArts:设置资源池的网络 用户VPC:安装和配置正向代理 算法镜像:设置DNS代理和公网地址调用 ModelArts:设置资源池的网络 专属资源池的创建作业类型包含推理服务,选择的网络需打通VPC网络,如下图所示: 图2