检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ModelArts在线服务和批量服务有什么区别? 在线服务 将模型部署为一个Web服务,您可以通过管理控制台或者API接口访问在线服务。 批量服务 批量服务可对批量数据进行推理,完成数据处理后自动停止。 批量服务一次性推理批量数据,处理完服务结束。
约束限制 调用API访问在线服务时,对预测请求体大小和预测时间有限制: 请求体的大小不超过12MB,超过后请求会被拦截。 因APIG(API网关)限制,平台每次请求预测的时间不超过40秒。
ModelArts在线服务预测请求体大小限制是多少? 服务部署完成且服务处于运行中后,可以往该服务发送推理的请求,请求的内容根据模型的不同可以是文本,图片,语音,视频等内容。
ModelArts在线服务和边缘服务有什么区别? 在线服务 将模型部署为一个Web服务,您可以通过管理控制台或者API接口访问在线服务。 边缘服务 云端服务是集中化的离终端设备较远,对于实时性要求高的计算需求,把计算放在云上会引起网络延时变长、网络拥塞、服务质量下降等问题。
因APIG(API网关)限制,平台每次请求预测的时间不超过40秒。 前提条件 数据已完成准备:已在ModelArts中创建状态“正常”可用的模型。 由于在线运行需消耗资源,确保账户未欠费。
点击“保存”,并在插件保存成功后点击“部署”,将编解码插件部署到物联网平台。 调测编解码插件 在烟感产品的开发空间,选择“在线调测”,使用虚拟设备调试编解码插件。 勾选“没有真实的物理设备”,点击“创建”。 使用设备模拟器进行数据上报。十六进制码流示例:02013A。
ModelArts在线服务预测时,如何提高预测速度? 部署在线服务时,您可以选择性能更好的“实例规格”提高预测速度。例如使用GPU资源代替CPU资源。 部署在线服务时,您可以增加“实例数”。
约束限制 调用API访问在线服务时,对预测请求体大小和预测时间有限制: 请求体的大小不超过12MB,超过后请求会被拦截。 因APIG(API网关)限制,平台每次请求预测的时间不超过40秒。
单击“Connect”,设备鉴权成功后,在物联网平台“所有设备”界面可以看到设备处于在线状态。 图3 设备列表-设备在线 上报数据 参考设备属性上报接口文档,使用MQTT.fx工具向物联网平台上报数据。
使用大模型在ModelArts Standard创建模型部署在线服务 背景说明 目前大模型的参数量已经达到千亿甚至万亿,随之大模型的体积也越来越大。千亿参数大模型的体积超过200G,在版本管理、生产部署上对平台系统产生了新的要求。
调用API访问在线服务时,对预测请求体大小和预测时间有限制: 请求体的大小不超过12MB,超过后请求会被拦截。 因APIG(API网关)限制,平台每次请求预测的时间不超过40秒。 WebSocket在线服务调用 WebSocket协议本身不提供额外的认证方式。
删除在线服务 功能介绍 删除在线服务实例。 调试 您可以在API Explorer中调试该接口。
状态码 描述 200 OK 错误码 请参见错误码。
模型使用CV2包部署在线服务报错 问题现象 使用CV2包部署在线服务报错。 原因分析 使用OBS导入元模型,会用到服务侧的标准镜像,标准镜像里面没有CV2依赖的so的内容。所以ModelArts不支持从对象存储服务(OBS)导入CV2模型包。
因APIG(API网关)限制,平台每次请求预测的时间不超过40秒。 准备工作 使用专属资源池部署在线服务,服务状态为“运行中”。 只有专属资源池部署的服务才支持VPC直连的高速访问通道。 VPC直连的高速访问通道,目前只支持访问在线服务。
查询在线会议详情 描述 该接口用于查询正在召开的会议详情。管理员可以查询本企业内所有的在线会议详情,普通用户仅能查询自己账号创建或者需要参加的在线会议详情。 调试 您可以在API Explorer中调试该接口。
状态码 描述 200 OK 错误码 请参见错误码。
" } 状态码 状态码 描述 200 查询直播播放在线人数成功 400 查询直播播放在线人数失败 错误码 请参见错误码。
图1 在线服务详情 您可以在如下页面查看服务相关参数信息,包括“在线流程”、“预测”、“配置更新记录”、“排序模型更新记录”。 表2 在线服务详情 参数 说明 在线流程 展示在线流程名称、在线流程ID以及在线流程关于融合、过滤、排序、公共配置和模型相关的参数信息。
当您通过在线服务列表查看在线服务的状态由“初始化”、“部署中”变更为“运行中”时即完成在线服务的部署。在线服务一般需要运行一段时间,根据您的数据量和资源不同,运行时间将耗时几分钟到几十分钟不等,请您耐心等待。 父主题: 在线服务