检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Edge 在ModelArts中使用边缘节点部署边缘服务时能否使用http接口协议?
父主题: Edge
edge表示边缘服务,通过华为云智能边缘平台,在边缘节点将模型部署为一个Web Service,需提前在IEF(智能边缘服务)创建好节点。
约束限制 端到端服务运维只支持在线服务,因为推理的批量服务和边缘服务无CES监控数据,不支持完整的端到端服务运维设置。 实施步骤 以出行场景的司乘安全算法为例,介绍使用ModelArts进行流程化服务部署和更新、自动化服务运维和监控的实现步骤。
ModelArts Edge 为客户提供了统一边缘部署和管理能力,支持统一纳管异构边缘设备,提供模型部署、Al应用和节点管理、资源池与负载均衡、应用商用保障等能力,帮助客户快速构建高性价比的边云协同AI解决方案。 适用于边缘部署场景。
一站式端到端生产工具链,一致性开发体验 开“箱”即用,涵盖AI开发全流程,包含数据处理、模型开发、训练、管理、部署功能,可灵活使用其中一个或多个功能。 支持本地IDE+ModelArts 插件远程开发能力,线上线下协同开发,开发训练一体化架构,支持大模型分布式部署及推理。
云服务提供商负责管理云基础架构,提供安全的硬件和软件基础设施,并确保云基础架构的可用性。而云服务客户则需要负责保护自己的数据和应用程序,以及遵守相关的合规性要求。 具体而言,云服务提供商应该提供以下服务和功能: 建立和维护安全的基础设施,包括网络、服务器和存储设备等。
DCGM是用于管理和监控基于Linux系统的NVIDIA GPU大规模集群的一体化工具,提供多种能力,包括主动健康监控、诊断、系统验证、策略、电源和时钟管理、配置管理和审计等。 约束限制 仅适用于GPU资源监控。
资源池推理服务一直初始化中如何解决 问题现象 创建资源池时作业类型选择了推理服务,资源池创建成功后推理一直显示“环境初始化。 原因分析 专属池网段和推理微服务dispatcher网段冲突,导致专属池上的VPCEP终端节点无法创建,该region无法使用此网段创建包含推理服务的资源池
例如,智慧交通项目中,在获得训练好的模型后,需要部署到云、边、端多种场景。
node_name String 边缘节点名称。 operation String 操作类型,取值: deploy:部署 delete:删除 node_id String 边缘节点ID。在IEF上创建边缘节点后可得到。
ModelArts中的作业为什么一直处于等待中? 当前训练任务排队的逻辑是先进先出,前面的任务没运行完后面的任务不会运行,有可能会造成小任务被“饿死”,需要用户注意。 饿死指的是前面的任务被一个大的任务堵着(例如是64卡),需要等空闲64卡这个任务才能运行,64卡的任务后面跟着1卡的
计费说明 ModelArts是面向AI开发者的一站式开发平台,提供海量数据预处理及半自动化标注、大规模分布式训练、自动化模型生成及端-边-云模型按需部署能力,帮助用户快速创建和部署模型,管理全周期AI工作流。
步骤一:准备工作 已注册华为账号并开通华为云,进行了实名认证,且在使用ModelArts前检查账号状态,账号不能处于欠费或冻结状态。
使用华为云账号登录ModelArts管理控制台,在左侧导航栏单击“权限管理”,进入“权限管理”页面,单击“添加授权”。
表1 PC端浏览器兼容性一览表 浏览器类型 版本 操作系统 兼容性 Internet Explorer 11 Windows 7 不承诺兼容。 Microsoft Edge L3 Windows 10 完全兼容。 <79 Windows 10 不承诺兼容。
表4 result结构 参数 参数类型 描述 node_id String 待查询的边缘节点ID,仅当infer_type为edge时存在。 node_name String 边缘节点名称。 operation String 操作类型,取值deploy/delete。
当使用调用指南页签中显示的调用地址(华为云APIG网关服务的地址)预测时,对请求体的大小限制是12MB,超过12MB时,请求会被拦截。 如果是从ModelArts console的预测页签进行的预测,由于console的网络链路的不同,此时要求请求体的大小不超过8MB。
Consume [%d] edge model quotas. 请联系技术支持。 正常 返回[%d]边缘模型配额。
Consume [%d] edge model quotas. 请联系技术支持。 正常 返回[%d]边缘模型配额。