-
查询服务列表 - AI开发平台ModelArts
推理方式,默认不过滤推理方式。取值包含: real-time:在线服务 batch:批量服务 edge: 边缘服务 status 否 String 服务状态,默认不过滤服务状态,取值包含: running:运行中,服务正常运行。 deploying:部署中,服务正在部署,包含打镜像和调度资源部署。 co
-
昇腾业务迁移 - AI开发平台ModelArts
昇腾业务迁移 LLM训练业务昇腾迁移指导 训练业务昇腾迁移通用指导 AIGC推理业务昇腾迁移指导 推理业务昇腾迁移通用指导
-
登录ModelArts管理控制台 - AI开发平台ModelArts
选择如下方式登录。 方法一:使用华为云账号登录ModelArts管理控制台。 方法二:通过华为云官网进入。 登录华为云。 单击右侧“控制台”进入华为云控制台总览页。 图1 华为云控制台 在华为云控制台总览页,搜索“ModelArts”服务,单击服务名称即可进入ModelArts控制台。
-
管理ModelArts服务的委托授权 - AI开发平台ModelArts
管理ModelArts服务的委托授权 本节通过调用一系列API,以管理ModelArts服务的委托授权为例介绍ModelArts API的使用流程。 概述 管理ModelArts服务的委托授权流程如下: 调用认证鉴权接口获取用户Token,在后续的请求中需要将Token放到请求消息头中作为认证。
-
ModelArts与其他服务的关系 - AI开发平台ModelArts
ModelArts与其他服务的关系 图1 ModelArts与其他服务的关系示意图 与统一身份认证服务的关系 ModelArts使用统一身份认证服务(Identity and Access Management,简称IAM)实现认证功能。IAM的更多信息请参见《统一身份认证服务用户指南》。 与对象存储服务的关系
-
部署的在线服务状态为告警 - AI开发平台ModelArts
部署的在线服务状态为告警 问题现象 在部署在线服务时,状态显示为“告警”。 解决方法 使用状态为告警的服务进行预测,可能存在预测失败的风险,请从以下4个角度进行排查,并重新部署。 后台预测请求过多。 如果您使用API接口进行预测,请检查是否预测请求过多。大量的预测请求会导致部署的在线服务进入告警状态。
-
部署为边缘服务 - AI开发平台ModelArts
完成参数填写后,根据界面提示完成边缘服务的部署。部署服务一般需要运行一段时间,根据您选择的数据量和资源不同,部署时间将耗时几分钟到几十分钟不等。 您可以前往边缘服务列表,查看边缘服务的基本情况。在边缘服务列表中,刚部署的服务“状态”为“部署中”,当边缘服务的“状态”变为“运行中”时,表示服务部署完成。在
-
服务预测请求体大小限制是多少? - AI开发平台ModelArts
服务预测请求体大小限制是多少? 问题现象 服务部署完成且服务处于运行中后,可以往该服务发送推理的请求,请求的内容根据模型的不同可以是文本,图片,语音,视频等内容,这些内容的大小ModelArts是否有限制? 原因分析 当使用调用指南页签中显示的调用地址(华为云APIG网关服务的地
-
访问在线服务(VPC高速访问通道) - AI开发平台ModelArts
使用专属资源池部署在线服务,服务状态为“运行中”。 需使用新版专属资源池部署服务,详情请参见ModelArts资源池管理功能全面升级。 只有专属资源池部署的服务才支持VPC直连的高速访问通道。 VPC直连的高速访问通道,目前只支持访问在线服务。 因流量限控,获取在线服务的IP和端口号次
-
查询支持的服务部署规格 - AI开发平台ModelArts
is_personal_cluster 否 Boolean 是否查询专属资源池支持的服务部署规格列表,默认为false。 infer_type 否 String 推理方式,取值包含: real-time:在线服务,默认值 batch:批量服务 edge: 边缘服务 limit 否 String 指定每一页返回的最大条目数,默认为1000
-
Atlas800训练服务器硬件指南 - AI开发平台ModelArts
Atlas800训练服务器硬件指南 场景描述 本文提供Atlas800训练服务器硬件相关指南,包括三维视图、备件信息、HCCL常用方法以及网卡配置信息。 Atlas 800训练服务器三维视图 Atlas 800 训练服务器(型号9000)是基于华为鲲鹏920+Snt9处理器的AI训练服务器,实
-
配置了合理的服务部署超时时间,服务还是部署失败,无法启动 - AI开发平台ModelArts
配置了合理的服务部署超时时间,服务还是部署失败,无法启动 服务部署成功的标志是模型启动完成,如果没有配置健康检查,就无法检测到模型是否真实的启动。 在自定义镜像健康检查接口中,用户可以实现实际业务是否成功的检测。在创建AI应用时配置健康检查延迟时间,保证容器服务的初始化。 因此,
-
GPU裸金属服务器环境配置 - AI开发平台ModelArts
GPU裸金属服务器环境配置 GP Vnt1裸金属服务器EulerOS 2.9安装NVIDIA 515+CUDA 11.7 GP Vnt1裸金属服务器Ubuntu 18.04安装NVIDIA 470+CUDA 11.4 GP Vnt1裸金属服务器的Docker模式环境搭建 GP Ant8裸金属服务器Ubuntu
-
在线服务预测报错ModelArts.4302 - AI开发平台ModelArts
在线服务预测报错ModelArts.4302 问题现象 在线服务部署完成且服务已经处于“运行中”的状态后,向运行的服务发起推理请求,报错ModelArts.4302。 原因分析及处理方法 服务预测报错ModelArts.4302有多种场景,以下主要介绍两种场景: "error_msg":
-
昇腾云服务6.3.905版本说明 - AI开发平台ModelArts
昇腾云服务6.3.905版本说明 本文档主要介绍昇腾云服务6.3.905版本配套的镜像地址、软件包获取方式和支持的特性能力。 配套的基础镜像 镜像地址 获取方式 配套关系 PyTorch: 西南-贵阳一 swr.cn-southwest-2.myhuaweicloud.com/a
-
WebSocket在线服务全流程开发 - AI开发平台ModelArts
装响应体等。 操作步骤 WebSocket在线服务开发操作步骤如下: 上传镜像至容器镜像服务 使用镜像创建AI应用 使用AI应用部署在线服务 WebSocket在线服务调用 上传镜像至容器镜像服务 将准备好的本地镜像上传到容器镜像服务(SWR)。上传镜像的详细操作可参考如何登录并上传镜像到SWR。
-
在线服务预测报错ModelArts.4206 - AI开发平台ModelArts
在线服务预测报错ModelArts.4206 问题现象 在线服务部署完成且服务已经处于“运行中”的状态,向服务发起推理请求,报错“ModelArts.4206”。 原因分析 ModelArts.4206表示该API的请求流量超过了设定值。为了保证服务的平稳运行,ModelArts
-
边缘服务部署失败 - AI开发平台ModelArts
边缘服务部署失败 问题现象 部署边缘服务时,出现“异常”状态。 原因分析 部署边缘服务时,使用到IEF纳管的边缘节点,就需要用户给ModelArts的委托赋予Tenant Administrator权限,否则将无法成功部署边缘服务。具体可参见IEF的权限说明。 处理方法 在Mod
-
服务状态一直处于“部署中” - AI开发平台ModelArts
服务状态一直处于“部署中” 问题现象 服务状态一直处于“部署中”,查看AI应用日志未发现服务有明显错误。 原因分析 一般情况都是AI应用的端口配置有问题。建议您首先检查创建AI应用的端口是否正确。 处理方法 AI应用的端口没有配置,默认为8080,如您在自定义镜像配置文件中修改了
-
创建AI应用成功后,部署服务报错,如何排查代码问题 - AI开发平台ModelArts
哪里有问题。 处理方法 服务部署失败后,进入服务详情界面,查看服务部署日志,明确服务部署失败原因(用户代码输出需要使用标准输入输出函数,否则输出的内容不会呈现到前端页面日志)。根据日志中提示的报错信息找到对应的代码进行定位。 如果模型启动失败根本没有日志,则考虑使用推理模型调试功