-
昇腾云服务6.3.905版本说明 - AI开发平台ModelArts
昇腾云服务6.3.905版本说明 本文档主要介绍昇腾云服务6.3.905版本配套的镜像地址、软件包获取方式和支持的特性能力。 配套的基础镜像 镜像地址 获取方式 配套关系 PyTorch: 西南-贵阳一 swr.cn-southwest-2.myhuaweicloud.com/a
-
服务预测失败,报错APIG.XXXX - AI开发平台ModelArts
AppKey和AppSecret不匹配 当服务预测使用的AppKey和AppSecret不匹配时,报错“APIG.1009”:“AppKey or AppSecret is invalid”。 查询AppKey和AppSecret,使用APP认证访问在线服务,请参考访问在线服务(APP认证)。 父主题: 服务预测
-
专属资源池下的在线服务停止后,启动新的在线服务,提示资源不足 - AI开发平台ModelArts
专属资源池下的在线服务停止后,启动新的在线服务,提示资源不足 停止在线服务后,需要等待几分钟等待资源释放。 父主题: 资源池
-
在线服务预测报错DL.0105 - AI开发平台ModelArts
在线服务预测报错DL.0105 问题现象 在线服务预测报错DL.0105,报错日志:“TypeError:‘float’object is not subscriptable”。 原因分析 根据报错日志分析,是因为一个float数据被当做对象下标访问了。 处理方法 将模型推理代码
-
ECS服务器挂载SFS Turbo存储 - AI开发平台ModelArts
至OBS(首次使用时需要)。 ECS服务器和SFS的共享硬盘在相同的VPC或者对应VPC能够互联。 ECS服务器基础镜像需要用Ubuntu 18.04的。 ECS服务器和SFS Turbo需要在同一子网中。 操作步骤 在ECS服务器中设置华为云镜像源。 sudo sed -i "s@http://
-
边缘服务部署失败 - AI开发平台ModelArts
边缘服务部署失败 问题现象 部署边缘服务时,出现“异常”状态。 原因分析 部署边缘服务时,使用到IEF纳管的边缘节点,就需要用户给ModelArts的委托赋予Tenant Administrator权限,否则将无法成功部署边缘服务。具体可参见IEF的权限说明。 处理方法 在Mod
-
服务状态一直处于“部署中” - AI开发平台ModelArts
服务状态一直处于“部署中” 问题现象 服务状态一直处于“部署中”,查看AI应用日志未发现服务有明显错误。 原因分析 一般情况都是AI应用的端口配置有问题。建议您首先检查创建AI应用的端口是否正确。 处理方法 AI应用的端口没有配置,默认为8080,如您在自定义镜像配置文件中修改了
-
从EI云服务订阅模型(即将下线) - AI开发平台ModelArts
击“确定”。 确认信息填写无误后,单击“立即创建”。 边缘服务创建完成后,可跳转至“部署上线 > 边缘服务”,查看服务的“状态”,当“状态”变为“运行中”时,表示服务已部署成功。如何访问边缘服务,操作指导请参见访问边缘服务。 修改配额 针对“正常”的AI应用,如果您需要更改此AI应用的配额,可以执行修改操作。
-
推理服务端到端运维 - AI开发平台ModelArts
端到端服务运维只支持在线服务,因为推理的批量服务和边缘服务无CES监控数据,不支持完整的端到端服务运维设置。 实施步骤 以出行场景的司乘安全算法为例,介绍使用ModelArts进行流程化服务部署和更新、自动化服务运维和监控的实现步骤。 图3 司乘安全算法 将用户本地开发完成的模型,使用自定义镜像在Mo
-
昇腾云服务6.3.904版本说明 - AI开发平台ModelArts
昇腾云服务6.3.904版本说明 昇腾云服务6.3.904版本发布支持的软件包和能力说明如下,软件包获取路径:Support-E网站。 发布包 软件包特性说明 配套说明 备注 昇腾云模型代码 三方大模型,包名:AscendCloud-3rdLLM PyTorch框架下支持如下模型训练:
-
在线服务部署是否支持包周期? - AI开发平台ModelArts
在线服务部署是否支持包周期? 在线服务不支持包周期的计费模式。 父主题: 功能咨询
-
Server-Sent Events访问在线服务 - AI开发平台ModelArts
Events访问在线服务 背景说明 Server-Sent Events(SSE)是一种服务器向客户端推送数据的技术,它是一种基于HTTP的推送技术,服务器可以向客户端推送事件。这种技术通常用于实现服务器向客户端推送实时数据,例如聊天应用、实时新闻更新等。 SSE主要解决了客户端与服务器之间的
-
标注任务管理 - AI开发平台ModelArts
标注任务管理 创建标注任务 查询数据集的标注任务列表 查询标注任务详情 父主题: 数据管理
-
在推理生产环境中部署推理服务 - AI开发平台ModelArts
钟。此处仅介绍关键参数,更多详细参数解释请参见部署在线服务。 图6 部署在线服务 单击“下一步”,再单击“提交”,开始部署服务,待服务状态显示“正常”服务部署完成。 图7 服务部署完成 Step4 调用在线服务 进入在线服务详情页面,选择“预测”,设置请求路径:“/generat
-
昇腾云服务6.3.T041版本说明 - AI开发平台ModelArts
昇腾云服务6.3.T041版本说明 昇腾云服务6.3.T041版本发布支持的软件包和能力如下。 发布包 软件包特性说明 镜像配套说明 对应操作指导 昇腾云模型代码 包名:AscendCloud-3rdLLM-6.3.T041-20240424144057.zip 包含大语言模型,具体如下:
-
在Notebook调试环境中部署推理服务 - AI开发平台ModelArts
表1 请求服务参数说明 参数 是否必选 默认值 参数类型 描述 model 是 无 Str 通过OpenAI服务API接口启动服务时,推理请求必须填写此参数。取值必须和启动推理服务时的model ${container_model_path}参数保持一致。 通过vLLM服务API接口启动服务时,推理请求不涉及此参数。
-
在线服务预测时,如何提高预测速度? - AI开发平台ModelArts
在线服务预测时,如何提高预测速度? 部署在线服务时,您可以选择性能更好的“计算节点规格”提高预测速度。例如使用GPU资源代替CPU资源。 部署在线服务时,您可以增加“计算节点个数”。 如果节点个数设置为1,表示后台的计算模式是单机模式;如果节点个数设置大于1,表示后台的计算模式为分布式的。您可以根据实际需求进行选择。
-
裸金属服务器存储指南 - AI开发平台ModelArts
裸金属服务器存储指南 裸金属服务器结合OBS、SFS两种云存储服务,提供了多种场景下的存储解决方案。两种存储类型对比可参考SFS和OBS的区别。 1、弹性文件服务SFS 提供按需扩展的高性能文件存储(NAS),可为云上多个裸金属服务器(BMS)提供共享访问。 购买指南 挂载指南 服务器重启后自动挂载指南
-
访问方式 - AI开发平台ModelArts
访问方式 访问在线服务(公网访问通道) 访问在线服务(VPC高速访问通道) 父主题: 访问在线服务
-
推理部署 - AI开发平台ModelArts
从0-1制作自定义镜像并创建AI应用 推理服务访问公网 推理服务端到端运维 使用自定义引擎创建AI应用 使用大模型创建AI应用部署在线服务 第三方推理框架迁移到推理自定义引擎 推理服务支持虚拟私有云(VPC)直连的高速访问通道 WebSocket在线服务全流程开发