检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通过公网访问通道的方式访问在线服务 背景描述 ModelArts推理默认使用公网访问在线服务。在线服务部署成功后,将为用户提供一个可调用的API,此API为标准Restful API。您可以在服务详情页面,调用指南页签中查看API接口公网地址。 图1 API接口公网地址 约束限制
在线服务预测时,如何提高预测速度? 部署在线服务时,您可以选择性能更好的“计算节点规格”提高预测速度。例如使用GPU资源代替CPU资源。 部署在线服务时,您可以增加“计算节点个数”。 如果节点个数设置为1,表示后台的计算模式是单机模式;如果节点个数设置大于1,表示后台的计算模式为分布式的
部署服务如何选择计算节点规格? 部署服务时,用户需要指定节点规格进行服务部署,界面目前显示的节点规格是ModelArts根据用户的AI应用和资源池的节点规格计算得到,用户可以选择ModelArts提供的规格,也可以使用自定义规格(公共资源池不支持)。 计算节点规格主要是根据用户AI
查看Lite Server服务器详情 在您创建了Lite Server服务器后,可以通过管理控制台查看和管理您的Lite Server服务器。本节介绍如何查看Lite Server服务器的详细信息,包括名称/ID、磁盘、网卡、规格、镜像等信息。 表1 详情页参数说明 参数名称 说明
昇腾云服务6.3.908版本说明 本文档主要介绍昇腾云服务6.3.908版本配套的镜像地址、软件包获取方式和支持的特性能力。 当前版本仅适用于华为公有云。 配套的基础镜像 镜像地址 获取方式 镜像软件说明 配套关系 西南-贵阳一 PyTorch: swr.cn-southwest-
昇腾云服务6.3.906版本说明 本文档主要介绍昇腾云服务6.3.906版本配套的镜像地址、软件包获取方式和支持的特性能力。 配套的基础镜像 镜像地址 获取方式 配套关系镜像软件说明 配套关系 PyTorch: 西南-贵阳一 swr.cn-southwest-2.myhuaweicloud.com
昇腾云服务6.3.909版本说明 本文档主要介绍昇腾云服务6.3.909版本配套的镜像地址、软件包获取方式和支持的特性能力。 当前版本仅适用于华为公有云。 配套的基础镜像 芯片 镜像地址 获取方式 镜像软件说明 配套关系 Snt9B 西南-贵阳一 PyTorch: swr.cn-southwest
集成在线服务API至生产环境中应用 针对已完成调测的API,可以将在线服务API集成至生产环境中应用。 前提条件 确保在线服务一直处于“运行中”状态,否则会导致生产环境应用不可用。 集成方式 ModelArts在线服务提供的API是一个标准的Restful API,可使用HTTPS
使用WebSocket协议的方式访问在线服务 背景说明 WebSocket是一种网络传输协议,可在单个TCP连接上进行全双工通信,位于OSI模型的应用层。WebSocket协议在2011年由IETF标准化为RFC 6455,后由RFC 7936补充规范。Web IDL中的WebSocket
昇腾云服务6.3.904版本说明 昇腾云服务6.3.904版本发布支持的软件包和能力说明如下,软件包获取路径:Support-E网站。 发布包 软件包特性说明 配套说明 备注 昇腾云模型代码 三方大模型,包名:AscendCloud-3rdLLM PyTorch框架下支持如下模型训练
通过AK/SK认证的方式访问在线服务 如果在线服务的状态处于“运行中”,则表示在线服务已部署成功。部署成功的在线服务,将为用户提供一个可调用的API,此API为标准Restful API。用户可以通过AK/SK签名认证方式调用API。 使用AK/SK认证时,您可以通过APIG SDK
在Workflow中更新已部署的服务 场景介绍 大部分场景下的工作流都是第一次运行部署新服务,后续进行模型迭代时,需要对已部署的服务进行更新。因此需要在同一条工作流中,同时支持服务的部署及更新能力。 编写工作流 基于编写工作流代码示例的场景案例进行改造,代码编写示例如下: from
ECS服务器挂载SFS Turbo存储 本小节介绍如何在ECS服务器挂载SFS Turbo存储,挂载完成后可在后续步骤中,将训练所需的数据通过ECS上传至SFS Turbo。 前提条件 已创建SFS Turbo,如果未创建,请参考创建文件系统。 数据及算法已经上传至OBS,如果未上传
在Standard上部署SD WebUI推理服务 本文档主要介绍如何在ModelArts Standard的推理环境上部署Stable Diffusion的WebUI套件,使用NPU卡进行推理。 完成在DevServer上部署SD WebUI推理服务章节的任务后,如果还需要在ModelArts
模型使用CV2包部署在线服务报错 问题现象 使用CV2包部署在线服务报错 原因分析 使用OBS导入元模型,会用到服务侧的标准镜像,标准镜像里面没有CV2依赖的so的内容。所以ModelArts不支持从对象存储服务(OBS)导入CV2模型包。 处理方法 需要您把CV2包制作为自定义镜像
使用AI Gallery在线推理服务部署模型 AI Gallery支持将训练的模型或创建的模型资产部署为在线推理服务,可供用户直接调用API完成推理业务。 约束限制 如果模型的“任务类型”是“文本问答”或“文本生成”,则支持在线推理。如果模型的“任务类型”是除“文本问答”和“文本生成
通过VPC高速访问通道的方式访问在线服务 背景说明 访问在线服务的实际业务中,用户可能会存在如下需求: 高吞吐量、低时延 TCP或者RPC请求 因此,ModelArts提供了VPC直连的高速访问通道功能以满足用户的需求。 使用VPC直连的高速访问通道,用户的业务请求不需要经过推理平台
端到端运维ModelArts Standard推理服务方案 ModelArts推理服务的端到端运维覆盖了算法开发、服务运维和业务运行的整个AI流程。 方案概述 推理服务的端到端运维流程 算法开发阶段,先将业务AI数据存放到对象存储服务(OBS)中,接着通过ModelArts数据管理进行标注和版本管理
部署GPU服务支持的Cuda版本是多少? 默认支持Cuda版本为10.2,如果需要更高的版本,可以提工单申请技术支持。 父主题: 功能咨询
昇腾云服务6.3.907版本说明(推荐) 本文档主要介绍昇腾云服务6.3.907版本配套的镜像地址、软件包获取方式和支持的特性能力。 当前版本仅适用于华为公有云。 配套的基础镜像 镜像地址 获取方式 镜像软件说明 配套关系 西南-贵阳一 PyTorch: swr.cn-southwest