检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
准备镜像 准备训练模型适用的容器镜像,包括获取镜像地址,了解镜像中包含的各类固件版本,配置物理机环境操作。 镜像地址 本教程中用到的训练和推理的基础镜像地址和配套版本关系如下表所示,请提前了解。 表1 基础容器镜像地址 镜像用途 镜像地址 基础镜像 swr.cn-southwest-2
moondream2基于DevServer适配PyTorch NPU推理指导 方案概览 本文档从模型部署的环境配置、模型转换、模型推理等方面进行介绍moondream2模型在ModelArts DevServer上部署,支持NPU推理场景。 本方案目前仅适用于部分企业客户,完成本
Bert基于DevServer适配MindSpore Lite推理指导(6.3.910) 方案概览 本方案介绍了在ModelArts的DevServer上使用昇腾Atlas 300I Duo推理卡计算资源,部署Bert-base-chinese模型推理的详细过程。完成本方案的部署
CogVideoX1.5 5b模型基于Lite Server适配PyTorch NPU全量训练指导(6.3.912) 本文档主要介绍如何在ModelArts的Lite Server环境中,使用NPU卡对CogVideoX模型进行全量微调。本文档中提供的脚本,是基于原生CogVid
准备镜像 准备训练模型适用的容器镜像,包括获取镜像地址,了解镜像中包含的各类固件版本,配置物理机环境操作。 镜像地址 本教程中用到的训练和推理的基础镜像地址和配套版本关系如下表所示,请提前了解。 表1 基础容器镜像地址 镜像用途 镜像地址 基础镜像 swr.cn-southwest-2
CogVideoX模型基于DevServer适配PyTorch NPU全量训练指导(6.3.911) 本文档主要介绍如何在ModelArts Lite的DevServer环境中,使用NPU卡对CogVideoX模型基于sat框架进行全量微调。本文档中提供的脚本,是基于原生CogV
推理场景介绍 方案概览 本方案介绍了在ModelArts的Lite Server上使用昇腾计算资源开展常见开源大模型Llama、Qwen、ChatGLM、Yi、Baichuan等推理部署的详细过程。本方案利用适配昇腾平台的大模型推理服务框架vLLM和华为自研昇腾Snt9B硬件,为
准备镜像 准备训练模型适用的容器镜像,包括获取镜像地址,了解镜像中包含的各类固件版本,配置物理机环境操作。 镜像地址 本教程中用到的训练和推理的基础镜像地址和配套版本关系如下表所示,请提前了解。 表1 基础容器镜像地址 镜像用途 镜像地址 基础镜像 swr.cn-southwest-2
推理场景介绍 方案概览 本方案介绍了在ModelArts的Lite DevServer上使用昇腾计算资源开展常见开源大模型Llama、Qwen、ChatGLM、Yi、Baichuan等推理部署的详细过程。本方案利用适配昇腾平台的大模型推理服务框架vLLM和华为自研昇腾Snt9B硬
更新资源池 功能介绍 更新指定的资源池。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI PATCH /v2/{project_id}/pools/{pool_name}
ModelArts权限管理基本概念 ModelArts作为一个完备的AI开发平台,支持用户对其进行细粒度的权限配置,以达到精细化资源、权限管理之目的。这类特性在大型企业用户的使用场景下很常见,但对个人用户则显得复杂而意义不足,所以建议个人用户在使用ModelArts时,参照个人用
Yolov8基于DevServer适配MindSpore Lite推理指导(6.3.909) 方案概览 本方案介绍了在ModelArts的DevServer上使用昇腾Atlas 300I Duo推理卡计算资源,部署Yolov8 Detection模型推理的详细过程。 本方案目前仅适用于企业客户。
Open-Clip基于DevServer适配PyTorch NPU训练指导 Open-Clip广泛应用于AIGC和多模态视频编码器的训练。 方案概览 本方案介绍了在ModelArts的DevServer上使用昇腾NPU计算资源开展Open-clip训练的详细过程。完成本方案的部署
自定义镜像使用场景 在AI业务开发以及运行的过程中,一般都会有复杂的环境依赖需要进行调测并固化。面对开发中的开发环境的脆弱和多轨切换问题,在ModelArts的AI开发最佳实践中,通过容器镜像的方式将运行环境进行固化,以这种方式不仅能够进行依赖管理,而且可以方便的完成工作环境切换
简介 场景介绍 本文旨在指导客户将已有的推理业务迁移到昇腾设备上运行(单机单卡、单机多卡),并获得更好的推理性能收益。 ModelArts针对上述使用场景,在给出系统化推理业务昇腾迁移方案的基础上,提供了即开即用的云上集成开发环境,包含迁移所需要的算力资源和工具链,以及具体的No
推理业务迁移评估表 通用的推理业务及LLM推理可提供下表进行业务迁移评估: 收集项 说明 实际情况(请填写) 项目名称 项目名称,例如:XXX项目。 - 使用场景 例如: 使用YOLOv5算法对工地的视频流裁帧后进行安全帽检测。 使用BertBase算法对用户在app上购买商品后的评论进行理解。
删除资源池 功能介绍 删除指定的资源池。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI DELETE /v2/{project_id}/pools/{pool_name}
更新节点池 功能介绍 更新节点池。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI PATCH /v2/{project_id}/pools/{pool_name}/
查询资源池 功能介绍 查询指定资源池的详细信息。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v2/{project_id}/pools/{pool_name}
迁移评估 推理迁移包括模型迁移、业务迁移、精度性能调优等环节,是否能满足最终的迁移效果需要进行系统的评估。如果您仅需要了解迁移过程,可以先按照本文档的指导进行操作并熟悉迁移流程。如果您有实际的项目需要迁移,建议填写下方的推理业务迁移评估表,并将该调研表提供给华为云技术支持人员进行迁移评估,以确保迁移项目能顺利实施。