华为云首页用户手册

AI开发平台MODELARTS-简介:核心概念

AI开发平台MODELARTS-简介:核心概念

时间：2024-12-09 20:36:11

AI开发平台MODELARTS GPU推理业务迁移至昇腾的通用指导

核心概念

推理业务昇腾迁移整体流程及工具链
图1 推理业务昇腾迁移整体路径

推理业务昇腾迁移整体分为七个大的步骤，并以完整工具链覆盖全链路：
1. 迁移评估：针对迁移可行性、工作量，以及可能的性能收益进行大致的预估。
2. 环境准备：利用ModelArts提供的开发环境一键式准备好迁移、调测需要的运行环境与工具链。
3. 模型适配：针对昇腾迁移模型必要的转换和改造。
  1. 模型准备，导出和保存确定格式的模型。
  2. 转换参数准备，准备模型业务相关的关键参数。
  3. 模型转换，包含模型转换、优化和量化等。
4. 应用集成。
  1. 针对转换的模型运行时应用层适配。
  2. 数据预处理。
  3. 模型编排。
  4. 模型裁剪。
5. 精度校验。
  1. 精度对比误差统计工具。
  2. 自动化精度对比工具。
  3. 网络结构可视化工具。
6. 性能调优。
  1. 性能测试。
  2. 性能调优三板斧。
  3. 性能分析与诊断。
7. 迁移测试报告。
  1. 推理迁移验收表。
ModelArts开发环境
ModelArts作为华为云上的 AI开发平台，提供交互式云上开发环境，包含标准化昇腾算力资源和完整的迁移工具链，帮助用户完成昇腾迁移的调测过程，进一步可在平台上将迁移的模型一键部署成为在线服务向外提供推理服务，或者运行到自己的运行环境中。
MindSpore Lite
华为自研的AI推理引擎，后端对于昇腾有充分的适配，模型转换后可以在昇腾上获得更好的性能，配合丰富的适配工具链，降低迁移成本，该工具在推理迁移工作的预置镜像已安装，可在镜像中直接使用（见环境准备）。关于MindSpore Lite详细介绍可参考MindSpore Lite文档。在使用MindSpore Lite过程中遇到问题时，可参考MindSpore Lite官网提供的问题定位指南进行问题定位。

上一篇：AI开发平台MODELARTS-简介:迁移路线介绍

下一篇：AI开发平台MODELARTS-简介:迁移路线介绍

新客秒杀 2核2G 3M L实例

68元/年

普惠上云领千元上云礼券

立即前往

企业专享 X实例 4核8G 5M

888元/年

热门域名 1元随心购

1元/年起

AI开发平台MODELARTS-简介:核心概念

意见反馈

0/200

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

推荐文章

解决方案
相关专题