AI开发平台MODELARTS-训练代码迁移:约束和限制

时间:2024-09-24 10:50:18

约束和限制

  • 安装插件后,大部分能力能够对标在GPU上的使用,但并不是所有行为和GPU上是一一对应的,例如在torch_npu下,当PyTorch版本低于2.1.0时,一个进程只能操作一张昇腾卡,不支持一个进程操作多卡的能力,在PyTorch2.1.0及以上版本中torch_npu才支持一个进程中使用多张昇腾卡。
  • 基于PyTorch上的第三方开发库非常多,例如transformers、accelerate、deepspeed以及Megatron-LM等,这些三方库昇腾也做了类似PyTorch Adapter的适配插件库,可以在Gitee的昇腾官方仓库中找到,请按需进行使用。部分三方库例如最新版本deepspeed已原生支持NPU,可以直接在昇腾设备上运行。
support.huaweicloud.com/bestpractice-modelarts/modelarts_10_2503.html