AI开发平台MODELARTS-离线训练安装包准备说明:步骤一：资源下载

时间：2025-03-03 21:38:38

AI开发平台MODELARTS

步骤一：资源下载

Python依赖包下载：进入 scripts/install.sh 文件中，找到需要安装的pip文件，如下列所示。直接下载pip文件，注意：下载要求的版本。
```
pip install numpy==1.22.0 \
            transformers_stream_generator==0.0.5 \
            ...
```

代码下载：访问 scripts/install.sh 文件中，找到需要git clone的文件，如下列所示。运行git clone命令，并git checkout切换到指定的版本。注意：针对Megatron-LM下载完成后，需要将megatron文件夹复制至ModelLink中。

git clone https://gitee.com/ascend/ModelLink.git
cd ModelLink
git checkout 8f50777
cd ..

git clone https://gitee.com/lmzwhu/Megatron-LM.git
cd Megatron-LM
git checkout -f core_r0.6.0
cp -r megatron ../ModelLink/
cd ..

git clone https://gitee.com/ascend/MindSpeed.git
cd MindSpeed
git checkout 4ea42a23
cd ..

完整的源码目录结构如下：

|——AscendCloud-LLM
    |──llm_train                 # 模型训练代码包
          |──AscendSpeed         # 基于AscendSpeed的训练代码
                 |──ascendcloud_patch/   # 针对昇腾云平台适配的功能补丁包
                 |──scripts/             # 训练需要的启动脚本
                 |——src/                 # 启动命令行封装脚本，在install.sh里面自动构建
          |──Megatron-LM/         # 适配昇腾的Megatron-LM训练框架
          |──MindSpeed/           # MindSpeed昇腾大模型加速库
          |──ModelLink/           # ModelLink端到端的大语言模型方案
                 |——megatron/     # 注意：该文件夹从Megatron-LM中复制得到
                 |——...

上一篇：AI开发平台MODELARTS-离线训练安装包准备说明:步骤二：资源安装

下一篇：AI开发平台MODELARTS-离线训练安装包准备说明:步骤二：资源安装