AI开发平台MODELARTS-Notebook中构建新镜像:Step3 Notebook中安装依赖包并保存镜像

时间：2024-09-14 22:29:26

AI开发平台MODELARTS

Step3 Notebook中安装依赖包并保存镜像

在后续训练步骤中，训练作业启动命令中包含sh scripts/install.sh，该命令用于git clone完整的代码包和安装必要的依赖包。

通过运行install.sh脚本，会git clone下载Megatron-LM、MindSpeed、ModelLink源码（install.sh中会自动下载配套版本，若手动下载源码还需修改版本）至llm_train/AscendSpeed文件夹中。下载的源码文件结构如下：

|——AscendCloud-LLM
    |──llm_train                 # 模型训练代码包
          |──AscendSpeed         # 基于AscendSpeed的训练代码
                 |──ascendcloud_patch/   # 针对昇腾云平台适配的功能补丁包
                 |──scripts/             # 训练需要的启动脚本
                 |——src/                 # 启动命令行封装脚本，在install.sh里面自动构建
          |──Megatron-LM/         # 适配昇腾的Megatron-LM训练框架
          |──MindSpeed/           # MindSpeed昇腾大模型加速库
          |──ModelLink/           # ModelLink端到端的大语言模型方案
                 |——megatron/     # 注意：该文件夹从Megatron-LM中复制得到
                 |——...

您可以在Notebook中导入完代码之后，在Notebook运行sh scripts/install.sh命令提前下载完整代码包和安装依赖包，然后使用保存镜像功能。后续训练作业使用新保存的镜像，无需每次启动训练作业时再次下载代码包以及安装依赖包，可节约训练作业启动时间。

上一篇：AI开发平台MODELARTS-Notebook中构建新镜像:Step1 创建Notebook

下一篇：AI开发平台MODELARTS-Notebook中构建新镜像:Step1 创建Notebook