AI开发平台MODELARTS-准备代码:代码目录介绍

时间:2024-11-05 09:54:16

代码目录介绍

AscendCloud-3rdLLM代码包结构介绍如下:
xxx-Ascend               #xxx表示版本号
    |──llm_evaluation  #推理评测代码包
          |──benchmark_eval   #精度评测
          |──benchmark_tools  #性能评测
    |──llm_train       #模型训练代码包
          |──AscendSpeed  #基于AscendSpeed的训练代码
                 |──AscendSpeed  #加速库
                 |──ModelLink   #基于ModelLink的训练代码
                 |──scripts/    #训练需要的启动脚本

本教程需要使用到的训练相关代码存放在llm_train/AscendSpeed目录下,具体文件介绍如下:

|──llm_train       #模型训练代码包
          |──AscendSpeed   #基于AscendSpeed的训练代码
                 |──AscendSpeed  #加速库 
                 |──ModelLink   #基于ModelLink的训练代码,数据预处理脚本
                 |──scripts/    #训练需要的启动脚本,调用ModelLink                    
                         |──llama2   #llama2的训练代码
                              |──llama2.sh                 #llama2训练脚本    
support.huaweicloud.com/bestpractice-modelarts/modelarts_10_1603.html