AI开发平台MODELARTS-预训练任务:Step1 修改预训练脚本

时间：2024-04-30 18:09:29

AI开发平台MODELARTS

Step1 修改预训练脚本

执行命令如下，进入/home/ma-user/ws/AscendCloud-3rdLLM-6.3.902/llm_train/AscendSpeed/代码目录。

cd /home/ma-user/ws/AscendCloud-3rdLLM-6.3.902/llm_train/AscendSpeed/  #进入/home/ma-user/ws/AscendCloud-3rdLLM-6.3.902/llm_train/AscendSpeed/目录

执行如下命令修改Llama2-13b的预训练启动脚本。

#llama2-13b 预训练启动脚本
vim scripts/llama2/pretrain-llama2-13b.sh

修改脚本中以下内容。

DATASET_PATH       #预处理后的数据地址：*注意：一般为数据地址/数据前缀名
TOKENIZER_PATH     #tokeneizer地址
SAVE_PATH          # 中间保存结果 包含日志 
SAVE_CKPT_PATH     #训练ckpt保存地址
TRAIN_ITERS=2000   #训练迭代周期，根据自己实际要求修改
MBS=4              #流水线并行中一个micro batch所处理的样本量
GBS=64             #训练中所有机器一个step所处理的样本量，建议值单机64，双机128
TP=8               #张量并行
PP=1               #流水线并行，单机建议为1，双机建议值为2