AI开发平台MODELARTS-LoRA微调任务:Step1 修改LoRA微调训练脚本

时间：2024-04-30 18:09:29

AI开发平台MODELARTS

Step1 修改LoRA微调训练脚本

执行命令如下，进入/home/ma-user/ws/AscendCloud-3rdLLM-6.3.902/llm_train/AscendSpeed/代码目录。
```
cd /home/ma-user/ws/AscendCloud-3rdLLM-6.3.902/llm_train/AscendSpeed/
```

执行如下命令修改Llama2-13b的LoRA微调训练脚本lora-llama2-13b.sh。

vim scripts/llama2/lora-llama2-13b.sh

修改脚本内容，与SFT全参微调参数保持一致，不同点为RUN_TYPE类型不同，RUN_TYPE=lora；以及输入输出路径的配置的不同。

# learning rate args
LR=0.00001
MIN_LR=0.000001
TRAIN_ITERS=2000      #训练周期
LR_WARMUP_ITERS=2000
MBS=4
GBS=64     #训练中所有机器一个step所处理的样本量，建议单机64，双机128。
# data args
PWD=`pwd`
datasets_PATH=/home/ma-user/ws/datasets/alpaca-ft/llama2-13b/alpaca-ft #训练数据输入路径，不加文件类型后缀
TOKENIZER_PATH=/home/ma-user/ws/tokenizers/llama2-13b-hf   #TOKENIZER存放路径
SAVE_PATH=$PWD/ckpt                           #训练过程文件保存路径，包括日志
SAVE_CKPT_PATH=${SAVE_PATH}/ckpt-llama2-13b   #续训完成后的权重保存目录
MODEL_PATH=/home/ma-user/ws/weight/llama2-13b-ckpt  #预训练后的模型生成路径，断点续训时必须要有此参数。
# megatron args
TP=8
PP=1
SEED=1234
RUN_TYPE=lora   #表示脚本运行类型是断点续训，表示训练类型是LoRA微调训练