AI开发平台MODELARTS-LoRA微调训练:Step1 在Notebook中修改训练超参配置

时间:2024-09-24 10:50:15

Step1 在Notebook中修改训练超参配置

llama2-13b LORA微调为例,执行脚本0_pl_lora_13b.sh

修改模型训练脚本中的超参配置,必须修改的参数如表1所示。其他超参均有默认值,可以参考表1按照实际需求修改。

表1 必须修改的训练超参配置

参数

示例值

参数说明

ORIGINAL_TRAIN_DATA_PATH

/home/ma-user/work/training_data/alpaca_gpt4_data.json

必须修改。训练时指定的输入数据路径。请根据实际规划修改。

ORIGINAL_HF_WEIGHT

/home/ma-user/work/model/llama-2-13b-chat-hf

必须修改。加载tokenizer与Hugging Face权重时,对应的存放地址。请根据实际规划修改。

对于ChatGLMv3-6B和Qwen系列模型,还需要手动修改tokenizer文件,具体请参见训练tokenizer文件说明

support.huaweicloud.com/bestpractice-modelarts/modelarts_10_1812.html