AI开发平台MODELARTS-SFT全参微调训练:Step1 在Notebook中修改训练超参配置

时间：2024-09-14 22:29:29

AI开发平台MODELARTS

以llama2-13b SFT微调为例，执行脚本 0_pl_sft_13b.sh 。

修改模型训练脚本中的超参配置，必须修改的参数如表1所示。其他超参均有默认值，可以参考表1按照实际需求修改。

表1 必须修改的训练超参配置
参数	示例值	参数说明
ORIGINAL_TRAIN_DATA_PATH	/home/ma-user/work/training_data/alpaca_gpt4_data.json	必须修改。训练时指定的输入数据路径。请根据实际规划修改。
ORIGINAL_HF_WEIGHT	/home/ma-user/work/model/llama-2-13b-chat-hf	必须修改。加载tokenizer与Hugging Face权重时，对应的存放地址。请根据实际规划修改。