AI开发平台MODELARTS-执行训练任务【旧】:Step1 修改训练超参配置

时间:2025-03-12 09:40:50

Step1 修改训练超参配置

llama2-13b SFT全参微调为例,执行脚本 0_pl_sft_13b.sh

修改模型训练脚本中的配置,参数详解可查看训练参数说明,其中【GBS、MBS、TP、PP】参数值可参考模型推荐参数、NPU卡数设置。

对于Yi系列模型、ChatGLMv3-6B和Qwen系列模型,还需要手动修改训练参数和tokenizer文件,具体请参见训练tokenizer文件说明

support.huaweicloud.com/bestpractice-modelarts/modelarts_llm_train_912114.html