AI开发平台MODELARTS-预训练任务:步骤2 修改训练超参配置

时间：2025-03-12 09:40:11

AI开发平台MODELARTS

以 llama2-70b 和 llama2-13b 预训练 为例，执行脚本为 0_pl_pretrain_70b.sh 和 0_pl_pretrain_13b.sh 。

修改模型训练脚本中的超参配置，必须修改的参数如表1所示。其他超参均有默认值，可以参考表1按照实际需求修改。

表1 必须修改的训练超参配置
参数	示例值	参数说明
ORIGINAL_TRAIN_DATA_PATH	/home/ma-user/ws/llm_train/AscendSpeed/training_data/train-00000-of-00001-a09b74b3ef9c3b56.parquet	必须修改。训练时指定的输入数据路径。请根据实际规划修改。
ORIGINAL_HF_WEIGHT	/home/ma-user/ws/llm_train/AscendSpeed/model/llama2-70B	必须修改。加载tokenizer与Hugging Face权重时，对应的存放地址。请根据实际规划修改。