华为云首页用户手册

AI开发平台MODELARTS-LoRA微调训练:Step1 在Notebook中修改训练超参配置

AI开发平台MODELARTS-LoRA微调训练:Step1 在Notebook中修改训练超参配置

时间：2024-12-09 20:36:12

AI开发平台MODELARTS

Step1 在Notebook中修改训练超参配置

以llama2-13b LORA微调为例，执行脚本0_pl_lora_13b.sh 。

修改模型训练脚本中的超参配置，必须修改的参数如表1所示。其他超参均有默认值，可以参考表1按照实际需求修改。

表1 必须修改的训练超参配置
参数	示例值	参数说明
ORIGINAL_TRAIN_DATA_PATH	/home/ma-user/work/training_data/alpaca_gpt4_data.json	必须修改。训练时指定的输入数据路径。请根据实际规划修改。
ORIGINAL_HF_WEIGHT	/home/ma-user/work/model/llama-2-13b-chat-hf	必须修改。加载tokenizer与Hugging Face权重时，对应的存放地址。请根据实际规划修改。

对于ChatGLMv3-6B和Qwen系列模型，还需要手动修改tokenizer文件，具体请参见训练tokenizer文件说明。

由于模型中LoRA微调训练存在已知的精度问题，因此不支持TP(tensor model parallel size)张量模型并行策略，推荐使用PP(pipeline model parallel size)流水线模型并行策略，具体详细参数配置如表2所示。

上一篇：AI开发平台MODELARTS-LoRA微调训练:Step2 创建LoRA微调训练任务

下一篇：AI开发平台MODELARTS-LoRA微调训练:Step2 创建LoRA微调训练任务

新客秒杀 2核2G 3M L实例

68元/年

普惠上云领千元上云礼券

立即前往

企业专享 X实例 4核8G 5M

888元/年

热门域名 1元随心购

1元/年起

AI开发平台MODELARTS-LoRA微调训练:Step1 在Notebook中修改训练超参配置

意见反馈

0/200

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

推荐文章

解决方案
相关专题