AI开发平台MODELARTS-SFT全参微调训练:Step1 在Notebook中修改训练超参配置
Step1 在Notebook中修改训练超参配置
以llama2-13b SFT微调为例,执行脚本 0_pl_sft_13b.sh 。
修改模型训练脚本中的超参配置,必须修改的参数如表1所示。其他超参均有默认值,可以参考表1按照实际需求修改。
参数 |
示例值 |
参数说明 |
---|---|---|
ORIGINAL_TRAIN_DATA_PATH |
/home/ma-user/work/training_data/alpaca_gpt4_data.json |
必须修改。训练时指定的输入数据路径。请根据实际规划修改。 |
ORIGINAL_HF_WEIGHT |
/home/ma-user/work/model/llama-2-13b-chat-hf |
必须修改。加载tokenizer与Hugging Face权重时,对应的存放地址。请根据实际规划修改。 |
对于ChatGLMv3-6B和Qwen系列模型,还需要手动修改tokenizer文件,具体请参见训练tokenizer文件说明。
- ModelArts模型训练_超参搜索简介_超参搜索算法
- 华为云ModelArts_ModelArts开发_AI全流程开发
- ModelArts分布式训练_分布式训练介绍_分布式调测
- ModelArts自定义镜像_自定义镜像简介_如何使用自定义镜像
- ModelArts计费说明_计费简介_ModelArts怎么计费
- ModelArts推理部署_纳管Atlas 500_边缘服务-华为云
- ModelArts模型训练_创建训练作业_如何创建训练作业
- ModelArts推理部署_模型_AI应用来源-华为云
- 华为云盘古大模型_华为云AI大模型_盘古人工智能
- ModelArts开发环境_开发环境简介_开发环境怎么使用