华为云首页用户手册

AI开发平台MODELARTS-预训练:Step1 在Notebook中修改训练超参配置

AI开发平台MODELARTS-预训练:Step1 在Notebook中修改训练超参配置

时间：2024-11-05 09:54:18

AI开发平台MODELARTS

Step1 在Notebook中修改训练超参配置

以llama2-13b预训练为例，执行脚本0_pl_pretrain_13b.sh。

修改模型训练脚本中的超参配置，必须修改的参数如表1所示。其他超参均有默认值，可以参考表1按照实际需求修改。

表1 必须修改的训练超参配置
参数	示例值	参数说明
ORIGINAL_TRAIN_DATA_PATH	/home/ma-user/work/training_data/train-00000-of-00001-a09b74b3ef9c3b56.parquet	必须修改。训练时指定的输入数据路径。请根据实际规划修改。
ORIGINAL_HF_WEIGHT	/home/ma-user/work/model/llama-2-13b-chat-hf	必须修改。加载tokenizer与Hugging Face权重时，对应的存放地址。请根据实际规划修改。

对于ChatGLMv3-6B和Qwen系列模型，还需要手动修改tokenizer文件，具体请参见训练tokenizer文件说明。

上一篇：AI开发平台MODELARTS-预训练:Step2 创建预训练任务

下一篇：AI开发平台MODELARTS-预训练:Step2 创建预训练任务

华为云11.11 2核1G 2M 云服务器

29元/年

立即注册领万元上云礼券

抽奖赢11111元免单

续费同价 L实例 2核2G 4M

98元/年

热门域名 1元随心购

1元/年

AI开发平台MODELARTS-预训练:Step1 在Notebook中修改训练超参配置

意见反馈

0/200

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

推荐文章

解决方案
相关专题