盘古大模型 PANGULARGEMODELS-打造政务智能问答助手:训练模型

时间:2024-10-18 10:48:53

训练模型

自监督训练:

不涉及

有监督微调:

场景采用下表中的微调参数进行微调,您可以在平台中参考如下参数进行训练:

表2 问答模型的微调核心参数设置

训练参数

设置值

数据批量大小(batch_size)

4

训练轮数(epoch)

3

学习率(learning_rate)

3e-6

学习率衰减比率(learning_rate_decay_ratio)

0.01

热身比例(warmup)

0.1

support.huaweicloud.com/bestpractice-pangulm/pangulm_04_0003.html