盘古大模型 PANGULARGEMODELS-打造短视频营销文案创作助手:训练模型

时间:2024-10-18 10:48:53

训练模型

自监督训练

不涉及

有监督微调

本场景采用了下表中的微调参数进行微调,您可以在平台中参考如下参数进行训练:

表2 微调核心参数设置

训练参数

设置值

数据批量大小(batch_size)

8

训练轮数(epoch)

4

学习率(learning_rate)

7.5e-05

学习率衰减比率(learning_rate_decay_ratio)

0.067

热身比例(warmup)

0.01

support.huaweicloud.com/bestpractice-pangulm/pangulm_04_0002.html