AI开发平台MODELARTS-使用MaaS调优模型:模型调优时长估算

时间：2024-12-16 10:58:35

AI开发平台MODELARTS

调优时长表示调优任务的“状态”处于“运行中”的耗时。由于训练吞吐有上下限，因此计算出的调优时长是个区间。

表3 参数说明
参数	说明
经验系数	经验系数与模型训练迭代过程中处理的序列长度和批次大小有关。 Qwen2-72B-1K模型的经验系数 = 512 x 1024 ÷ 3600 ≈ 146 其他模型的经验系数 = 32 x 4096 ÷ 3600 ≈ 36
Iterations	创建调优任务时设置的“迭代步数/Iterations”超参值。
卡数	和创建调优任务时选择的“实例规格”相关，例如，“实例规格”选择的是“Ascend: 2ascend-snt9b2(64GB) ”，号前面的数字是2，则卡数就是2。
实例数	创建调优任务时设置的“实例数”。
吞吐	吞吐表示每秒每卡处理的Tokens数量，吞吐值的上下限可以参考表4获取。单位：tokens/s/p
前后处理时间	调优时长还包括训练前的数据预处理、训练后格式转换等调优之外的耗时，统称为前后处理时间。调优任务的前后处理时间和模型参数量相关，不同参数量的时间估值如下： 72B ： 1.35小时 32B：0.58小时 14B：0.25小时 7B：0.15小时

表4 各模型的吞吐数据参考
模型名称	训练类型	吞吐下限取整	吞吐上限取整
Baichuan2-13B	sft	1200	1600
Baichuan2-13B	lora	1300	1800
ChatGLM3-6B	sft	2000	2700
ChatGLM3-6B	lora	2300	3100
GLM-4-9B	sft	1800	2100
GLM-4-9B	lora	2400	2800
Llama2-13B	sft	1300	1800
Llama2-13B	lora	1400	1900
Llama2-70B	sft	300	400
Llama2-70B	lora	400	500
Llama2-7B	sft	3100	4200
Llama2-7B	lora	3500	4700
Llama3-70B	sft	300	400
Llama3-70B	lora	300	500
Llama3-8B	sft	2100	2800
Llama3-8B	lora	2300	3100
Qwen-14B	sft	1200	1600
Qwen-14B	lora	1400	1900
Qwen-72B	sft	300	400
Qwen-72B	lora	300	500
Qwen-7B	sft	2100	2900
Qwen-7B	lora	2200	3000
Qwen1.5-14B	sft	1300	1700
Qwen1.5-14B	lora	1400	1800
Qwen1.5-32B	sft	600	800
Qwen1.5-32B	lora	700	900
Qwen1.5-72B	sft	300	400
Qwen1.5-72B	lora	300	500
Qwen1.5-7B	sft	2200	3000
Qwen1.5-7B	lora	2600	3600
Qwen2-0.5B	sft	12800	17300
Qwen2-0.5B	lora	12800	17300
Qwen2-1.5B	sft	7300	9800
Qwen2-1.5B	lora	7300	9900
Qwen2-72B	sft	300	300
Qwen2-72B	lora	300	400
Qwen2-72B-1K	sft	300	300
Qwen2-72B-1K	lora	300	400
Qwen2-7B	sft	2300	3200
Qwen2-7B	lora	2600	3500