数智融合计算服务-产品规格:模型推理产品规格

时间:2025-02-12 15:01:14

模型推理产品规格

表1 模型推理产品规格

类型

规格

算力

MU

mu.llama3.8b

为llama3.8b模型,提供短token场景约400RPM算力。

mu.llama3.70b

为llama3.70b模型,提供短token场景约100RPM算力。

mu.llama3.1.8b

为llama3.1.8b模型,提供短token场景约190RPM算力。

mu.llama3.1.70b

为llama3.1.70b模型,提供短token场景约130RPM算力。

mu.qwen2.72b

为qwen2.72b模型,提供短token场景约1700RPM算力。

mu.glm4.9b

为glm4.9b模型,提供短token场景约110RPM算力。

support.huaweicloud.com/productdesc-fabric/dataartsfabric_01_0044.html