盘古大模型 PANGULARGEMODELS-获取token消耗规则

时间:2024-10-15 17:57:21

获取token消耗规则

了解Token消耗规则对于模型训练至关重要。掌握从字符到Token的转换规律可以优化数据预处理过程并有效控制训练成本。每个Token代表模型处理和生成文本的基本单位,它可以是一个单词、字符或字符的片段。模型的输入和输出都会被转换成Tokens,并根据模型的概率分布进行采样或计算。了解Token的消耗和费用计算规则,用户可以更准确地预测和控制训练成本,提高预算管理效率。训练服务的费用按实际消耗的Token数量计算,即实际消耗的Token数量乘以Token的单价。

为了帮助用户更好地管理和优化Token消耗,平台提供了Token计算器工具。Token计算器可以帮助用户在模型训练前评估文本的Token数量,提供费用预估,并优化数据预处理策略。

使用Token计算器的步骤如下:

  1. 登录盘古大模型套件平台
  2. 在“服务管理”页面,单击页面右上角“Token计算器”。
  3. 在Token计算器中选择所需的模型,并输入文本内容后,单击“开始计算”即可统计输入文本的Token数量。
    图1 Token计算器

    预置模型和已经部署的模型可以使用Token计算器。

support.huaweicloud.com/ugobs-obs-pangulm/pangulm_03_0081.html