AI开发平台MODELARTS-训练中的权重转换说明:HuggingFace转Megatron参数说明

时间:2024-12-09 20:36:16

HuggingFace转Megatron参数说明

  • --model-type:模型类型。
  • --loader:选择对应加载模型脚本的名称。
  • --saver:选择模型保存脚本的名称。
  • --tensor-model-parallel-size:${TP}张量并行数,需要与训练脚本中的TP值配置一样。
  • --pipeline-model-parallel-size:${PP}流水线并行数,需要与训练脚本中的PP值配置一样。
  • --load-dir:加载转换模型权重路径。
  • --save-dir : 权重转换完成之后保存路径。
  • --tokenizer-model : tokenizer路径。
support.huaweicloud.com/bestpractice-modelarts/modelarts_10_3164.html