AI开发平台MODELARTS-训练tokenizer文件说明:Yi模型

时间:2024-11-12 16:42:42

Yi模型

在使用Yi模型的chat版本时,由于transformer 4.38版本的bug,导致在读取tokenizer文件时,加载的vocab_size出现类似如下尺寸不匹配的问题。

 RuntimeError: Error(s) in loading state_dict for VocabParallelEmbedding:
 size mismatch for weight: copying a param with shape torch.Size([64000, 4096]) from checkpoint, the shape in current model is torch.Size([63992, 4096]).

需要在训练开始前,修改llm_train/AscendSpeed/yi/3_training.sh文件,并添加--tokenizer-not-use-fast参数。修改后如图1所示。

图1 修改Yi 模型3_training.sh文件
support.huaweicloud.com/bestpractice-modelarts/modelarts_llm_train_90880.html