AI开发平台MODELARTS-训练tokenizer文件说明:ChatGLMv3-6B

时间:2024-12-17 18:06:53

ChatGLMv3-6B

在训练开始前,针对ChatGLMv3-6B模型中的tokenizer文件,需要修改代码。修改文件chatglm3-6b/tokenization_chatglm.py 。

文件最后几处代码中需要修改,具体位置可根据上下文代码信息进行查找,修改后如图所示。

图2 修改ChatGLMv3-6B tokenizer文件

图3 修改ChatGLMv3-6B tokenizer文件
support.huaweicloud.com/bestpractice-modelarts/modelarts_llm_train_911120.html