AI开发平台MODELARTS-训练tokenizer文件说明:ChatGLMv3-6B

时间:2024-12-09 20:36:35

ChatGLMv3-6B

在训练开始前,针对ChatGLMv3-6B模型中的tokenizer文件,需要修改代码。修改文件chatglm3-6b/tokenization_chatglm.py 。

文件最后几处代码中需要修改,具体位置可根据上下文代码信息进行查找,修改后如图2所示。

图2 修改ChatGLMv3-6B tokenizer文件

图3 修改ChatGLMv3-6B tokenizer文件
support.huaweicloud.com/bestpractice-modelarts/modelarts_llm_train_91091.html