AI开发平台MODELARTS-各个模型训练前文件替换:glm4-9b模型

时间:2024-11-12 16:42:44

glm4-9b模型

在训练开始前,需要修改glm4-9b模型中的tokenizer文件modeling_chatglm.py内容,具体步骤如下:

  • 进入到tokenizer目录下{work_dir}/tokenizers/glm4-9B/,命令如下:
cd /home/ma-user/ws/tokenizers/glm4-9B
  • 修改modeling_chatglm.py文件内容:
    vim modeling_chatglm.py
    # 注释掉以下两行内容
    # if attention_mask is not None
          # attention_mask = ~attention_mask  

    样例图:

support.huaweicloud.com/bestpractice-modelarts/modelarts_llm_train_90932.html