AI开发平台MODELARTS-各个模型训练前文件替换:falcon-11B模型

时间:2024-12-09 20:36:34

falcon-11B模型

在训练开始前,针对falcon-11B模型中的tokenizer文件,需要替换代码。替换文件{work_dir}/tokenizers/falcon-11B/config.json,具体步骤如下:

复制代码包目录下config.json至falcon-11B的tokenizer目录下,样例命令:

  • 进入到代码目录下{work_dir}/llm_train/LLaMAFactory/ascendcloud_patch/models/falcon2/如:
cd /home/ma-user/ws/llm_train/LLaMAFactory/ascendcloud_patch/models/falcon2/
cp -f config.json {work_dir}/tokenizers/falcon-11B/
support.huaweicloud.com/bestpractice-modelarts/modelarts_llm_train_91042.html