检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
当参数值>=TRAIN_ITERS时，生成模型仅保存经过TRAIN_ITERS次训练后的最后一个版本。 当参数值<TRAIN_ITERS时，生成模型会每经过SAVE_INTERVAL次，保存一次模型版本。
本案例将基于ModelArts提供的PyTorch基础镜像，安装pytorch 1.8、ffmpeg 3和gcc 8，构建一个面向AI开发的新环境。 主要流程如下图所示： 图1 构建与调测镜像流程 本案例适用于华为云-北京四Region。
/llm_train/AscendSpeed 编辑llm_train/AscendSpeed中的Dockerfile文件，修改git命令，填写自己的git账户信息。
/AscendCloud/AscendCloud-LLM/llm_train/AscendSpeed 编辑llm_train/AscendSpeed中的Dockerfile文件，修改git命令，填写自己的git账户信息。
需要在训练开始前，修改llm_train/AscendSpeed/yi/3_training.sh文件，并添加--tokenizer-not-use-fast参数。修改后如图1所示。
--dataset-path：数据集路径，推荐使用：https://huggingface.co/datasets/mit-han-lab/pile-val-backup/resolve/main/val.jsonl.zst。 --scale-output：量化系数保存路径。
执行如下脚本进行权重转换生成量化系数，详细参数解释请参见https://github.com/NVIDIA/TensorRT-LLM/tree/main/examples/llama#int8-kv-cache） python convert_checkpoint.py \ --model_dir
transformers sentencepiece #安装量化工具依赖 export ASCEND_RT_VISIBLE_DEVICES=0 #设置使用NPU单卡执行模型量化 python examples/quantize.py 详细说明可以参考vLLM官网：https://docs.vllm.ai
--dataset-path：数据集路径，推荐使用：https://huggingface.co/datasets/mit-han-lab/pile-val-backup/resolve/main/val.jsonl.zst。 --scale-output：量化系数保存路径。
per_device_train_batch_size: 1 gradient_accumulation_steps: 8 learning_rate: 2.0e-5 num_train_epochs: 10.0 lr_scheduler_type: cosine warmup_ratio
']，一般为PretrainedFromHF。
']，一般为PretrainedFromHF。
/bert_pretrain_mindspore:v1 bert_pretrain_mindspore:v1 在主机上新建config.yaml文件。
/ascendcloud_patch/models/falcon2目录下： cd /home/ma-user/ws/llm_train/AscendFactory/src/acs_train_solution/ascendcloud_patch/models/falcon2 复制config.json
图1 mc2融合算子错误 解决方法 修改代码文件：AscendFactory/scripts_modellink/{model_name}/3_training.sh文件，去除以下mc2融合算子--mc2 父主题： 常见错误原因和解决方法
详细说明可以参考vLLM官网：https://docs.vllm.ai/en/latest/quantization/auto_awq.html。 Step2 权重格式离线转换（可选） AutoAWQ量化完成后，使用int32对int4的权重进行打包。
替换文件{work_dir}/tokenizers/falcon-11B/config.json，具体步骤如下： 复制代码包目录下config.json至falcon-11B的tokenizer目录下，样例命令： 进入到代码目录下{work_dir}/llm_train/LLaMAFactory
替换文件{work_dir}/tokenizers/falcon-11B/config.json，具体步骤如下： 复制代码包目录下config.json至falcon-11B的tokenizer目录下，样例命令： 进入到代码目录下{work_dir}/llm_train/LLaMAFactory
内容示例如下： 在使用OpenAI接口或vLLM接口启动推理服务时添加如下参数，启动kv-cache-int8-per-tensor+per-head量化服务。
表1 模型训练脚本参数 参数 示例值 参数说明 ORIGINAL_TRAIN_DATA_PATH /home/ma-user/ws/llm_train/AscendSpeed/training_data/pretrain/train-00000-of-00001-a09b74b3ef9c3b56
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
