检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
训练数据集预处理说明 以 llama2-13b 举例，使用训练作业运行：obs_pipeline.sh 训练脚本后，脚本自动执行数据集预处理，并检查是否已经完成数据集预处理。 如果已完成数据集预处理，则直接执行训练任务。
在运行finetune_ds.sh 时遇到报错 在运行finetune_ds.sh 时遇到报错 pydantic_core.
在运行finetune_ds.sh 时遇到报错 在运行finetune_ds.sh 时遇到报错 pydantic_core.
训练脚本说明 训练脚本参数说明 不同模型推荐的参数与NPU卡数设置 训练tokenizer文件说明 父主题： Qwen-VL基于Standard+OBS+SFS适配PyTorch NPU训练指导（6.3.912）
训练脚本说明 训练启动脚本说明和参数配置 训练tokenizer文件说明 断点续训和故障快恢说明 父主题： 主流开源大模型基于Standard+OBS适配ModelLink PyTorch NPU训练指导（6.5.901）
训练脚本说明 训练启动脚本说明和参数配置 训练的数据集预处理说明 训练的权重转换说明 训练tokenizer文件说明 父主题： 主流开源大模型基于Standard适配PyTorch NPU训练指导（6.3.905）
训练脚本说明 训练启动脚本说明和参数配置 训练的数据集预处理说明 训练的权重转换说明 训练tokenizer文件说明 父主题： 主流开源大模型基于Standard适配PyTorch NPU训练指导（6.3.906）
训练脚本说明 训练启动脚本说明和参数配置 训练的数据集预处理说明 训练的权重转换说明 训练tokenizer文件说明 父主题： 主流开源大模型基于Standard+OBS适配ModelLink PyTorch NPU训练指导（6.3.911）
训练脚本说明 训练启动脚本说明和参数配置 训练的数据集预处理说明 训练中的权重转换说明 训练tokenizer文件说明 父主题： 主流开源大模型基于Lite Cluster适配ModelLink PyTorch NPU训练指导（6.3.910）
训练脚本说明 训练启动脚本说明和参数配置 训练的数据集预处理说明 训练的权重转换说明 训练tokenizer文件说明 父主题： 主流开源大模型基于Standard+OBS+SFS适配ModelLink PyTorch NPU训练指导（6.3.911）
训练脚本说明 训练启动脚本说明和参数配置 训练的数据集预处理说明 训练的权重转换说明 训练tokenizer文件说明 父主题： 主流开源大模型基于Standard+OBS+SFS适配ModelLink PyTorch NPU训练指导（6.3.910）
训练脚本说明 训练启动脚本说明和参数配置 训练的数据集预处理说明 训练中的权重转换说明 训练tokenizer文件说明 父主题： 主流开源大模型基于Lite Server适配PyTorch NPU训练指导（6.3.905）
训练脚本说明 Yaml配置文件参数配置说明 模型NPU卡数、梯度累积值取值表 各个模型训练前文件替换 NPU_Flash_Attn融合算子约束 BF16和FP16说明 录制Profiling 父主题： 主流开源大模型基于Lite Server适配LlamaFactory PyTorch
训练脚本说明 Yaml配置文件参数配置说明 模型NPU卡数、梯度累积值取值表 各个模型训练前文件替换 NPU_Flash_Attn融合算子约束 BF16和FP16说明 录制Profiling 父主题： 主流开源大模型基于Lite Server适配LlamaFactory PyTorch
如果未完成，则执行脚本，自动完成数据预处理和权重转换的过程。 若用户进行自定义数据集预处理以及权重转换，可通过Notebook环境编辑 1_preprocess_data.sh 、2_convert_mg_hf.sh中的具体python指令，并在Notebook环境中运行执行。
训练脚本说明 训练启动脚本说明和参数配置 训练tokenizer文件说明 断点续训和故障快恢说明 父主题： 主流开源大模型基于Standard+OBS适配ModelLink PyTorch NPU训练指导（6.3.912）
训练脚本说明 训练启动脚本说明和参数配置 训练数据集预处理说明 训练权重转换说明 训练tokenizer文件说明 父主题： 主流开源大模型基于Standard+OBS适配PyTorch NPU训练指导（6.3.907）
训练脚本说明 训练启动脚本说明和参数配置 训练的数据集预处理说明 训练的权重转换说明 训练tokenizer文件说明 父主题： 主流开源大模型基于Standard+OBS适配ModelLink PyTorch NPU训练指导（6.3.909）
训练脚本说明 训练启动脚本说明和参数配置 训练的数据集预处理说明 训练的权重转换说明 训练tokenizer文件说明 父主题： 主流开源大模型基于Standard+OBS适配ModelLink PyTorch NPU训练指导（6.3.910）
训练脚本说明 训练启动脚本说明和参数配置 训练的数据集预处理说明 训练中的权重转换说明 训练tokenizer文件说明 父主题： 主流开源大模型基于Lite Server适配PyTorch NPU训练指导（6.3.906）
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
