检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
建文件夹model/llama-2-13b-hf。 利用OBS Browser+工具将下载的模型文件上传至创建的文件夹目录下。 在ECS服务器中安装obsutil工具，具体命令可参考obsutil工具快速使用，将OBS桶中的数据下载至SFS Turbo中。注意：需要使用用户账号中
准备权重 获取对应模型的权重文件，获取链接参考表1。 在创建的OBS桶下创建文件夹用以存放权重文件，例如在桶中创建文件夹。将下载的权重文件上传至OBS中，得到OBS下数据集结构。此处以qwen-14b举例。 obs://${bucket_name}/${folder-name}/
准备权重 获取对应模型的权重文件，获取链接参考表1。 在创建的OBS桶下创建文件夹用以存放权重文件，例如在桶中创建文件夹。将下载的权重文件上传至OBS中，得到OBS下数据集结构。此处以qwen-14b举例。 obs://${bucket_name}/${folder-name}/
|──llm_inference # 推理代码包 |──llm_tools # 推理工具 代码上传至OBS 将llm_train文件上传至OBS中。 结合准备数据、准备权重、准备代码，将数据集、原始权重、代码文件都上传至OBS后，OBS桶的目录结构如下。
|──llm_inference # 推理代码包 |──llm_tools # 推理工具 代码上传至OBS 将llm_train文件上传至OBS中。 结合准备数据、准备权重、准备代码，将数据集、原始权重、代码文件都上传至OBS后，OBS桶的目录结构如下。
录制Profiling Ascend PyTorch Profiler是针对PyTorch框架开发的性能数据采集和解析工具，通过在PyTorch训练脚本中插入Ascend PyTorch Profiler接口，执行训练的同时采集性能数据，完成训练后直接输出可视化的性能数据文件，提升了性能分析效率。
录制Profiling Ascend PyTorch Profiler是针对PyTorch框架开发的性能数据采集和解析工具，通过在PyTorch训练脚本中插入Ascend PyTorch Profiler接口，执行训练的同时采集性能数据，完成训练后直接输出可视化的性能数据文件，提升了性能分析效率。
在创建OBS桶创建的桶下创建文件夹用以存放数据，例如在桶standard-llama2-13b中创建文件夹training_data。 利用OBS Browser+工具将步骤1下载的数据集上传至步骤2创建的文件夹目录下。得到OBS下数据集结构： obs://<bucket_name>/training_data
在桶standard-llama2-13b中创建文件夹llama2-13B-chat-hf。 参考文档利用OBS-Browser-Plus工具将步骤1下载的权重文件上传至步骤2创建的文件夹目录下。得到OBS下数据集结构，此处以llama2-13B为例（权重文件可能变化，以下仅为举例）：
主流开源大模型基于DevServer适配LlamaFactory PyTorch NPU训练指导（6.3.907） 场景介绍 准备工作 指令监督微调训练任务 查看日志和性能 训练脚本说明 附录：指令微调训练常见问题 父主题： LLM大语言模型训练推理
主流开源大模型基于DevServer适配LlamaFactory PyTorch NPU训练指导（6.3.909） 场景介绍 准备工作 执行训练任务 查看日志和性能 训练脚本说明 附录：训练常见问题 父主题： LLM大语言模型训练推理
6）和GPU打分结果（mmlu取值47）进行对比，误差在1%以内（计算公式：(47-46.6)/47*100=0.85%）认为NPU精度和GPU对齐。 父主题： 主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.908）
主流开源大模型基于DevServer适配ModelLink PyTorch NPU训练指导（6.3.908） 场景介绍 准备工作 执行预训练任务 执行SFT全参微调训练任务 执行LoRA微调训练任务 查看日志和性能 训练脚本说明参考 常见错误原因和解决方法 父主题： LLM大语言模型训练推理
主流开源大模型基于DevServer适配ModelLink PyTorch NPU训练指导（6.3.909） 场景介绍 准备工作 执行预训练任务 执行SFT全参微调训练任务 执行LoRA微调训练任务 查看日志和性能 训练脚本说明参考 常见错误原因和解决方法 父主题： LLM大语言模型训练推理
主流开源大模型基于DevServer适配ModelLink PyTorch NPU训练指导（6.3.910） 场景介绍 准备工作 执行预训练任务 执行SFT全参微调训练任务 执行LoRA微调训练任务 查看日志和性能 训练脚本说明参考 常见错误原因和解决方法 父主题： LLM大语言模型训练推理
主流开源大模型基于DevServer适配ModelLink PyTorch NPU训练指导（6.3.911） 场景介绍 准备工作 执行预训练任务 执行SFT全参微调训练任务 执行LoRA微调训练任务 查看日志和性能 训练脚本说明参考 常见错误原因和解决方法 父主题： LLM大语言模型训练推理
由于ModelArts创建训练作业时，需要将作业日志输出至OBS桶中，因此创建OBS桶为必选项。用户可通过OBS Browser+、obsutil等工具访问和管理OBS桶，将代码、模型文件、数据集等数据上传或下载进行备份。 创建VPC 虚拟私有云（Virtual Private Cloud
本章节介绍如何使用SmoothQuant量化工具实现推理量化。 SmoothQuant量化工具使用到的脚本存放在代码包AscendCloud-LLM-x.x.x.zip的llm_tools目录下。 代码目录如下: AutoSmoothQuant #量化工具 ├── asc
本章节介绍如何使用SmoothQuant量化工具实现推理量化。 SmoothQuant量化工具使用到的脚本存放在代码包AscendCloud-LLM-x.x.x.zip的llm_tools目录下。 代码目录如下: AutoSmoothQuant #量化工具 ├── asc
最后，提交训练作业，训练完成后，请参考查看日志和性能章节查看SFT微调的日志和性能。了解更多ModelArts训练功能，可查看模型开发简介。 父主题： 主流开源大模型基于Standard适配PyTorch NPU训练指导（6.3.905）
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
