检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
训练过程中，训练日志会在第一个的Rank节点打印。 图1 打印训练日志 训练完成后，如果需要单独获取训练日志文件，日志存放在第一个的Rank节点中；日志存放路径为：对应表1表格中output_dir参数值路径下的trainer_log.jsonl文件 查看性能 训练性能主要通过训练日志中的2个指标查看，吞吐量和loss收敛情况。
使用AWQ量化 AWQ(W4A16/W8A16)量化方案能显著降低模型显存以及需要部署的卡数。降低小batch下的增量推理时延。支持AWQ量化的模型列表请参见表3。多模态只支持hf上下载的awq权重，可跳过步骤一。 本章节介绍如何使用AWQ量化工具实现推理量化。 量化方法：W4A16 pe
离线训练安装包准备说明 申请的模型软件包一般依赖连通网络的环境。若用户的机器或资源池无法连通网络，并无法git clone下载代码、安装python依赖包的情况下，用户则需要找到已联网的机器（本章节以Linux系统机器为例）提前下载资源，以实现离线安装。用户可遵循以下步骤操作。 步骤一：资源下载
训练时设置的参数，具体参数查看表1。 loss收敛情况：日志里存在lm loss参数 ，lm loss参数随着训练迭代周期持续性减小，并逐渐趋于稳定平缓。也可以使用可视化工具TrainingLogParser查看loss收敛情况，如图2所示。 单节点训练：训练过程中的loss直接打印在窗口上。
查看日志和性能 查看日志 训练过程中，训练日志会在最后的Rank节点打印。 图1 打印训练日志 训练完成后，如果需要单独获取训练日志文件，可以在${OUTPUT_SAVE_DIR}/log路径下获取。 查看性能 训练性能主要通过训练日志中的2个指标查看，吞吐量和loss收敛情况。 吞吐量（tokens/s/p）：global
--generate-scale：体现此参数表示会生成量化系数，生成后的系数保存在--scale-output参数指定的路径下。如果有指定的量化系数，则不需此参数，直接读取--scale-input参数指定的量化系数输入路径即可。 --dataset-path：数据集路径，推荐使
训练脚本说明参考 训练参数配置说明【旧】 训练tokenizer文件说明 断点续训和故障快恢说明 父主题： 主流开源大模型基于Lite Server适配ModelLink PyTorch NPU训练指导（6.3.912）
上传文件至JupyterLab 上传本地文件至JupyterLab 克隆GitHub开源仓库文件到JupyterLab 上传OBS文件到JupyterLab 上传远端文件至JupyterLab 父主题： 通过JupyterLab在线使用Notebook实例进行AI开发
数据标注：对您的数据进行标注情况确认。 数据集版本发布：将已完成标注的数据进行版本发布。 数据校验：对您的数据集的数据进行校验，是否存在数据异常。 物体检测：将发布好的数据集版本进行训练，生成对应的模型。 模型注册：将训练后的结果注册到模型管理中。 服务部署：将生成的模型部署为在线服务。
保证图片质量：不能有损坏的图片，目前支持的格式包括jpg、jpeg、bmp、png。 不要把明显不同的多个任务数据放在同一个数据集内。 每一类数据尽量多，尽量均衡。期望获得良好效果，图像分类项目中，至少有两种以上的分类，每种分类的样本不少于20张。 为了保证模型的预测准确度，训练样本跟真实使用场景尽量相似。
准备工作 准备环境 准备代码 准备数据 准备镜像环境 父主题： 主流开源大模型基于Lite Cluster适配ModelLink PyTorch NPU训练指导（6.3.910）
准备工作 准备环境 准备代码 准备镜像环境 准备数据（可选） 父主题： 主流开源大模型基于DevServer适配LlamaFactory PyTorch NPU训练指导（6.3.907）
推理模型量化 使用AWQ量化 使用SmoothQuant量化 使用kv-cache-int8量化 使用GPTQ量化 父主题： 主流开源大模型基于DevServer适配PyTorch NPU推理指导（6.3.908）
推理模型量化 使用AWQ量化 使用SmoothQuant量化 使用kv-cache-int8量化 使用GPTQ量化 使用llm-compressor工具量化 父主题： 主流开源大模型基于Lite Server适配PyTorch NPU推理指导（6.3.911）
准备工作 准备环境 准备代码 准备镜像环境 DockerFile构建镜像（可选） 准备数据（可选） 父主题： 主流开源大模型基于DevServer适配LlamaFactory PyTorch NPU训练指导（6.3.911）
训练脚本说明 Yaml配置文件参数配置说明 模型NPU卡数、梯度累积值取值表 各个模型训练前文件替换 NPU_Flash_Attn融合算子约束 BF16和FP16说明 录制Profiling 父主题： 主流开源大模型基于DevServer适配LlamaFactory PyTorch
准备工作 准备环境 准备代码 准备数据 准备镜像 父主题： 主流开源大模型基于Lite Server适配ModelLink PyTorch NPU训练指导（6.3.912）
准备工作 准备资源 准备数据 准备权重 准备代码 准备镜像 父主题： 主流开源大模型基于Standard+OBS+SFS适配ModelLink PyTorch NPU训练指导（6.3.912）
训练脚本说明 训练启动脚本说明和参数配置【旧】 训练tokenizer文件说明 断点续训和故障快恢说明 父主题： 主流开源大模型基于Standard+OBS+SFS适配ModelLink PyTorch NPU训练指导（6.3.912）
准备工作 准备环境 准备代码 准备镜像环境 DockerFile构建镜像（可选） 准备数据（可选） 父主题： 主流开源大模型基于Lite Server适配LlamaFactory PyTorch NPU训练指导（6.3.912）
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
