检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
训练脚本说明 Yaml配置文件参数配置说明 模型NPU卡数、梯度累积值取值表 各个模型训练前文件替换 NPU_Flash_Attn融合算子约束 BF16和FP16说明 录制Profiling 父主题： 主流开源大模型基于Lite Server适配LlamaFactory PyTorch
准备工作 准备资源 准备数据 准备权重 准备代码 准备镜像 准备Notebook（可选） 父主题： 主流开源大模型基于Standard+OBS适配ModelLink PyTorch NPU训练指导（6.3.911）
常见错误原因和解决方法 显存溢出错误 网卡名称错误 父主题： 主流开源大模型基于Standard+OBS适配ModelLink PyTorch NPU训练指导（6.3.911）
主流开源大模型基于Lite Server适配ModelLink PyTorch NPU训练指导（6.3.912） 场景介绍 准备工作 执行训练任务 查看日志和性能 训练脚本说明参考 常见错误原因和解决方法 父主题： LLM大语言模型训练推理
准备工作 准备环境 准备代码 准备数据 准备镜像 父主题： 主流开源大模型基于Lite Server适配ModelLink PyTorch NPU训练指导（6.3.912）
准备工作 准备资源 准备数据 准备权重 准备代码 准备镜像 父主题： 主流开源大模型基于Standard+OBS+SFS适配ModelLink PyTorch NPU训练指导（6.3.912）
训练脚本说明 训练启动脚本说明和参数配置【旧】 训练tokenizer文件说明 断点续训和故障快恢说明 父主题： 主流开源大模型基于Standard+OBS+SFS适配ModelLink PyTorch NPU训练指导（6.3.912）
准备工作 准备环境 准备代码 准备镜像环境 DockerFile构建镜像（可选） 准备数据（可选） 父主题： 主流开源大模型基于Lite Server适配LlamaFactory PyTorch NPU训练指导（6.3.912）
训练脚本说明参考 训练参数配置说明【旧】 训练tokenizer文件说明 断点续训和故障快恢说明 父主题： 主流开源大模型基于Lite Cluster适配ModelLink PyTorch NPU训练指导（6.3.912）
常见错误原因和解决方法 显存溢出错误 网卡名称错误 工作负载Pod异常 mc2融合算子报错 父主题： 主流开源大模型基于Lite Cluster适配ModelLink PyTorch NPU训练指导（6.3.912）
执行训练任务 执行训练任务（推荐） 执行训练任务（历史版本） 父主题： 主流开源大模型基于Standard+OBS适配ModelLink PyTorch NPU训练指导（6.3.912）
不同模型推荐的参数与NPU卡数设置 表1 不同模型推荐的参数与NPU卡数设置 模型 Template 模型参数量 训练策略类型 序列长度cutoff_len 梯度累积值 优化工具 (Deepspeed) 规格与节点数 Qwen-VL Qwen-VL 7B full 2048 gr
训练脚本说明 训练脚本存放目录说明 不同模型推荐的参数与NPU卡数设置 训练tokenizer文件说明 父主题： Qwen-VL模型基于Standard+OBS适配PyTorch NPU训练指导（6.3.912）
文生视频模型训练推理 CogVideoX1.5 5b模型基于Lite Server适配PyTorch NPU全量训练指导（6.3.912） CogVideoX模型基于DevServer适配PyTorch NPU全量训练指导（6.3.911） Open-Sora1.2基于DevServer适配PyTorch
project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 请求消息 请求参数如表2所示。 表2 请求参数 参数 是否必选 参数类型 说明 job_name 是 String 可视化作业名称。限制为1-20位只含数字，字母，下划线，中划线的名称。 job_desc
ModelArts作为华为云上的AI开发平台，提供交互式云上开发环境，包含标准化昇腾算力资源和完整的迁移工具链，帮助用户完成昇腾迁移的调测过程，进一步可在平台上将迁移的模型一键部署成为在线服务向外提供推理服务，或者运行到自己的运行环境中。 MindSpore Lite 华为自研的AI推理引擎，后端对于昇腾有充分的适
_id}/versions 参数说明如表1所示。 表1 参数说明 参数 是否必选 参数类型 说明 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 job_id 是 Long 训练作业的ID。 请求消息 请求参数如表2所示。 表2 请求参数
randn在GPU和NPU上固定随机种子后，仍然生成不同的随机张量。 对于上述场景，用户需要将网络中的randn在CPU上完成后再转到对应device。例如，StableDiffusion中需要在forward过程中逐步生成随机噪声。 这样在Host侧生成的随机张量能够保证一样，搬移到NPU或者GPU设备上仍然一样。
<cfgs_yaml_file>：精度评估配置的yaml文件地址，如代码目录中accuracy_cfgs.yaml相对或绝对路径 --dataset <dataset>：评估数据集；可选值：all、mmlu、ceval，默认值为all，用户只需选择参数即可，数据集路径eval接口已指定好。 --model_name
通过下述地址直接下载HuggingFace社区中开发者贡献的已经转换成功的BF16权重。建议在Server机器上创建${path-to-file}/deepseekV3-bf16或${path-to-file}/deepseekR1-bf16目录，并直接将权重文件下载到该目录中。 opensource
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
