检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
准备Notebook（可选） 本步骤为可选操作。ModelArts Notebook云上云下，无缝协同，更多关于ModelArts Notebook的详细资料请查看开发环境介绍。 本案例中，如果用户有自定义开发的需要，比如查看和编辑代码、数据预处理、权重转换等操作，可通过Note
镜像方案说明 准备大模型训练适用的容器镜像，包括获取镜像地址，了解镜像中包含的各类固件版本，配置Standard物理机环境操作。 基础镜像地址 本教程中用到的训练的基础镜像地址和配套版本关系如下表所示，请提前了解。 表1 基础容器镜像地址 镜像用途 镜像地址 配套版本 基础镜像 swr
训练tokenizer文件说明 在训练开始前，需要针对模型的tokenizer文件进行修改，不同模型的tokenizer文件修改内容如下，您可对tokenizer文件进行编辑。 LLama2模型 在当前的软件版本中，由于transformers的版本过高（transformers==4
执行训练任务（历史版本） 权重文件支持以下组合方式，用户根据自己实际要求选择： 训练stage 不加载权重 增量训练：加载权重，不加载优化器 断点续训：加载权重+优化器 pt sft CKPT_LOAD_TYPE=0 CKPT_LOAD_TYPE=1 USER_CONVERTED_CKPT_PATH=xxx
场景介绍 Llama2（Large Language Model Meta AI）是由Meta AI发布的新一代大语言系列模型，上下文长度由Llama的2048扩展到了4096，可以理解和生成更长的文本。Llama2包含了70亿、130亿和700亿参数的模型，即：Llama2-7
ECS中构建新镜像（可选） 通过ECS获取和上传基础镜像获取基础镜像后，可通过ECS运行Dockerfile文件，在镜像的基础上构建新镜像。 Step1 构建新ModelArts Standard训练镜像 获取模型软件包，并上传到ECS的目录下（可自定义路径），获取地址参考表1。
训练启动脚本说明和参数配置 本代码包中集成了不同模型（包括llama2、llama3、Qwen、Qwen1.5 ......）的训练脚本（在scripts_modellink下）和配置（在examples/config下），并可通过统一的训练脚本一键式运行。训练脚本可判断是否完成
执行训练任务（推荐） 新的训练方式将统一管理训练日志、训练结果和训练配置，使用yaml配置文件方便用户根据自己实际需求进行修改。推荐用户使用该方式进行训练。 权重文件支持以下组合方式，用户根据自己实际要求选择： 训练stage 不加载权重 增量训练：加载权重，不加载优化器（默认开启）
场景介绍 Qwen大模型是一个包含多种参数数量模型的语言模型。 本文档以Qwen-7B/14B/72B为例，利用训练框架Pytorch_npu+华为自研Ascend Snt9b硬件，为用户提供了开箱即用的预训练和微调训练方案。 操作流程 图1 操作流程图 表1 操作任务流程说明 阶段
LLama2系列模型基于Lite Server适配PyTorch NPU训练指导（6.3.904） 场景介绍 准备工作 预训练 SFT全参微调训练 LoRA微调训练 推理前的权重合并转换 父主题： LLM大语言模型训练推理
场景介绍 Baichuan2是百川智能推出的 新一代Q开源大语言模型,采用 2.6 万亿 Tokens 的高质量语料训练。在多个权威的中文、英文和多语言的通用、领域 benchmark 上取得同尺寸最佳的效果。包含有 7B、13B 的 Base 和 Chat 版本,并提供了 Chat
准备工作 准备环境 准备代码 准备数据 准备镜像 父主题： Qwen系列模型基于Lite Server适配PyTorch NPU训练指导（6.3.904）
Baichuan2-13B模型基于DevServer适配PyTorch NPU训练指导（6.3.904） 场景介绍 准备工作 预训练 SFT全参微调 LoRA微调训练 推理前的权重合并转换 父主题： LLM大语言模型训练推理
在MaaS中创建模型 在ModelArts Studio大模型即服务平台使用基础模型创建个人专属模型。 场景描述 MaaS提供了基于昇腾云算力适配的开源大模型，您可以使用这些基础模型，结合自定义的模型权重文件，创建个人专属的模型。 创建成功的模型可以在ModelArts Stud
断点续训和故障快恢说明 相同点 断点续训（Checkpointing）和故障快恢都是指训练中断后可从训练中一定间隔（${save-interval}）保存的模型（包括模型参数、优化器状态、训练迭代次数等）继续训练恢复，而不需要从头开始。 不同点 断点续训：可指定加载训练过程中生成
准备工作 准备环境 准备代码 准备数据 准备镜像 父主题： Baichuan2-13B模型基于DevServer适配PyTorch NPU训练指导（6.3.904）
LoRA微调训练 本章节介绍LoRA微调训练的全过程。 Step1 LoRA微调数据处理 训练前需要对数据集进行预处理，转化为.bin和.idx格式文件，以满足训练要求。 LoRA微调训练与SFT微调使用同一个数据集，如果已经在SFT微调时处理过数据，可以直接使用，无需重复处理。
SFT微调训练 SFT微调数据处理 SFT微调权重转换 SFT微调训练任务 父主题： Qwen系列模型基于Lite Server适配PyTorch NPU训练指导（6.3.904）
场景介绍 ChatGLM3-6B大模型是一个包含多种参数数量模型的语言模型。 方案概览 本文档以ChatGLM3-6B（以下简称GLM3-6B）为例，利用训练框架Pytorch_npu+华为自研Ascend Snt9b硬件，为用户提供了开箱即用的预训练和全量微调方案。 本方案目前
预训练 预训练数据处理 预训练任务 断点续训练 查看日志和性能 父主题： GLM3-6B模型基于DevServer适配PyTorch NPU训练指导（6.3.904）
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
