检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
准备代码 本教程中用到的训练推理代码和如下表所示，请提前准备好。 获取数据及代码 表1 准备代码 代码包名称 代码说明 下载地址 AscendCloud-3rdLLM-6.3.904-xxx.zip 说明： 包名中的xxx表示具体的时间戳，以包名的实际时间为准。 包含了本教程中使
推理前的权重合并转换 模型训练完成后，训练的产物包括模型的权重、优化器状态、loss等信息。这些内容可用于断点续训、模型评测或推理任务等。 在进行模型评测或推理任务前，需要将训练后生成的多个权重文件合并，并转换成Huggingface格式的权重文件。 权重文件的合并转换操作都要求
准备镜像 准备训练Baichuan2-13B模型适用的容器镜像，包括获取镜像地址，了解镜像中包含的各类固件版本，配置DevServer物理机环境操作。 镜像地址 本教程中用到的基础镜像地址和配套版本关系如下表所示，请提前了解。 表1 基础容器镜像地址 镜像用途 镜像地址 基础镜像（训练和推理通用）
预训练任务 配置预训练脚本glm3_base.sh中的超参，并执行预训练任务。 Step1 配置预训练超参 预训练脚本glm3_base.sh，存放在“xxx-Ascend/llm_train/AscendSpeed/scripts/glm3”目录下。训练前，可以根据实际需要修改
使用MaaS部署模型服务 在ModelArts Studio大模型即服务平台可以将模型部署为服务，便于在“模型体验”或其他业务环境中可以调用。 约束限制 部署模型服务时，ModelArts Studio大模型即服务平台预置了推理的最大输入输出长度。模型Qwen-14B默认是204
推理前的权重合并转换 模型训练完成后，训练的产物包括模型的权重、优化器状态、loss等信息。这些内容可用于断点续训、模型评测或推理任务等。 在进行模型评测或推理任务前，需要将训练后生成的多个权重文件合并，并转换成Huggingface格式的权重文件。 权重文件的合并转换操作都要求
预训练任务 启动训练脚本 单机启动 以baichuan2-13b为例，单机训练启动样例命令如下，以自己实际为准。在/home/ma-user/ws/6.3.904-Ascend/llm_train/AscendSpeed/代码目录下执行。超参详解参考表1。 MODEL_TYPE=13B
SFT全参微调任务 前提条件 SFT全参微调使用的数据集为alpaca_data数据，已经完成数据处理，具体参见SFT全参微调数据处理。 已经将开源原始HuggingFace权重转换为Megatron格式，具体参见SFT全参微调权重转换。 Step1 修改训练超参配置 SFT全参微调脚本glm3_base
SFT全参微调权重转换 支持HuggingFace格式权重转换为Megatron格式后再进行SFT全参微调。本章节主要介绍如何将HuggingFace权重转换为Megatron格式。此处的HuggingFace权重文件和转换操作结果同时适用于SFT全参微调和LoRA微调训练。 HuggingFace权重转换操作
SFT全参微调任务 前提条件 SFT全参微调使用的数据集为alpaca_data数据，已经完成数据处理，具体参见SFT全参微调数据处理。 已经将开源HuggingFace权重转换为Megatron格式，具体参见SFT全参微调权重转换。 Step1 修改训练超参配置 SFT全参微调脚本llama2
预训练超参配置 本章节介绍预训练前的超参配置，可以根据实际需要修改。 预训练脚本baichuan2.sh，存放在“6.3.904-Ascend/llm_train/AscendSpeed/scripts/baichuan2”目录下。训练前，可以根据实际需要修改超参配置。 表1 超参配置
推理前的权重合并转换 模型训练完成后，训练的产物包括模型的权重、优化器状态、loss等信息。这些内容可用于断点续训、模型评测或推理任务等。 在进行模型评测或推理任务前，需要将训练后生成的多个权重文件合并，并转换成Huggingface格式的权重文件。 权重文件的合并转换操作都要求
预训练数据处理 训练前需要对数据集进行预处理，转化为.bin和.idx格式文件，以满足训练要求。 Alpaca数据处理说明 数据预处理脚本preprocess_data.py存放在代码包的“llm_train/AscendSpeed/ModelLink/tools/”目录中，脚本具体内容如下。
推理前的权重合并转换 模型训练完成后，训练的产物包括模型的权重、优化器状态、loss等信息。这些内容可用于断点续训、模型评测或推理任务等。 在进行模型评测或推理任务前，需要将训练后生成的多个权重文件合并，并转换成Huggingface格式的权重文件。 权重文件的合并转换操作都要求
SFT全参微调权重转换 SFT全参微调需将HuggingFace格式权重转换为megatron格式后再进行SFT全参微调。 本章节主要介绍如何将HuggingFace权重转换为Megatron格式。此处的HuggingFace权重文件和转换操作结果同时适用于SFT全参微调和LoRA微调训练
SFT全参微调超参配置 本章节介绍SFT全参微调前的超参配置，可以根据实际需要修改。 SFT全参微调脚本baichuan2.sh，存放在6.3.904-Ascend/llm_train/AscendSpeed/scripts/baichuan2目录下。可以根据实际需要修改超参配置。
SFT全参微调数据处理 SFT全参微调（Supervised Fine-Tuning）前需要对数据集进行预处理，转化为.bin和.idx格式文件，以满足训练要求。 下载数据 SFT全参微调涉及的数据下载地址：https://huggingface.co/datasets/tats
SFT全参微调数据处理 SFT全参微调（SFT fine-tuning）前需要对数据集进行预处理，转化为.bin和.idx格式文件，以满足训练要求。 下载数据 SFT全参微调涉及的数据下载地址：https://huggingface.co/datasets/silk-road/a
SFT全参微调数据处理 SFT微调（Supervised Fine-Tuning）前需要对数据集进行预处理，转化为.bin和.idx格式文件，以满足训练要求。 这里以LLama2-70B为例，对于LLama2-7B和LLama2-13B，操作过程与LLama2-70B相同，只需修改对应参数即可。
SFT全参微调权重转换 增量训练前需将HuggingFace格式权重转换为Megatron格式后再进行SFT全参微调。 本章节主要介绍如何将HuggingFace权重转换为Megatron格式。此处的HuggingFace权重文件和转换操作结果同时适用于SFT全参微调和LoRA微调训练。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
