云服务器内容精选

华为云首页用户手册

LLama2-13B（PyTorch）基于Standard训练推理指导

AI开发平台MODELARTS-场景介绍:操作流程

操作流程图1 操作流程图表1 操作任务流程说明阶段任务说明准备工作准备资源本教程案例是基于ModelArts Standard运行的，需要购买并开通ModelArts专属资源池和OBS桶。准备数据准备训练数据，可以用Alpaca数据集，也可以使用自己准备的数据集。准备权重准备分词器Tokenizer和推理代码。准备代码准备AscendSpeed训练代码。准备镜像准备训练和推理模型适用的容器镜像。配置ModelArts IDE插件本案例采用VS Code插件完成大语言模型预训练、微调以及权重的合并转化。预训练预训练介绍如何进行预训练，包括训练数据处理、超参配置、训练任务、断点续训及性能查看。微调训练增量预训练介绍如何进行增量预训练。 LoRA微调训练介绍如何进行LoRA微调训练。推理前的权重转换（二选一）训练权重合并及转换推理前，需要将预训练或增量预训练产生的多个权重文件合并为一个，并转换为HuggingFace格式。 LoRA权重合并及转换推理前，需要将LoRA微调训练产生的多个权重文件合并为一个，并转换为HuggingFace格式。推理部署部署推理服务介绍如何部署并启动推理服务。推理性能测试介绍如何验证推理性能，包括静态和动态benchmark。推理精度测试介绍如何测试推理精度，并获取评测结果。

AI开发平台MODELARTS LLama2-13B（PyTorch）基于Standard训练推理指导