检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在ModelArts上完成多节点分布式训练。 注释掉分布式代码改造点，即可完成单节点单卡训练。完整代码见分布式训练完整代码示例。 导入依赖包 import datetime import inspect import os import pickle import random
alpaca_gpt4_data dataset_dir: /home/ma-user/ws/llm_train/AscendFactory/data 否，使用代码包自带数据集，注释掉dataset_dir参数，配置参数如下。 指令监督微调/PPO数据集 dataset: identity,alpaca_en_demo
llm_tools/llm_evaluation/mme_eval/data/eval/目录中。 获取精度测试代码。精度测试代码存放在代码包AscendCloud-LLM的llm_tools/llm_evaluation/mme_eval目录中，代码目录结构如下。 mme_eval
约束限制 本方案目前仅适用于部分企业客户。 本文档适配昇腾云ModelArts 6.3.909版本，请参考软件配套版本获取配套版本的软件包，请严格遵照版本配套关系使用本文档。 资源规格推荐使用“西南-贵阳一”Region上的Lite k8s Cluster和昇腾Snt9B资源。
dataset_dir: /home/ma-user/ws/llm_train/LLaMAFactory/LLaMA-Factory/data 否，使用代码包自带数据集，配置参数如 dataset: identity,alpaca_en_demo 如需其他配置参数，可参考表1按照实际需求修改 Step3
训练作业”页面单击目标作业，在日志页签查看详情。 添加数据集 选择存放训练数据集的OBS路径，必须选择到文件。单次上传本地文件到OBS的总大小不能超过5GB，详情请参见如何上传超过5GB的大对象。 说明： 数据集必须满足要求（请参见约束限制），否则调优会失败。 超参设置 数据条数 输入数据集中的总数据条数。 迭代轮次/Epoch
EVAL：指明该对象用于评估。 TEST：指明该对象用于测试。 INFERENCE：指明该对象用于推理。 如果没有给出该字段，则使用者自行决定如何使用该对象。 id 否 此参数为系统导出的样本id，导入时可以不用填写。 annotation 否 如果不设置，则表示未标注对象。anno
多卡训练时使用单进程dataloader，即num_workers参数默认为0。 存在其他多进程操作影响了数据多进程读取。 数据格式问题，例如zip、tar.gz等压缩包。 dataloader参数设置不合理，如没有配置锁页内存pin_memory=True。 下图中展示了高优先级的dataloader问题，
在节点上执行该脚本，可以看到有如下输出，代表日志收集完成并成功上传至OBS。 图3 日志收集完成 查看在脚本的同级目录下，可以看到收集到的日志压缩包。 图4 查看结果 父主题： Lite Server资源管理
dataset_dir: /home/ma-user/ws/llm_train/LLaMAFactory/LLaMA-Factory/data 否，使用代码包自带数据集，注释掉dataset_dir参数，配置参数如下： sft或lora dataset: identity,alpaca_en_demo
进行eagle推理。支持llama1系列、llama2系列和Qwen2系列模型。 步骤一：安装Eagle Eagle训练适配代码存放在代码包AscendCloud-LLM-x.x.x.zip的llm_tools/spec_decode/EAGLE目录下。 在目录下执行如下命令，即可安装Eagle。
约束限制 本方案目前仅适用于部分企业客户。 本文档适配昇腾云ModelArts 6.3.910版本，请参考软件配套版本获取配套版本的软件包，请严格遵照版本配套关系使用本文档。 资源规格推荐使用“西南-贵阳一”Region上的Lite k8s Cluster和昇腾Snt9B资源。
dataset_dir: /home/ma-user/ws/llm_train/LLaMAFactory/LLaMA-Factory/data 否，使用代码包自带数据集，注释掉dataset_dir参数，配置参数如下。 指令监督微调/PPO数据集 dataset: identity,alpaca_en_demo
约束限制 本方案目前仅适用于部分企业客户。 本文档适配昇腾云ModelArts 6.3.911版本，请参考软件配套版本获取配套版本的软件包，请严格遵照版本配套关系使用本文档。 资源规格推荐使用“西南-贵阳一”Region上的Lite k8s Cluster和昇腾Snt9B资源。
代码自带数据：如identity等地址为AscendFactory/third-party/LLaMA-Factory/data目录下； 自定义数据：地址为代码包AscendFactory/data目录下 template qwen 必须修改。用于指定模板。如果设置为"qwen"，则使用QWEN模板进
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
