检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
（可选，如果选择使用humaneval数据集） pip install -e . # 可选，如果选择使用humaneval数据集 （可选）如果需要在humaneval数据集上评估模型代码能力，请执行此步骤，否则忽略这一步。原因是通过opencompass使用humaneval数据集时，需要执行模型
准备工作 准备环境 准备代码 准备数据 准备镜像 父主题： 主流开源大模型基于DevServer适配PyTorch NPU训练指导（6.3.905）
享使用该容器时，应限制容器访问Openstack的管理地址（169.254.169.254），以防止容器获取宿主机的元数据。具体操作请参见禁止容器获取宿主机元数据。 SSH登录机器后，检查NPU卡状态。运行如下命令，返回NPU设备信息。 npu-smi info
示例值需要根据数据集的不同，选择其一。 GeneralPretrainHandler：使用预训练的alpaca数据集。 GeneralInstructionHandler：使用微调的alpaca数据集。 MOSSMultiTurnHandler：使用微调的moss数据集。 MBS 4
g”目录，查看“test01”文件夹是否已创建成功。更多MoXing的常用操作请参见MoXing常用操作的样例代码。 图3 运行示例 复制数据到OBS 在Notebook的在JupyterLab的服务界面，将文件yolov8_train_ascend.zip，复制到已有的OBS桶中，示例代码如下。
训练脚本说明 训练启动脚本说明和参数配置 训练的数据集预处理说明 训练中的权重转换说明 训练tokenizer文件说明 父主题： 主流开源大模型基于DevServer适配PyTorch NPU训练指导（6.3.905）
mmlu_subject_mapping.json # mmlu数据集学科信息 │ ├── ceval_subject_mapping.json # ceval数据集学科信息 ├── evaluators │ ├── evaluator.py # 数据集数据预处理方法集 │ ├── chatglm
|── data # 预处理后数据 |── pretrain # 预训练加载的数据 |── finetune # 微调加载的数据 |──converted_weights #
不少于5个。 操作步骤 在开始训练之前，需要完成数据标注，然后再开始模型的自动训练。 在新版自动学习页面，单击项目名称进入运行总览页面，单击数据标注节点的“实例详情”进入数据标注页面，完成数据标注。 返回新版自动学习页面，单击数据标注节点的“继续运行”，然后等待工作流按顺序进入训练节点。
在新版自动学习页面，单击项目名称进入运行总览，单击“数据标注”节点的“实例详情”进入“数据标注”页面，完成数据标注。 图1 完成数据标注 返回新版自动学习页面，单击数据标注节点的“继续运行”，然后等待工作流按顺序进入训练节点。 模型将会自动进入训练，无需人工介入，训练时间相对较长，建议您耐心等待。如
|──llm_tools # 推理工具 代码上传至OBS 将llm_train文件上传至OBS中。 结合准备数据、准备权重、准备代码，将数据集、原始权重、代码文件都上传至OBS后，OBS桶的目录结构如下。 <bucket_name> |──llm_train
|──llm_tools # 推理工具 代码上传至OBS 将llm_train文件上传至OBS中。 结合准备数据、准备权重、准备代码，将数据集、原始权重、代码文件都上传至OBS后，OBS桶的目录结构如下。 <bucket_name> |──llm_train
（可选，如果选择使用humaneval数据集） pip install -e . # 可选，如果选择使用humaneval数据集 （可选）如果需要在humaneval数据集上评估模型代码能力，请执行此步骤，否则忽略这一步。原因是通过opencompass使用humaneval数据集时，需要执行模型
单击指定节点查看详情，可以对运行中的节点进行停止操作。 继续运行 对于单个节点中设置了需要运行中配置的参数时，节点运行会处于“等待操作”状态，用户完成相关数据的配置后，可单击“继续运行”按钮并确认继续执行当前节点。 部分运行Workflow节点 针对大型、复杂的Workflow，为节省重复运行消
合要求，否则数据集校验将会不通过。 前提条件 请确保您的数据集中的已标注的图片不低于100张。 请确保您的数据集中至少存在2种以上的图片分类，且每种分类的图片不少于5张。 操作步骤 参考标注图像分类数据章节，确保您的数据已全部完成标注。 在新版自动学习页面，单击数据标注节点的“继
准备AscendSpeed训练代码、分词器Tokenizer和推理代码。 准备数据 准备训练数据，可以用本案使用的数据集，也可以使用自己准备的数据集。 准备镜像 准备训练模型适用的容器镜像。 预训练 预训练 介绍如何进行预训练，包括训练数据处理、超参配置、训练任务、性能查看。 微调训练 SFT全参微调
Cluster上使用昇腾计算资源开展常见开源大模型Llama、Qwen、ChatGLM、Yi、Baichuan等推理部署的详细过程。本方案利用适配昇腾平台的大模型推理服务框架vLLM和华为自研昇腾Snt9B硬件，为用户提供推理部署方案，帮助用户使能大模型业务。 约束限制 本方案目前仅适用于部分企业客户。
享使用该容器时，应限制容器访问Openstack的管理地址（169.254.169.254），以防止容器获取宿主机的元数据。具体操作请参见禁止容器获取宿主机元数据。 SSH登录机器后，检查NPU设备检查。运行如下命令，返回NPU设备信息。 npu-smi info
享使用该容器时，应限制容器访问Openstack的管理地址（169.254.169.254），以防止容器获取宿主机的元数据。具体操作请参见禁止容器获取宿主机元数据。 SSH登录机器后，检查NPU卡状态。运行如下命令，返回NPU设备信息。 npu-smi info
动态benchmark 获取测试数据集。 动态benchmark需要使用数据集进行测试，可以使用公开数据集，例如Alpaca、ShareGPT。也可以根据业务实际情况，使用generate_datasets.py脚本生成和业务数据分布接近的数据集。 公开数据集下载地址： ShareGPT:
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
