检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
参数说明 --backend：服务类型，支持tgi、vllm、mindspore、openai、openai-chat等。本文档使用的推理接口是vllm，而llava多模态推理接口是openai-chat。 --host ${docker_ip}：服务部署的IP，${docker_ip}替换为宿主机实际的IP地址。
ct 29 baichuan2-7b √ x x x https://huggingface.co/baichuan-inc/Baichuan2-7B-Chat 30 baichuan2-13b √ x x x https://huggingface.co/baichuan-in
本地完成代码包AscendCloud-LLM-xxx.zip的解压，将llm_train文件上传至OBS中。 结合准备数据、准备权重、准备代码，将数据集、原始权重、代码文件都上传至OBS后，OBS桶的目录结构如下。 <bucket_name> |──llm_train #
co/01-ai/Yi-6B-Chat 14 yi-34b https://huggingface.co/01-ai/Yi-34B-Chat 15 ChatGLMv3 glm3-6b https://huggingface.co/THUDM/chatglm3-6b 16 Baichuan2
ered/resolve/main/ShareGPT_V3_unfiltered_cleaned_split.json Alpaca下载地址: https://github.com/tatsu-lab/stanford_alpaca/blob/main/alpaca_data.json
用户”，选择“新增委托 ”，为该主用户下面的所有子账号配置委托访问授权。 普通用户：普通用户的委托权限包括了用户使用ModelArts完成AI开发的所有必要功能权限，如数据的访问、训练任务的创建和管理等。一般用户选择此项即可。 自定义：如果对用户有更精细化的权限管理需求，可使用自
Baichuan baichuan2-7b https://huggingface.co/baichuan-inc/Baichuan2-7B-Chat 26 baichuan2-13b https://huggingface.co/baichuan-inc/Baichuan2-13B-Chat
准备代码 本教程中用到的模型软件包如下表所示，请提前准备好。 软件配套版本 本方案支持的软件配套版本和依赖包获取地址如表1所示。 表1 软件配套版本和获取地址 软件名称 说明 下载地址 AscendCloud-6.3.911-xxx.zip 说明： 软件包名称中的xxx表示时间戳。
准备代码 本教程中用到的模型软件包如下表所示，请提前准备好。 软件配套版本 本方案支持的软件配套版本和依赖包获取地址如表1所示。 表1 软件配套版本和获取地址 软件名称 说明 下载地址 AscendCloud-6.3.909-xxx.zip 说明： 软件包名称中的xxx表示时间戳。
镜像方案说明 准备大模型训练适用的容器镜像，包括获取镜像地址，了解镜像中包含的各类固件版本，配置Standard物理机环境操作。 基础镜像地址 本教程中用到的训练的基础镜像地址和配套版本关系如下表所示，请提前了解。 表1 基础容器镜像地址 镜像用途 镜像地址 配套版本 训练基础镜像
准备环境 本文档中的模型运行环境是ModelArts Lite的Server。请参考本文档要求准备资源环境。 资源规格要求 计算规格：不同模型训练推荐的NPU卡数请参见表2。 硬盘空间：至少200GB。 Ascend资源规格： Ascend: 1*ascend-snt9b表示Ascend单卡。
ct 29 baichuan2-7b √ x x x https://huggingface.co/baichuan-inc/Baichuan2-7B-Chat 30 baichuan2-13b √ x x x https://huggingface.co/baichuan-in
Baichuan2 baichuan2-13b https://huggingface.co/baichuan-inc/Baichuan2-13B-Chat 模型软件包结构说明 AscendCloud-3rdLLM代码包结构介绍如下： |──llm_train #
权重词表文件目录，如Qwen2-7B |──training_data # 原始数据目录 |──alpaca_gpt4_data.json # 微调数据 |──train-00000-of-00001-a09b74b3ef9c3b56
ip_forward 步骤二：下载依赖代码包并上传到宿主机 下载华为侧插件代码包AscendCloud-AIGC-6.3.912-xxx.zip文件，获取路径参见表1。本案例使用的是解压到子目录aigc_inference/torch_npu/diffusers/0.29.2/目录下的所有文件，将该目录上传到宿主机上。
准备代码 本教程中用到的模型软件包如下表所示，请提前准备好。 软件配套版本 本方案支持的软件配套版本和依赖包获取地址如表1所示。 表1 软件配套版本和获取地址 软件名称 说明 下载地址 AscendCloud-6.3.907-xxx.zip 说明： 软件包名称中的xxx表示时间戳。
准备代码 本教程中用到的模型软件包如下表所示，请提前准备好。 软件配套版本 本方案支持的软件配套版本和依赖包获取地址如表1所示。 表1 软件配套版本和获取地址 软件名称 说明 下载地址 AscendCloud-6.3.908-xxx.zip 说明： 软件包名称中的xxx表示时间戳。
准备代码 本教程中用到的模型软件包如下表所示，请提前准备好。 软件配套版本 本方案支持的软件配套版本和依赖包获取地址如表1所示。 表1 软件配套版本和获取地址 软件名称 说明 下载地址 AscendCloud-6.3.910-xxx.zip 说明： 软件包名称中的xxx表示时间戳。
训练脚本说明 训练启动脚本说明和参数配置 训练的数据集预处理说明 训练的权重转换说明 训练tokenizer文件说明 父主题： 主流开源大模型基于Standard+OBS+SFS适配ModelLink PyTorch NPU训练指导（6.3.910）
训练脚本说明 训练启动脚本说明和参数配置 训练的数据集预处理说明 训练中的权重转换说明 训练tokenizer文件说明 父主题： 主流开源大模型基于Lite Cluster适配ModelLink PyTorch NPU训练指导（6.3.910）
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
