检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
准备镜像 准备训练模型适用的容器镜像，包括获取镜像地址，了解镜像中包含的各类固件版本，配置物理机环境操作。 镜像地址 本教程中用到的训练和推理的基础镜像地址和配套版本关系如下表所示，请提前了解。 表1 基础容器镜像地址 镜像用途 镜像地址 基础镜像 swr.cn-southwest-2
# 基于AscendSpeed的训练代码 |──ascendcloud_patch/ # 针对昇腾云平台适配的功能补丁包 |──scripts/ # 训练需要的启动脚本
查看日志和性能 查看日志 训练过程中，训练日志会在最后的Rank节点打印。 图1 打印训练日志 训练完成后，如果需要单独获取训练日志文件，可以在${SAVE_PATH}/logs路径下获取。日志存放路径为：/home/ma-user/ws/saved_dir_for_ma_output/llama2-70b/logs
训练脚本说明 yaml配置文件参数配置说明 各个模型深度学习训练加速框架的选择 模型NPU卡数取值表 各个模型训练前文件替换 父主题： 主流开源大模型基于Lite Server适配LlamaFactory PyTorch NPU训练指导（6.3.907）
在ModelArts Standard上运行GPU多机多卡训练作业 操作流程 准备工作： 购买服务资源（VPC/SFS/OBS/SWR/ECS） 配置权限 创建专属资源池（打通VPC） ECS服务器挂载SFS Turbo存储 在ECS中设置ModelArts用户可读权限 安装和配置OBS命令行工具
准备镜像 镜像方案说明 ECS获取和上传基础镜像 使用基础镜像 ECS中构建新镜像 父主题： 准备工作
LoRA微调训练 前提条件 已上传训练代码、训练权重文件和数据集到SFS Turbo中。 Step1 修改训练超参配置 以llama2-13b LORA微调为例，执行脚本0_pl_lora_13b.sh 。 修改模型训练脚本中的超参配置，必须修改的参数如表1所示。其他超参均有默认值，可以参考表1按照实际需求修改。
准备环境 本文档中的模型运行环境是ModelArts Lite的Cluster。请参考本文档要求准备资源环境。 资源规格要求 计算规格：不同模型训练推荐的NPU卡数请参见表2。 硬盘空间：至少200GB。 Ascend资源规格： Ascend: 1*ascend-snt9b表示Ascend单卡。
预训练任务 步骤一 上传训练权重文件和数据集 如果在准备代码和数据阶段已经上传权重文件和数据集到容器中，可以忽略此步骤。 如果未上传训练权重文件和数据集到容器中，具体参考上传代码和权重文件到工作环境和上传数据到指定目录章节完成。训练脚本中会自动执行训练前的权重转换操作和数据处理操作。
LoRA微调训练 步骤一 上传训练权重文件和数据集 如果在准备代码和数据阶段已经上传权重文件和数据集到容器中，可以忽略此步骤。 如果未上传训练权重文件和数据集到容器中，具体参考上传代码和权重文件到工作环境和上传数据到指定目录章节完成。训练脚本中会自动执行训练前的权重转换操作和数据处理操作。
准备Notebook（可选） 本步骤为可选操作。ModelArts Notebook云上云下，无缝协同，更多关于ModelArts Notebook的详细资料请查看开发环境介绍。 本案例中，如果用户需要自定义开发，可通过Notebook环境进行数据预处理、权重转换等操作。并且No
查看日志和性能 单击作业详情页面，则可查看训练过程中的详细信息。 图1 查看训练作业 在作业详情页的日志页签，查看最后一个节点的日志，其包含“elapsed time per iteration (ms)”数据，可换算为tokens/s/p的性能数据。 吞吐量（tokens/s/p）：global
训练脚本说明 Yaml配置文件参数配置说明 模型NPU卡数、梯度累积值取值表 各个模型训练前文件替换 NPU_Flash_Attn融合算子约束 BF16和FP16说明 录制Profiling 父主题： 主流开源大模型基于Lite Server适配LlamaFactory PyTorch
SFT全参微调训练 前提条件 已上传训练代码、训练权重文件和数据集到OBS中，具体参考代码上传至OBS。 Step1 创建训练任务 创建训练作业，并自定义名称、描述等信息。选择自定义算法，启动方式自定义，以及选择上传的镜像。 图1 创建训练作业 训练作业启动命令中输入： cd /
可以随时随地更新显示内容，能够实时展示信息，并支持互动，提高显示效率。 链接 其他 科技汽车在线平台协议 用于汽车在线平台24小时实时定位。在使用汽车在线定位平台查看车辆的时候，平台上显示是实时定位信息，可用于个人及单位查找车辆。 链接 大屏协议 适用于多种终端设备与会议一体机智能互联可用于多场景进行如：智慧城市
管理客户账户 服务对象 合作伙伴 场景描述 合作伙伴可以在伙伴销售平台上向客户账户拨款。只有客户账户有足够消费额度，客户才能通过合作伙伴销售平台进行华为云产品购买、续订等操作。 当客户不再使用华为云产品，合作伙伴可以在合作伙伴销售平台回收客户账户余额。 相关API列表 开放接口 接口定义链接
与其他云服务的关系 云堡垒机需要与其他云服务协同工作，与其他云服务的依赖关系如图1。 图1 与其他云服务之间关系 与虚拟私有云的关系 虚拟私有云（Virtual Private Cloud，VPC）为CBH提供虚拟网络环境，用户通过配置安全组、子网、EIP等子服务，方便地管理、配
如您使用的会议设备型号为TE10/20，初次使用需输入激活码。 配置前需确认该会议设备已在“华为云会议管理平台”上添加完成。 激活码有效期为10天，时间自会议设备在“华为云会议管理平台”上添加完成之日起计算。如激活码已失效，请登录“华为云会议管理平台”，重置该会议设备的激活码。 安全起见，如您在五分钟内，激活码连续输
绑定或解绑边缘节点 功能介绍 边缘节点组绑定或解绑边缘节点。该API只能在铂金版实例中使用 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI PUT /v2/{proj
业务单元管理 路径：核心人事-控制台-组织结构-业务单元 图1 业务单元 业务单元的新增 单击【新建】弹出新建业务单元弹窗，在页面输入生效日期即该业务单元的创建日期以及其他信息后，单击【保存】，业务单元创建成功 图2 创建业务单元 业务单元的编辑 业务单元信息如有错误需要更正，选
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
