检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
98541__section11606112810711 -d 必填 代表存储Profiling单卡性能数据的目录，目前暂不支持同时分析多卡Profiling目录，Profiling数据可通过如下方法获取： 在执行推理或训练程序时，请参考Ascend PyTorch Profil
如需其他配置参数，可参考表1按照实际需求修改。 Step3 启动训练脚本 修改完yaml配置文件后，启动训练脚本。模型不同最少NPU卡数不同，NPU卡数建议值可参考表1。 修改启动脚本demo.sh 进入代码目录{work_dir}/llm_train/LLaMAFactory下修
weight 是 Integer 权重百分比，分配到此模型的流量权重，仅当infer_type为real-time时需要配置，多个权重相加必须等于100；当在一个在线服务中同时配置了多个模型版本且设置不同的流量权重比例时，持续地访问此服务的预测接口，ModelArts会按此权
# 在每个实例节点上运行此命令可以看到NPU卡状态 npu-smi info -l | grep Total # 在每个实例节点上运行此命令可以看到总卡数 如出现错误，可能是机器上的NPU设备没有正常安装，或者NPU镜像被其他容器挂载。
# 在每个实例节点上运行此命令可以看到NPU卡状态 npu-smi info -l | grep Total # 在每个实例节点上运行此命令可以看到总卡数 如出现错误，可能是机器上的NPU设备没有正常安装，或者NPU镜像被其他容器挂载。
# 在每个实例节点上运行此命令可以看到NPU卡状态 npu-smi info -l | grep Total # 在每个实例节点上运行此命令可以看到总卡数 如出现错误，可能是机器上的NPU设备没有正常安装，或者NPU镜像被其他容器挂载。
将yaml文件中的per_device_train_batch_size调小，重新训练如未解决则执行下一步。 替换深度学习训练加速的工具或增加zero等级，可参考模型NPU卡数、梯度累积值取值表，如原使用Accelerator可替换为Deepspeed-ZeRO-1，Deepspeed-ZeRO-1替换为Deep
将yaml文件中的per_device_train_batch_size调小，重新训练如未解决则执行下一步。 替换深度学习训练加速的工具或增加zero等级，可参考模型NPU卡数、梯度累积值取值表，如原使用Accelerator可替换为Deepspeed-ZeRO-1，Deepspeed-ZeRO-1替换为Deep
SSH登录机器后，检查NPU卡状态。运行如下命令，返回NPU设备信息。 npu-smi info # 在每个实例节点上运行此命令可以看到NPU卡状态 npu-smi info -l | grep Total # 在每个实例节点上运行此命令可以看到总卡数 如出
uniform_image (统一镜像) 表6 Accelerator 参数 参数类型 描述 type String 加速卡类型，目前共三种： npu gpu none name String 加速卡名称，如SNT9B。 cuda_version String cuda驱动版本。 driver_version_section
--distributed-executor-backend：多卡推理启动后端，可选值为"ray"或者"mp"，其中"ray"表示使用ray进行启动多卡推理，"mp"表示使用python多进程进行启动多卡推理。默认使用"mp"后端启动多卡推理。 --enforce-eager：未设置INFE
--distributed-executor-backend：多卡推理启动后端，可选值为"ray"或者"mp"，其中"ray"表示使用ray进行启动多卡推理，"mp"表示使用python多进程进行启动多卡推理。默认使用"mp"后端启动多卡推理。 高阶参数说明： --enable-prefix
将yaml文件中的per_device_train_batch_size调小，重新训练如未解决则执行下一步。 替换深度学习训练加速的工具或增加zero等级，可参考模型NPU卡数、梯度累积值取值表，如原使用Accelerator可替换为Deepspeed-ZeRO-1，Deepspeed-ZeRO-1替换为Deep
# 每个节点的需求卡数，key保持不变。与MA_NUM_GPUS一致 limits: huawei.com/ascend-1980: "8" # 每个节点的限制卡数，key保持不变。与MA_NUM_GPUS一致
# 在每个实例节点上运行此命令可以看到NPU卡状态 npu-smi info -l | grep Total # 在每个实例节点上运行此命令可以看到总卡数 如出现错误，可能是机器上的NPU设备没有正常安装，或者NPU镜像被其他容器挂载。
ations”超参值。 卡数 和创建调优任务时选择的“规格”相关，例如，“规格”选择的是“Ascend: 2*ascend-snt9b2(64GB) ”，*号前面的数字是2，则卡数就是2。 实例数 创建调优任务时设置的“节点个数”。 吞吐 吞吐表示每秒每卡处理的Tokens数量，吞吐值的上下限可以参考表5获取。
参数类型 描述 unit_num Integer gpu卡数。 product_name String 产品名。 memory String 内存。 表39 npu 参数 参数类型 描述 unit_num String npu卡数。 product_name String 产品名。
ir, obs_data_dir) 模型推荐的参数与NPU卡数设置 不同模型推荐的训练参数和计算规格要求如表1所示。规格与节点数中的1*节点 & 4*Ascend表示单机4卡，以此类推。 表1 不同模型推荐的参数与NPU卡数设置 序号 支持模型 支持模型参数量 文本序列长度 并行参数设置
否，忽略此步骤，执行下一步。 如需其他配置参数，可参考表1按照实际需求修改。 步骤三：启动训练脚本 修改完yaml配置文件后，启动训练脚本。模型不同最少NPU卡数不同，NPU卡数建议值可参考表1。 修改启动脚本demo.sh 进入代码目录{work_dir}/llm_train/LLaMAFactory下修
否，忽略此步骤，执行下一步。 如需其他配置参数，可参考表1按照实际需求修改。 步骤三 启动训练脚本 修改完yaml配置文件后，启动训练脚本。模型不同最少NPU卡数不同，NPU卡数建议值可参考表1。 修改启动脚本demo.sh 进入代码目录{work_dir}/llm_train/LLaMAFactory下修
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
