检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如下： hf2hg：用于Hugging Face 转 Megatron mg2hf：用于Megatron 转 Hugging Face TP 8 张量并行数，一般等于单机卡数 PP 1 流水线并行数，一般等于节点数量 ORIGINAL_HF_WEIGHT /home/ma-user
如下： hf2hg：用于Hugging Face 转 Megatron mg2hf：用于Megatron 转 Hugging Face TP 8 张量并行数，一般等于单机卡数 PP 1 流水线并行数，一般等于节点数量 ORIGINAL_HF_WEIGHT /home/ma-user
Iterations 创建调优任务时设置的“迭代步数/Iterations”超参值。 卡数 和创建调优任务时选择的“实例规格”相关，例如，“实例规格”选择的是“Ascend: 2*ascend-snt9b2(64GB) ”，*号前面的数字是2，则卡数就是2。
如下： hf2hg：用于Hugging Face 转 Megatron mg2hf：用于Megatron 转 Hugging Face TP 8 张量并行数，一般等于单机卡数 PP 1 流水线并行数，一般等于节点数量 ORIGINAL_HF_WEIGHT /home/ma-user
如下： hf2hg：用于Hugging Face 转 Megatron mg2hf：用于Megatron 转 Hugging Face TP 8 张量并行数，一般等于单机卡数 PP 1 流水线并行数，一般等于节点数量 ORIGINAL_HF_WEIGHT /home/ma-user
如下： hf2hg：用于Hugging Face 转 Megatron mg2hf：用于Megatron 转 Hugging Face TP 8 张量并行数，一般等于单机卡数 PP 1 流水线并行数，一般等于节点数量 ORIGINAL_HF_WEIGHT /home/ma-user
core_num Integer 核数。 表38 gpu 参数 参数类型 描述 unit_num Integer gpu卡数。 product_name String 产品名。 memory String 内存。
训练脚本说明 Yaml配置文件参数配置说明 模型NPU卡数、梯度累积值取值表 各个模型训练前文件替换 NPU_Flash_Attn融合算子约束 BF16和FP16说明 录制Profiling 父主题： 主流开源大模型基于DevServer适配LlamaFactory PyTorch
主流开源大模型基于DevServer适配PyTorch NPU推理指导（6.3.908） 推理场景介绍 部署推理服务 推理性能测试 推理精度测试 推理模型量化 附录：基于vLLM不同模型推理支持最小卡数和最大序列说明 附录：大模型推理常见问题 父主题： LLM大语言模型训练推理
主流开源大模型基于DevServer适配PyTorch NPU推理指导（6.3.909） 推理场景介绍 部署推理服务 推理性能测试 推理精度测试 推理模型量化 附录：基于vLLM不同模型推理支持最小卡数和最大序列说明 附录：大模型推理常见问题 父主题： LLM大语言模型训练推理
core_num Integer 核数。 表38 gpu 参数 参数类型 描述 unit_num Integer gpu卡数。 product_name String 产品名。 memory String 内存。
训练脚本说明 yaml配置文件参数配置说明 各个模型深度学习训练加速框架的选择 模型NPU卡数取值表 各个模型训练前文件替换 父主题： 主流开源大模型基于DevServer适配LlamaFactory PyTorch NPU训练指导（6.3.907）
训练脚本说明 Yaml配置文件参数配置说明 模型NPU卡数、梯度累积值取值表 各个模型训练前文件替换 NPU_Flash_Attn融合算子约束 录制Profiling 父主题： 主流开源大模型基于DevServer适配LlamaFactory PyTorch NPU训练指导（6.3.908
主流开源大模型基于Lite Cluster适配PyTorch NPU推理指导（6.3.909） 推理场景介绍 准备工作 部署推理服务 推理性能测试 推理精度测试 推理模型量化 附录：基于vLLM不同模型推理支持最小卡数和最大序列说明 附录：大模型推理常见问题 附录：工作负载Pod异常问题和解决方法
主流开源大模型基于DevServer适配PyTorch NPU推理指导（6.3.907） 推理场景介绍 部署推理服务 推理性能测试 推理精度测试 推理模型量化 附录：基于vLLM不同模型推理支持最小卡数和最大序列说明 附录：大模型推理常见问题 父主题： LLM大语言模型训练推理
主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.907） 场景介绍 准备工作 在Notebook调试环境中部署推理服务 在推理生产环境中部署推理服务 推理精度测试 推理性能测试 推理模型量化 附录：基于vLLM不同模型推理支持最小卡数和最大序列说明 附录
主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.908） 场景介绍 准备工作 在Notebook调试环境中部署推理服务 在推理生产环境中部署推理服务 推理精度测试 推理性能测试 推理模型量化 附录：基于vLLM不同模型推理支持最小卡数和最大序列说明 附录
主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.909） 场景介绍 准备工作 在Notebook调试环境中部署推理服务 在推理生产环境中部署推理服务 推理精度测试 推理性能测试 推理模型量化 附录：基于vLLM不同模型推理支持最小卡数和最大序列说明 附录
这通常在数据集发生变化，或者需要重新生成缓存时使用 preprocessing_num_workers 16 用于指定预处理数据的工作线程数。随着线程数的增加，预处理的速度也会提高，但也会增加内存的使用。
core_num Integer 核数。 表40 gpu 参数 参数类型 描述 unit_num Integer gpu卡数。 product_name String 产品名。 memory String 内存。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
