检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
g_qwen.py文件，具体位置可根据上下代码信息进行查找，修改后如图6所示。 图6 修改Qwen tokenizer文件 父主题： 训练脚本说明
效率和内存使用方面有其独特的优点，但可能在数值范围和稳定性方面略逊一筹。因此，选择哪种格式取决于具体的应用场景和训练需求。 父主题： 训练脚本说明
效率和内存使用方面有其独特的优点，但可能在数值范围和稳定性方面略逊一筹。因此，选择哪种格式取决于具体的应用场景和训练需求。 父主题： 训练脚本说明
_qwen.py文件，具体位置可根据上下文代码信息进行查找，修改后如图6所示。 图6 修改Qwen tokenizer文件 父主题： 训练脚本说明
_qwen.py文件，具体位置可根据上下文代码信息进行查找，修改后如图6所示。 图6 修改Qwen tokenizer文件 父主题： 训练脚本说明
_qwen.py文件，具体位置可根据上下文代码信息进行查找，修改后如图6所示。 图6 修改Qwen tokenizer文件 父主题： 训练脚本说明参考
_qwen.py文件，具体位置可根据上下文代码信息进行查找，修改后如图6所示。 图6 修改Qwen tokenizer文件 父主题： 训练脚本说明参考
Yaml配置文件参数配置说明 本小节主要详细描述demo_yaml配置文件、配置参数说明，用户可根据实际自行选择其需要的参数。 表1 模型训练脚本参数 参数 示例值 参数说明 model_name_or_path /home/ma-user/ws/tokenizers/Qwen2-72B
_qwen.py文件，具体位置可根据上下文代码信息进行查找，修改后如图6所示。 图6 修改Qwen tokenizer文件 父主题： 训练脚本说明
g_qwen.py文件，具体位置可根据上下文代码信息进行查找，修改后如图所示。 图6 修改Qwen tokenizer文件 父主题： 训练脚本说明
g_qwen.py文件，具体位置可根据上下代码信息进行查找，修改后如图6所示。 图6 修改Qwen tokenizer文件 父主题： 训练脚本说明
|──scripts/ # 训练需要的启动脚本 |——src/ # 启动命令行封装脚本，在install.sh里面自动构建 |──Megatron-LM/
|──scripts/ # 训练需要的启动脚本 |——src/ # 启动命令行封装脚本，在install.sh里面自动构建 |──Megatron-LM/
8*Ascend lora gradient_accumulation_steps: 8 ZeRO-2 1*节点 & 8*Ascend 父主题： 训练脚本说明
D]，其中 N2 ≤ 2048，并且N1是N2的正整数倍。 不满足以上场景，则不能实现NPU_Flash_Attn功能。 父主题： 训练脚本说明
D]，其中 N2 ≤ 2048，并且N1是N2的正整数倍。 不满足以上场景，则不能实现NPU_Flash_Attn功能。 父主题： 训练脚本说明
S2, D]，其中N2 ≤ 2048，并且N1是N2的正整数倍。 不满足以上场景，则不能实现NPU_Flash_Attn功能。 父主题： 训练脚本说明
和内存使用方面有其独特的优点，但可能在数值范围和稳定性方面略逊一筹。因此，选择哪种格式往往取决于具体的应用场景和训练需求。 父主题： 训练脚本说明
和内存使用方面有其独特的优点，但可能在数值范围和稳定性方面略逊一筹。因此，选择哪种格式往往取决于具体的应用场景和训练需求。 父主题： 训练脚本说明
attention_mask is not None # attention_mask = ~attention_mask 样例图： 父主题： 训练脚本说明
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
