检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
_qwen.py文件，具体位置可根据上下文代码信息进行查找，修改后如图6所示。 图6 修改Qwen tokenizer文件 父主题： 训练脚本说明
g_qwen.py文件，具体位置可根据上下文代码信息进行查找，修改后如图所示。 图6 修改Qwen tokenizer文件 父主题： 训练脚本说明
g_qwen.py文件，具体位置可根据上下代码信息进行查找，修改后如图6所示。 图6 修改Qwen tokenizer文件 父主题： 训练脚本说明
g_qwen.py文件，具体位置可根据上下代码信息进行查找，修改后如图6所示。 图6 修改Qwen tokenizer文件 父主题： 训练脚本说明
g_qwen.py文件，具体位置可根据上下文代码信息进行查找，修改后如图所示。 图6 修改Qwen tokenizer文件 父主题： 训练脚本说明
_qwen.py文件，具体位置可根据上下文代码信息进行查找，修改后如图6所示。 图6 修改Qwen tokenizer文件 父主题： 训练脚本说明
8*Ascend lora gradient_accumulation_steps: 8 ZeRO-2 1*节点 & 8*Ascend 父主题： 训练脚本说明
处理方法 请您对作业代码进行排查分析，确认是否对训练代码和参数进行过修改。 检查资源分配情况（cpu/mem/gpu/snt9/infiniband）是否符合预期。 通过CloudShell登录到Linux工作页面，检查GPU工作情况： 通过输入“nvidia-smi”命令，查看GPU工作是否异常。
S2, D]，其中N2 ≤ 2048，并且N1是N2的正整数倍。 不满足以上场景，则不能实现NPU_Flash_Attn功能。 父主题： 训练脚本说明
D]，其中 N2 ≤ 2048，并且N1是N2的正整数倍。 不满足以上场景，则不能实现NPU_Flash_Attn功能。 父主题： 训练脚本说明
D]，其中 N2 ≤ 2048，并且N1是N2的正整数倍。 不满足以上场景，则不能实现NPU_Flash_Attn功能。 父主题： 训练脚本说明
attention_mask is not None # attention_mask = ~attention_mask 样例图： 父主题： 训练脚本说明
和内存使用方面有其独特的优点，但可能在数值范围和稳定性方面略逊一筹。因此，选择哪种格式往往取决于具体的应用场景和训练需求。 父主题： 训练脚本说明
和内存使用方面有其独特的优点，但可能在数值范围和稳定性方面略逊一筹。因此，选择哪种格式往往取决于具体的应用场景和训练需求。 父主题： 训练脚本说明
attention_mask is not None # attention_mask = ~attention_mask 样例图： 父主题： 训练脚本说明
attention_mask is not None # attention_mask = ~attention_mask 样例图： 父主题： 训练脚本说明
g_qwen.py文件，具体位置可根据上下文代码信息进行查找，修改后如图所示。 图6 修改Qwen tokenizer文件 父主题： 训练脚本说明
_qwen.py文件，具体位置可根据上下文代码信息进行查找，修改后如图6所示。 图6 修改Qwen tokenizer文件 父主题： 训练脚本说明参考
修改tokenizer目录下面modeling_qwen.py文件的第38和39行，修改后如图3所示。 图3 修改Qwen tokenizer文件 父主题： 训练脚本说明
_qwen.py文件，具体位置可根据上下文代码信息进行查找，修改后如图6所示。 图6 修改Qwen tokenizer文件 父主题： 训练脚本说明参考
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
