正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
修改tokenizer目录下面modeling_qwen.py文件的第38和39行,修改后如图3所示。 图3 修改Qwen tokenizer文件 父主题: 训练脚本说明
g_qwen.py文件,具体位置可根据上下文代码信息进行查找,修改后如图所示。 图6 修改Qwen tokenizer文件 父主题: 训练脚本说明
g_qwen.py文件,具体位置可根据上下文代码信息进行查找,修改后如图所示。 图6 修改Qwen tokenizer文件 父主题: 训练脚本说明
g_qwen.py文件,具体位置可根据上下文代码信息进行查找,修改后如图所示。 图6 修改Qwen tokenizer文件 父主题: 训练脚本说明
l) 启动脚本,用法无切换,一般就是到达执行目录,然后python xxx.py。 训练结果、日志、checkpoints上传。(本地使用硬盘挂载或者docker cp,在ModelArts上使用OBSutil) 可以用一个run脚本把整个流程包起来。run.sh脚本的内容可以参考如下示例:
yaml配置文件参数配置说明 本小节主要详细描述demo_yaml样例配置文件、配置参数说明,用户可根据实际自行选择其需要的参数。 表1 模型训练脚本参数 参数 示例值 参数说明 model_name_or_path /home/ma-user/ws/tokenizers/Qwen2-72B
作环境中的步骤3。 cp -f config.json {work_dir}/tokenizers/falcon-11B/ 父主题: 训练脚本说明
作环境中的步骤3。 cp -f config.json {work_dir}/tokenizers/falcon-11B/ 父主题: 训练脚本说明
Yaml配置文件参数配置说明 本小节主要详细描述demo_yaml配置文件、配置参数说明,用户可根据实际自行选择其需要的参数。 表1 模型训练脚本参数 参数 示例值 参数说明 model_name_or_path /home/ma-user/ws/tokenizers/Qwen2-72B
per_device_train_batch_size=1 2*节点 & 8*Ascend 1*节点 & 4*Ascend 父主题: 训练脚本说明
D],其中 N2 ≤ 2048,并且N1是N2的正整数倍。 不满足以上场景,则不能实现NPU_Flash_Attn功能。 父主题: 训练脚本说明
_qwen.py文件,具体位置可根据上下文代码信息进行查找,修改后如图6所示。 图6 修改Qwen tokenizer文件 父主题: 训练脚本说明参考
transformers库的training_args.py目前适配的是CUDA的部分操作,需要替换为适配NPU的脚本。 处理方法 training_args.py替换为适配NPU的脚本,替换的脚本请见training_args.py。 父主题: 常见问题
提前终止自动化搜索作业的某个trial 功能介绍 提前终止自动化搜索作业的某个trial。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v2/{pro
获取自动化搜索作业yaml模板的内容 功能介绍 获取自动化搜索作业yaml模板的内容。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v2/{projec
为什么无法启动训练? 如果启动脚本选择了不属于本工程的代码,则无法启动训练,错误信息如下图所示。建议将启动脚本添加至本工程,或者是打开启动脚本所在工程后,再启动训练作业。 图1 错误信息 父主题: PyCharm Toolkit使用
获取自动化搜索作业yaml模板的信息 功能介绍 获取自动化搜索作业yaml模板的信息。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v2/{projec
以上为建议值,上述参数值仅供参考,如需配置其他加速框架或ZeRO (Zero Redundancy Optimizer)优化器用户可自行选用配置。 父主题: 训练脚本说明
Optimizer)优化器、NPU节点数即其他配置。 具体优化工具使用说明可参考如何选择最佳性能的zero-stage和-offloads。 父主题: 训练脚本说明
预置的基础镜像中存在cpp、gcc等调试/编译工具,如果您不需要使用这些工具,可以通过运行脚本删除。 创建一个run.sh脚本文件,文件中的代码内容如下。然后在容器中执行sh run.sh命令运行脚本。 #!/bin/bash delete_sniff_compiler() {