检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ng_qwen.py文件,具体位置可根据上下代码信息进行查找,修改后如图所示。 图5 修改Qwen tokenizer文件 父主题: 训练脚本说明
g_qwen.py文件,具体位置可根据上下文代码信息进行查找,修改后如图所示。 图6 修改Qwen tokenizer文件 父主题: 训练脚本说明
g_qwen.py文件,具体位置可根据上下代码信息进行查找,修改后如图6所示。 图6 修改Qwen tokenizer文件 父主题: 训练脚本说明
修改tokenizer目录下面modeling_qwen.py文件的第38和39行,修改后如图3所示。 图3 修改Qwen tokenizer文件 父主题: 训练脚本说明
yaml配置文件参数配置说明 本小节主要详细描述demo_yaml样例配置文件、配置参数说明,用户可根据实际自行选择其需要的参数。 表1 模型训练脚本参数 参数 示例值 参数说明 model_name_or_path /home/ma-user/ws/tokenizers/Qwen2-72B
g_qwen.py文件,具体位置可根据上下文代码信息进行查找,修改后如图所示。 图6 修改Qwen tokenizer文件 父主题: 训练脚本说明
g_qwen.py文件,具体位置可根据上下文代码信息进行查找,修改后如图所示。 图6 修改Qwen tokenizer文件 父主题: 训练脚本说明
g_qwen.py文件,具体位置可根据上下代码信息进行查找,修改后如图6所示。 图6 修改Qwen tokenizer文件 父主题: 训练脚本说明
g_qwen.py文件,具体位置可根据上下文代码信息进行查找,修改后如图所示。 图6 修改Qwen tokenizer文件 父主题: 训练脚本说明
Yaml配置文件参数配置说明 本小节主要详细描述demo_yaml配置文件、配置参数说明,用户可根据实际自行选择其需要的参数。 表1 模型训练脚本参数 参数 示例值 参数说明 model_name_or_path /home/ma-user/ws/tokenizers/Qwen2-72B
l) 启动脚本,用法无切换,一般就是到达执行目录,然后python xxx.py。 训练结果、日志、checkpoints上传。(本地使用硬盘挂载或者docker cp,在ModelArts上使用OBSutil) 可以用一个run脚本把整个流程包起来。run.sh脚本的内容可以参考如下示例:
_qwen.py文件,具体位置可根据上下文代码信息进行查找,修改后如图6所示。 图6 修改Qwen tokenizer文件 父主题: 训练脚本说明参考
准备镜像环境 Step1 检查环境 请参考DevServer资源开通,购买DevServer资源,并确保机器已开通,密码已获取,能通过SSH登录,不同机器之间网络互通。 购买DevServer资源时如果无可选资源规格,需要联系华为云技术支持申请开通。 当容器需要提供服务给多个用户
准备镜像环境 Step1 检查环境 请参考DevServer资源开通,购买DevServer资源,并确保机器已开通,密码已获取,能通过SSH登录,不同机器之间网络互通。 购买DevServer资源时如果无可选资源规格,需要联系华为云技术支持申请开通。 当容器需要提供服务给多个用户
Yaml配置文件参数配置说明 本小节主要详细描述demo_yaml配置文件、配置参数说明,用户可根据实际自行选择其需要的参数。 表1 模型训练脚本参数 参数 示例值 参数说明 model_name_or_path /home/ma-user/ws/tokenizers/Qwen2-72B
Yaml配置文件参数配置说明 本小节主要详细描述demo_yaml配置文件、配置参数说明,用户可根据实际自行选择其需要的参数。 表1 模型训练脚本参数 参数 示例值 参数说明 model_name_or_path /home/ma-user/ws/tokenizers/Qwen2-72B
ECS获取和上传基础镜像 Step1 创建镜像组织 在SWR服务页面创建镜像组织。 图1 创建镜像组织 Step2 登录ECS服务器 根据创建ECS服务器创建完成ECS服务器后,单击“远程登录”,可使用华为CloudShell远程登录如图所示。后续安装Docker、获取镜像、构建镜像等操作均在该ECS上进行。
ECS获取和上传基础镜像 Step1 创建镜像组织 在SWR服务页面创建镜像组织。 图1 创建镜像组织 Step2 登录ECS服务器 根据创建ECS服务器创建完成ECS服务器后,单击“远程登录”,可使用华为CloudShell远程登录如图所示。后续安装Docker、获取镜像、构建镜像等操作均在该ECS上进行。
Diffusion的WebUI套件,使用NPU卡进行推理。 步骤一 准备环境 请参考DevServer资源开通,购买DevServer资源,并确保机器已开通,密码已获取,能通过SSH登录,不同机器之间网络互通。 购买DevServer资源时如果无可选资源规格,需要联系华为云技术支持申请开通。 当容器需要
/etc/sysctl.conf sysctl -p | grep net.ipv4.ip_forward Step4 获取训练镜像 请确保在正确的Region下获取镜像。建议使用官方提供的镜像部署训练服务。镜像地址{image_url}请参见表1。 docker pull {image_url}