检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
步骤四 进入容器 通过容器名称进入容器中。默认使用ma-user用户执行后续命令。 docker exec -it ${container_name} bash 修改权限。
昇腾上使用int8对权重进行打包，在线转换会增加启动时间，可以提前对权重进行转换以减少启动时间，转换步骤如下： 进入llm_tools/AutoAWQ代码目录下执行以下脚本： 执行时间预计10分钟。执行完成后会将权重路径下的原始权重替换成转换后的权重。
进入代码目录 /home/ma-user/ws/llm_train/AscendSpeed 下执行启动脚本，先修改以下命令中的参数，再复制执行。
进入代码目录 /home/ma-user/ws/llm_train/AscendSpeed 下执行启动脚本。
进入代码目录/home/ma-user/ws/llm_train/LLaMAFactory下执行启动脚本，先修改以下命令中的参数，再复制执行。
进入代码目录 /home/ma-user/ws/llm_train/AscendSpeed 下执行启动脚本，先修改以下命令中的参数，再复制执行。
进入代码目录 /home/ma-user/ws/llm_train/AscendSpeed 下执行启动脚本。
--name ${container_name}：容器名称，进入容器时会用到，此处可以自己定义一个容器名称。 ${image_name}：容器镜像的名称。
在“自动学习”页面，在服务部署节点，单击“实例详情”进入“在线服务”界面，在“预测”页签的“预测代码”区域，输入调试代码。 单击“预测”进行测试，预测完成后，右侧“返回结果”区域输出测试结果。如模型准确率不满足预期，可在“数据标注”页签，重新进行模型训练及模型部署。
容器内执行以下步骤： pip install transformers==4.45.0 pip install tokenizers==0.20.0 使用原始hf权重的tokenizer.json覆盖保存的tokenizer.json即可，如llama3-8b_lora具体过程如下： # 进入模型
容器内执行以下步骤： pip install transformers==4.45.0 pip install tokenizers==0.20.0 使用原始hf权重的tokenizer.json覆盖保存的tokenizer.json即可，如llama3-8b_lora具体过程如下： # 进入模型
具体步骤如下： 进入到${workdir}目录下，如：/home/ma-user/ws，创建tokenizers文件目录将权重和词表文件放置此处，以Qwen2-72B为例。
具体步骤如下： 进入到${workdir}目录下，如：/home/ma-user/ws，创建tokenizers文件目录将权重和词表文件放置此处，以Qwen2-72B为例。
进入容器。需要将${container_name}替换为实际的容器名称。
进入代码目录 /home/ma-user/ws/llm_train/AscendSpeed 下执行启动脚本。xxx-Ascend请根据实际目录替换。
进入代码目录 /home/ma-user/ws/llm_train/AscendSpeed 下执行启动脚本。xxx-Ascend请根据实际目录替换。
容器内执行以下步骤： pip install transformers==4.45.0 pip install tokenizers==0.20.0 ②使用原始hf权重的tokenizer.json覆盖保存的tokenizer.json即可，如llama3-8b_lora具体过程如下： # 进入模型
进入代码目录 /home/ma-user/ws/llm_train/AscendSpeed 下执行启动脚本。
进入代码目录 /home/ma-user/ws/llm_train/AscendSpeed 下执行启动脚本。
进入代码目录 /home/ma-user/ws/llm_train/AscendSpeed 下执行启动脚本，先修改以下命令中的参数，再复制执行。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
