AI开发平台ModelArts-准备代码:修改代码

时间:2025-02-12 15:14:12

修改代码

将AscendSpeed代码包AscendCloud-LLM-xxx.zip在本地解压缩后。在上传代码前,需要对解压后的训练脚本代码进行修改。具体文件为:llm_train/AscendSpeed/scripts/obs_pipeline.sh,具体修改代码内容以及位置,如下所示。

  1. 训练作业中存在2个代码目录,一个是从OBS上传到ModelArts Standard训练容器中的代码目录OBS_CODE_DIR,一个是后续构建新镜像步骤E CS 中构建新镜像中镜像的代码目录CODE_DIR。修改代码如图1
    图1 修改区分训练作业中2个代码目录
  2. 使用环境变量SAVE_PATH重新覆盖权重文件保存路径,作为最终的权重保存路径。修改代码如图2
    图2 修改权重保存路径
  3. 多机训练场景下,需要将CODE_DIR修改为OBS_CODE_DIR目录,则可以使用scripts/tools/sync_with_obs.py工具将其它节点的权重文件同步上传到主节点。修改代码如图3
    图3 多机同步权重文件
support.huaweicloud.com/bestpractice-modelarts/modelarts_llm_train_90866.html