检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
本章节介绍SDXL&SD 1.5模型的LoRA训练过程。LoRA训练是指在已经训练好的模型基础上，使用新的数据集进行LoRA微调以优化模型性能的过程。修改数据集路径、模型路径。脚本里写到datasets路径即可。 run_lora_sdxl中的vae路径要准确写到sdxl_vae.safetensors文件路径。
本章节介绍SDXL&SD 1.5模型的LoRA训练过程。LoRA训练是指在已经训练好的模型基础上，使用新的数据集进行LoRA微调以优化模型性能的过程。 训练前需要修改数据集路径、模型路径。脚本里写到datasets路径即可。 run_lora_sdxl中的vae路径要准确写到sdxl_vae.safetensors文件路径。
idx格式文件，以满足训练要求。 这里以LLama2-70B为例，对于LLama2-7B和LLama2-13B，操作过程与LLama2-70B相同，只需修改对应参数即可。 下载数据 SFT全参微调涉及的数据下载地址：https://huggingface.co/datasets/tatsu-l
bin和.idx格式文件，以满足训练要求。 这里以Qwen-14B为例，对于Qwen-7B和Qwen-72B，操作过程与Qwen-14B相同，只需修改对应参数即可。 Alpaca数据处理说明 数据预处理脚本preprocess_data.py存放在代码包的“llm_train/Ascen
如需其他配置参数，可参考表1按照实际需求修改 Step3 启动训练脚本 启动训练前需修改启动训练脚本demo.sh 内容。具体请参考•修改启动脚本。 对于falcon-11B训练任务开始前，需手动替换tokenizer中的config.json，具体请参见falcon-11B模型。 修改完yaml配置文
GET /v1/{project_id}/workspaces/{ws_id} modelarts:workspace:get - √ √ 修改工作空间 PUT /v1/{project_id}/workspaces/{ws_id} modelarts:workspace:update
49、2051、2052、20048，具体请参见创建文件系统的“安全组”参数。Cloud Shell功能的操作指导请参见使用CloudShell登录训练容器。 是，则修改安全组的配置，具体操作请参见修改安全组规则。 否，则继续下一步。 确认SFS Turbo是否存在异常。 新建一个和SFS
如需其他配置参数，可参考表1按照实际需求修改。 Step3 启动训练脚本 修改完yaml配置文件后，启动训练脚本。模型不同最少NPU卡数不同，NPU卡数建议值可参考表1。 修改启动脚本demo.sh 进入代码目录{work_dir}/llm_train/LLaMAFactory下修改启动脚本，其中{w
管理模型训练作业 查看训练作业详情 查看训练作业资源占用情况 查看模型评估结果 查看训练作业事件 查看训练作业日志 修改训练作业优先级 使用Cloud Shell调试生产训练作业 重建、停止或删除训练作业 管理训练容器环境变量 查看训练作业标签 父主题： 使用ModelArts Standard训练模型
4B相同，只需修改对应参数即可。 前提条件 SFT微调训练使用的数据集为alpaca_data数据，已经完成数据处理，具体参见SFT微调数据处理。 已经将开源的原始HuggingFace权重转换为Megatron格式，具体参见SFT微调权重转换。 Step1 修改训练超参配置 SFT微调脚本qwen
否，忽略此步骤，执行下一步； ②修改yaml文件路径：修改demo.sh最后一行代码，将demo.yaml配置文件路径修改为自己实际绝对路径:{work_dir}/llm_train/LLaMAFactory/demo.yaml，例如将以下命令 修改前 FORCE_TORCHRUN=1
status 否 String 服务状态，可设置状态为running或stopped来启动、停止服务，不设置此参数则不修改状态。status不可跟config同时修改，同时存在则只修改status。 additional_properties 否 Map<String,ServiceAdditionalProperties>
在主机上新建config.yaml文件。 config.yaml文件用于配置pod，本示例中使用sleep命令启动pod，便于进入pod调试。您也可以修改command为对应的任务启动命令（如“python inference.py”），任务会在启动容器后执行。 config.yaml内容如下：
在ModelArts训练平台使用的自定义镜像时，默认用户为ma-user、默认用户组为ma-group。如果在训练时调用ECS中的文件，需要修改文件权限改为ma-user可读，否则会出现Permission denied错误，因此需要在ECS中提前创建好ma-user和ma-group。
/v1/{project_id}/services/{service_id}/property 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 service_id 是 String 服务ID。 请求参数
status 否 String 服务状态，可设置状态为running或stopped来启动、停止服务，不设置此参数则不修改状态。status不可跟configs同时修改，同时存在则只修改status。 configs 否 包括predictor configs结构和transformer configs
m、dict、list。开发者可根据场景需要，将节点中的相关字段（如算法超参）通过Placeholder的形式透出，支持设置默认值，供用户修改配置使用。 属性总览（Placeholder） 属性 描述 是否必填 数据类型 name 参数名称，需要保证全局唯一。 是 str placeholder_type
idx格式文件，以满足训练要求。 这里以Llama2-70B为例，对于Llama2-7B和Llama2-13B，操作过程与Llama2-70B相同，只需修改对应参数即可。 Alpaca数据处理说明 数据预处理脚本preprocess_data.py存放在代码包的“llm_train/Ascen
Llama2-70B相同，只需修改对应参数即可。 Step1 配置预训练超参 预训练脚本llama2.sh，存放在“xxx-Ascend/llm_train/AscendSpeed/scripts/llama2”目录下。训练前，可以根据实际需要修改超参配置。 表1 预训练超参配置
据前缀名，不加文件类型后缀。 请根据实际规划修改。 TOKENIZER_PATH /home/ma-user/ws/tokenizers/Qwen-14B 必填。加载tokenizer时，tokenizer存放地址。 请根据实际规划修改。 MODEL_TYPE 14B 必填。表示
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
