检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Cluster适配ModelLink PyTorch NPU训练指导（6.3.911） 场景介绍 准备工作 预训练任务 SFT全参微调训练任务 LoRA微调训练 查看日志和性能 训练脚本说明 常见错误原因和解决方法 父主题： LLM大语言模型训练推理
ServerHpsInfo object 服务器归属超节点信息。 表4 CloudServer 参数 参数类型 描述 id String 服务器资源id。 type String DevServer服务器类型。枚举值如下： BMS：裸金属服务器 ECS：弹性云服务器 HPS：超节点服务器 hps_id String
失败的风险。建议训练代码目录大小小于或等于50MB。 代码目录路径中的启动文件 代码目录路径中的启动文件作为训练启动的入口，当前只支持python格式。预置框架启动文件的启动流程说明请参见预置框架启动文件的启动流程说明。 训练输入路径参数 训练数据需上传至OBS桶或者存储至数据集
th kv_cache_scales.json #输入Step2 抽取kv-cache量化系数生成的json文件路径; 如果只测试推理功能和性能，不需要此json文件，此时scale系数默认为1，但是可能会造成精度下降。 父主题： 推理模型量化
件内容，“文件类型”)}”，参数填写可以参考表1。 表1 files参数说明 参数 是否必填 说明 请求参数 是 在线服务输入参数名称。 文件路径 否 上传文件的路径。 文件内容 是 上传文件的内容。 文件类型 否 上传文件类型。当前支持以下类型： txt类型：text/plain
需要部署的卡数。也能同时降低首token时延和增量推理时延。支持SmoothQuant(W8A8)量化的模型列表请参见支持的模型列表和权重文件。 本章节介绍如何使用SmoothQuant量化工具实现推理量化。 SmoothQuant量化工具使用到的脚本存放在代码包AscendCloud-LLM-x
推理业务迁移到昇腾的通用流程，可参考GPU推理业务迁移至昇腾的通用指导。 由于Huggingface网站的限制，访问Stable Diffusion链接时需使用代理服务器，否则可能无法访问网站。 在Stable Diffusion迁移适配时，更多的时候是在适配Diffusers和Stable Diffusion
ServerHpsInfo object 服务器归属超节点信息。 表3 CloudServer 参数 参数类型 描述 id String 服务器资源id。 type String DevServer服务器类型。枚举值如下： BMS：裸金属服务器 ECS：弹性云服务器 HPS：超节点服务器 hps_id String
从本地上传数据到ModelArts数据集 文件型数据来源 文件型数据集支持从两种数据源导入数据：“OBS”和“本地上传”。导入后，导入目录下的数据会复制至数据集的数据源路径下。 OBS：又分为从OBS目录或从Manifest文件两种导入方式，需要将导入的数据或Manifest文件提前存储至OBS目录中。
模型训练高可靠性 训练作业容错检查 训练日志失败分析 训练作业卡死检测 训练作业重调度 设置断点续训练 设置无条件自动重启 父主题： 使用ModelArts Standard训练模型
训练前需要修改数据集路径、模型路径。脚本里写到datasets路径即可。 run_lora_sdxl中的vae路径要准确写到sdxl_vae.safetensors文件路径。 vim run_lora.sh vim run_lora_sdxl.sh 启动SD1.5 LoRA训练服务 使用ma-user用户执行如下命令运行训练脚本。
主流开源大模型基于DevServer适配LlamaFactory PyTorch NPU训练指导（6.3.910） 场景介绍 准备工作 执行训练任务 查看日志和性能 训练benchmark工具 训练脚本说明 附录：训练常见问题 父主题： LLM大语言模型训练推理
主流开源大模型基于DevServer适配LlamaFactory PyTorch NPU训练指导（6.3.911） 场景介绍 准备工作 执行训练任务 查看日志和性能 训练benchmark工具 训练脚本说明 附录：训练常见问题 父主题： LLM大语言模型训练推理
主流开源大模型基于Standard+OBS+SFS适配ModelLink PyTorch NPU训练指导（6.3.912） 场景介绍 准备工作 执行训练任务 查看日志和性能 训练脚本说明 常见错误原因和解决方法 父主题： LLM大语言模型训练推理
主流开源大模型基于Standard+OBS适配ModelLink PyTorch NPU训练指导（6.3.912） 场景介绍 准备工作 执行训练任务 查看日志和性能 训练脚本说明 常见错误原因和解决方法 父主题： 常见错误原因和解决方法
modelarts:trainJob:list - √ √ 训练作业日志预览 GET /v2/{project_id}/training-jobs/{training_job_id}/tasks/{task_id}/logs/preview - - √ √ 训练作业日志下载 GET /v2/{project_
Qwen-VL基于Standard+OBS+SFS适配PyTorch NPU训练指导（6.3.912） 场景介绍 准备工作 SFT全参微调训练 LoRA微调训练 查看日志和性能 训练脚本说明 常见错误原因和解决方法 父主题： MLLM多模态模型训练推理
Qwen-VL模型基于Standard+OBS适配PyTorch NPU训练指导（6.3.912） 场景介绍 准备工作 SFT全参微调训练 LoRA微调训练 查看日志和性能 训练脚本说明 常见错误原因和解决方法 父主题： MLLM多模态模型训练推理
主流开源大模型基于DevServer适配LlamaFactory PyTorch NPU训练指导（6.3.907） 场景介绍 准备工作 指令监督微调训练任务 查看日志和性能 训练脚本说明 附录：指令微调训练常见问题 父主题： LLM大语言模型训练推理
训练作业 创建训练作业 训练作业调测 查询训练作业列表 查询训练作业详情 更新训练作业描述 删除训练作业 终止训练作业 查询训练日志 查询训练作业的运行指标 父主题： 训练管理
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
