检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
PyTorch NPU训练指导(6.3.908) 场景介绍 准备工作 执行预训练任务 执行SFT全参微调训练任务 执行LoRA微调训练任务 查看日志和性能 训练脚本说明参考 常见错误原因和解决方法 父主题: LLM大语言模型训练推理
PyTorch NPU训练指导(6.3.909) 场景介绍 准备工作 执行预训练任务 执行SFT全参微调训练任务 执行LoRA微调训练任务 查看日志和性能 训练脚本说明参考 常见错误原因和解决方法 父主题: LLM大语言模型训练推理
PyTorch NPU训练指导(6.3.910) 场景介绍 准备工作 执行预训练任务 执行SFT全参微调训练任务 执行LoRA微调训练任务 查看日志和性能 训练脚本说明参考 常见错误原因和解决方法 父主题: LLM大语言模型训练推理
PyTorch NPU训练指导(6.3.911) 场景介绍 准备工作 执行预训练任务 执行SFT全参微调训练任务 执行LoRA微调训练任务 查看日志和性能 训练脚本说明参考 常见错误原因和解决方法 父主题: LLM大语言模型训练推理
-done.flag显示成功上传,但远端未接收到。 解决方法 关闭VS Code所有窗口后,回到ModelArts控制台界面再次单击界面上的“VS Code接入”按钮。 父主题: VS Code连接开发环境失败故障处理
elLink PyTorch NPU训练指导(6.3.909) 场景介绍 准备工作 预训练 SFT全参微调训练 LoRA微调训练 查看日志和性能 训练脚本说明 常见错误原因和解决方法 父主题: LLM大语言模型训练推理
nts/ 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述 metadata 是 TrainingExperimentRequestMetadata
NPU推理指导(6.3.909) 推理场景介绍 准备工作 部署推理服务 推理性能测试 推理精度测试 推理模型量化 附录:基于vLLM不同模型推理支持最小卡数和最大序列说明 附录:大模型推理常见问题 附录:工作负载Pod异常问题和解决方法 父主题: LLM大语言模型训练推理
3:通过。团队标注任务已完成。 4:驳回。manager再次启动任务,重新修改标注和审核工作。 5:验收结果同步中。验收任务改为异步,新增验收结果同步中的状态,此时不允许发起新的验收任务,也不允许继续当前验收,任务名称的地方提示用户同步中。 6:已创建。owner创建完任务,未启动,仅owner/manager可见任务列表。
Yaml配置文件参数配置说明 模型NPU卡数、梯度累积值取值表 各个模型训练前文件替换 NPU_Flash_Attn融合算子约束 BF16和FP16说明 录制Profiling 父主题: 主流开源大模型基于Lite Server适配LlamaFactory PyTorch NPU训练指导(6
Server适配ModelLink PyTorch NPU训练指导(6.3.907) 场景介绍 准备工作 预训练任务 SFT全参微调训练任务 LoRA微调训练 查看日志和性能 训练脚本说明 常见错误原因和解决方法 父主题: LLM大语言模型训练推理
NPU推理指导(6.3.908) 推理场景介绍 部署推理服务 推理性能测试 推理精度测试 推理模型量化 附录:基于vLLM不同模型推理支持最小卡数和最大序列说明 附录:大模型推理常见问题 父主题: LLM大语言模型训练推理
Cluster适配ModelLink PyTorch NPU训练指导(6.3.909) 场景介绍 准备工作 预训练任务 SFT全参微调训练任务 LoRA微调训练 查看日志和性能 训练脚本说明 常见错误原因和解决方法 父主题: LLM大语言模型训练推理
Cluster适配ModelLink PyTorch NPU训练指导(6.3.910) 场景介绍 准备工作 预训练任务 SFT全参微调训练任务 LoRA微调训练 查看日志和性能 训练脚本说明 常见错误原因和解决方法 父主题: LLM大语言模型训练推理
当训练作业发生故障恢复时(例如进程级恢复、POD级重调度、JOB级重调度等),作业详情页面中会出现“故障恢复详情”页签,里面记录了训练作业的启停情况。 在ModelArts管理控制台的左侧导航栏中选择“模型训练 > 训练作业”。 在训练作业列表中,单击作业名称进入训练作业详情页面。 在训练作业详情页面
在推理生产环境中部署推理服务 推理精度测试 推理性能测试 推理模型量化 eagle 投机小模型训练 附录:基于vLLM不同模型推理支持最小卡数和最大序列说明 附录:Standard大模型推理常见问题 父主题: LLM大语言模型训练推理
参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 workflow_id 是 String 工作流的ID。 请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述 type 否 String 类型,仅支持time(时间)。
在Notebook调试环境中部署推理服务 在推理生产环境中部署推理服务 推理精度测试 推理性能测试 推理模型量化 附录:基于vLLM不同模型推理支持最小卡数和最大序列说明 附录:大模型推理standard常见问题 父主题: LLM大语言模型训练推理
在Notebook调试环境中部署推理服务 在推理生产环境中部署推理服务 推理精度测试 推理性能测试 推理模型量化 附录:基于vLLM不同模型推理支持最小卡数和最大序列说明 附录:Standard大模型推理常见问题 父主题: LLM大语言模型训练推理
在Notebook调试环境中部署推理服务 在推理生产环境中部署推理服务 推理精度测试 推理性能测试 推理模型量化 附录:基于vLLM不同模型推理支持最小卡数和最大序列说明 附录:Standard大模型推理常见问题 父主题: LLM大语言模型训练推理