检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
主流开源大模型基于DevServer适配ModelLink PyTorch NPU训练指导(6.3.909) 场景介绍 准备工作 执行预训练任务 执行SFT全参微调训练任务 执行LoRA微调训练任务 查看日志和性能 训练脚本说明参考 常见错误原因和解决方法 父主题: LLM大语言模型训练推理
主流开源大模型基于DevServer适配ModelLink PyTorch NPU训练指导(6.3.911) 场景介绍 准备工作 执行预训练任务 执行SFT全参微调训练任务 执行LoRA微调训练任务 查看日志和性能 训练脚本说明参考 常见错误原因和解决方法 父主题: LLM大语言模型训练推理
主流开源大模型基于DevServer适配ModelLink PyTorch NPU训练指导(6.3.910) 场景介绍 准备工作 执行预训练任务 执行SFT全参微调训练任务 执行LoRA微调训练任务 查看日志和性能 训练脚本说明参考 常见错误原因和解决方法 父主题: LLM大语言模型训练推理
返回状态码“200 OK”表示配置授权完成,响应Body如下所示: { "result": true } 调用查看授权列表接口查看用户的授权信息。
管理Standard专属资源池 查看Standard专属资源池详情 扩缩容Standard专属资源池 升级Standard专属资源池驱动 修复Standard专属资源池故障节点 修改Standard专属资源池支持的作业类型 迁移Standard专属资源池和网络至其他工作空间 配置Standard
可登录MRS控制台查看。 cluster_mode 否 String MRS集群运行模式。可选值如下: 0:普通集群 1:安全集群 cluster_name 否 String MRS集群名称。可登录MRS控制台查看。
使用SDK如何查看旧版专属资源池列表? 调用API接口创建训练作业和部署服务时,如何填写资源池的参数?
进入地址,单击“Download”,“Version”选择“5.4-3.5.8.0-LTS”,“OSDistributionVersion”选择“Ubuntu 18.04”,“Architecture”选择“x86_64”,下载MLNX_OFED_LINUX-5.4-3.5.8.0
操作步骤: 在ModelArts管理控制台,单击左侧菜单栏的“总览”,您可以在“总览”区域查看正在收费的作业。再根据实际情况进入管理页面,停止收费。 图1 查看收费作业 进入“ModelArts>Workflow”页面,检查是否有“运行中”的Workflow列表。
可切换“训练作业”、“推理服务”、“开发环境”页签查看资源池上创建的训练作业、部署的推理服务、创建的Notebook实例。
图13 使用debug方式运行程序 此时可以进入debug模式,代码运行暂停在该行,且可以查看变量的值。 图14 Debug模式下查看变量值 父主题: 通过PyCharm远程使用Notebook实例
在解决方案列表页可以查看发布的方案信息。 父主题: 合作伙伴
提交训练作业时,出现xxx isn't existed in train_version错误 提交训练作业报错“Invalid OBS path” 使用PyCharm Toolkit提交训练作业报错NoSuchKey 部署上线时,出现错误 如何查看PyCharm ToolKit的错误日志
问题现象 解决方法 检查VS Code版本是否为1.78.2或更高版本,如果是,请查看Remote-SSH版本,若低于v0.76.1,请升级Remote-SSH。
处理方法 “nvidia-smi”是一个NVIDIA GPU监视器命令行工具,用于查看GPU的使用情况和性能指标,可以帮助用户进行GPU优化和故障排除。 但是建议在业务软件或训练算法中,避免频繁使用“nvidia-smi”命令功能获取相关信息,存在锁死的风险。
图2 批量删除 标注人员管理 如果您创建的标注作业,开启了团队标注,“标注人员管理”页面中可查看团队标注作业的标注详情。添加、修改或删除标注成员。 登录“数据准备>数据标注”,在“我创建的”页签下可查看所有的标注作业列表。
建议与总结 您可以在训练代码里添加一行: os.system('pip list') 然后运行训练作业,查看日志中是否有所需要的模块。 父主题: 业务代码问题
inputShape查看方法请见转换关键参数准备。 !
在节点列表,单击操作列的“更多 > 查看YAML”查看节点配置信息。 查看节点的yaml文件里“cce.kubectl.kubernetes.io/ascend-rank-table”字段是否有值。 如图所示,表示有值,节点已开启topo文件和ranktable文件的下发。
预训练 预训练 介绍如何进行预训练,包括训练数据处理、超参配置、训练任务、性能查看。 微调训练 SFT全参微调 介绍如何进行SFT全参微调、超参配置、训练任务、性能查看。 LoRA微调训练 介绍如何进行LoRA微调、超参配置、训练任务、性能查看。