检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
主流开源大模型基于DevServer适配LlamaFactory PyTorch NPU训练指导(6.3.909) 场景介绍 准备工作 执行训练任务 查看日志和性能 训练脚本说明 附录:训练常见问题 父主题: LLM大语言模型训练推理
查看超参搜索作业详情 训练作业运行结束后,可以查看自动超参搜索结果判断此训练作业是否满意。 如果训练作业是超参搜索作业,进入训练作业详情页,选择“自动超参搜索结果”页签查看超参搜索结果。 图3 超参搜索结果 父主题: 自动模型优化(AutoSearch)
常见问题 创建数据集时找不到创建的OBS桶,请查看OBS桶与ModelArts是否在同一个区域。 数据校验节点失败。 请查看您的数据集是否符合规范,数据集规范请参考数据集要求与上传规范。
图1 下载详情 完成参数填写,单击“确定”,自动跳转至AI Gallery个人中心“我的下载”页签,单击按钮,查看下载进度,等待5分钟左右下载完成,单击展开下载详情,可以查看该数据集的“目标位置”。
查询基础镜像(第三方镜像可跳过此步骤) ModelArts提供的公共镜像,请参考Notebook专属预置镜像列表,根据预置镜像的引擎类型在对应的章节查看镜像URL。 连接容器镜像服务。 登录容器镜像服务控制台。
您添加的图片将自动呈现在“全部”的图片列表中,也可单击“添加数据>查看历史记录”,进入“任务历史”界面,可查看相应的导入历史。 图9 查看历史数据 删除数据 通过数据删除操作,可将需要丢弃的数据快速删除。
获取方法请参见查询工作空间列表。未创建工作空间时默认值为“0”,存在创建并使用的工作空间,以实际取值为准。 os.modelarts/name String 用户指定的pool名称。
主流开源大模型基于Standard+OBS适配PyTorch NPU训练指导(6.3.911) 场景介绍 准备工作 预训练 SFT全参微调训练 LoRA微调训练 查看日志和性能 训练脚本说明 常见错误原因和解决方法 父主题: LLM大语言模型训练推理
主流开源大模型基于Standard+OBS适配PyTorch NPU训练指导(6.3.907) 场景介绍 准备工作 预训练 SFT全参微调训练 LoRA微调训练 查看日志和性能 训练脚本说明 常见错误原因和解决方法 父主题: LLM大语言模型训练推理
CANN:cann_8.0.rc3 容器镜像OS:hce_2.0 PyTorch:pytorch_2.1.0、pytorch_2.2.0 MindSpore:MindSpore 2.3.0 FrameworkPTAdapter:6.0.RC3 如果用到CCE,版本要求是CCE Turbo
图3 kubectl访问集群配置 在节点机器中,输入命令,查看Kubernetes集群信息。若显示如图图4的内容,则配置成功。 kubectl cluster-info 图4 查看Kubernetes集群信息正确弹出内容 父主题: 准备工作
主流开源大模型基于Standard+OBS+SFS适配PyTorch NPU训练指导(6.3.910) 场景介绍 准备工作 预训练 SFT全参微调训练 LoRA微调训练 查看日志和性能 训练脚本说明 常见错误原因和解决方法 父主题: LLM大语言模型训练推理
主流开源大模型基于Lite Cluster适配PyTorch NPU训练指导(6.3.911) 场景介绍 准备工作 预训练任务 SFT全参微调训练任务 LoRA微调训练 查看日志和性能 训练脚本说明 常见错误原因和解决方法 父主题: LLM大语言模型训练推理
使用当前账户登录OBS管理控制台,去查找对应的OBS桶、文件夹、文件是否存在。 通过接口判断路径是否存在。在代码中执行如下命令,检查路径是否存在。
Lite Server资源管理 查看Lite Server服务器详情 启动或停止Lite Server服务器 同步Lite Server服务器状态 切换Lite Server服务器操作系统 监控Lite Server资源 NPU日志收集上传 释放Lite Server资源
检查用户给ModelArts的委托中是否有SWR的权限,可以在权限管理中查看对应用户的授权内容,查看授权详情。如果没有对应权限,需要到统一身份认证服务给对应委托中加上对应权限。
管理Workflow 查找Workflow工作流 查看Workflow工作流运行记录 管理Workflow工作流 重试/停止/运行Workflow节点 父主题: 使用Workflow实现低代码AI开发
您可以通过单击“购买AI专属集群”右侧的“操作记录”,查看当前处于失败状态的资源池信息。 图1 创建失败资源池信息 鼠标悬停在“状态”列的上,即可看到该操作失败的具体原因。 失败的记录默认按照操作的申请时间排序,最多显示500条并保留3天。 父主题: 资源池
处理ModelArts数据集中的数据 数据处理场景介绍 创建ModelArts数据校验任务 创建ModelArts数据清洗任务 创建ModelArts数据选择任务 创建ModelArts数据增强任务 管理和查看数据处理任务 父主题: 数据准备与处理
环境配置相关 如何查看Notebook使用的cuda版本? 如何打开ModelArts开发环境的Terminal功能? 如何在Notebook中安装外部库? 如何获取本机外网IP? 如何解决“在IOS系统里打开ModelArts的Notebook,字体显示异常”的问题?