检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DockerFile构建镜像（可选） 本章节主要介绍通过DockerFile文件构建训练镜像，将训练过程中依赖包封装使用，过程中需要连接互联网git clone，请确保环境可以访问公网，详解操作如下： 进入代码包Dockerfile文件同级目录： cd /home/ma-user/ws/llm_train/LLaMAFactory
可调整参数：TP张量并行（tensor-model-parallel-size） 和PP流水线并行（pipeline-model-parallel-size），可以尝试增加 TP和PP的值，一般TP×PP≤NPU数量，并且要被整除，具体调整值可参照表2进行设置。 可调整参数：MBS指最小batch处理
可调整参数：TP张量并行（tensor-model-parallel-size） 和PP流水线并行（pipeline-model-parallel-size），可以尝试增加 TP和PP的值，一般TP×PP≤NPU数量，并且要被整除，具体调整值可参照表2进行设置。 可调整参数：MBS指最小batch处理
MoXing进阶用法的样例代码 如果您已经熟悉了常用操作，同时熟悉MoXing Framework API文档以及常用的Python编码，您可以参考本章节使用MoXing Framework的一些进阶用法。 读取完毕后将文件关闭 当读取OBS文件时，实际调用的是HTTP连接读取网络
重建作业：建议重建作业进行重试，大概率能修复问题。 上一步不能解决问题时，可以尝试分析日志中提示的错误信息，定位并解决问题。 也可以前往ModelArts论坛中查看是否有同类问题。Ascend训练场景可以前往昇腾论坛查看或提问。 最后，如果以上均不能解决问题，可以提工单进行人工咨询。 父主题： 模型训练高可靠性
立即运行后，在Notebook Jobs页签可以看到任务运行记录，右上角Reload刷新。 图3 查看定时任务运行记录 任务执行完成后会出现下载按钮，单击文件名称可以看到执行结果。 图4 查看定时任务执行结果 在Notebook Job Definitions页签可以看到所有的任务列表。单击任务
文件中也可以只有原始文件信息，没有标注信息，如生成的未标注的数据集。 Manifest文件使用UTF-8编码，Manifest处理程序需具备UTF-8处理能力。 Manifest文件中文本分类的source数值可以包含中文，其他字段不建议用中文。 Manifest文件可以由用户、
Continuing. Found secret key 原因分析 这是TensorFlow-1.8中会出现的情况，该日志是Info级别的，并不是错误信息，可以通过设置环境变量来屏蔽INFO级别的日志信息。环境变量的设置一定要在import tensorflow或者import moxing之前。
mmlu、ARC_Challenge、GSM_8k、Hellaswag、Winogrande、TruthfulQA等。 约束限制 确保容器可以访问公网。 当前的精度测试仅适用于语言模型精度验证，不适用于多模态模型的精度验证。多模态模型的精度验证，建议使用开源MME数据集和工具（GitHub
mmlu、ARC_Challenge、GSM_8k、Hellaswag、Winogrande、TruthfulQA等。 约束限制 确保容器可以访问公网。 当前的精度测试仅适用于语言模型精度验证，不适用于多模态模型的精度验证。多模态模型的精度验证，建议使用开源MME数据集和工具（GitHub
mmlu、ARC_Challenge、GSM_8k、Hellaswag、Winogrande、TruthfulQA等。 约束限制 确保容器可以访问公网。 当前的精度测试仅适用于语言模型精度验证，不适用于多模态模型的精度验证。多模态模型的精度验证，建议使用开源MME数据集和工具（GitHub
mmlu、ARC_Challenge、GSM_8k、Hellaswag、Winogrande、TruthfulQA等。 约束限制 确保容器可以访问公网。 当前的精度测试仅适用于语言模型精度验证，不适用于多模态模型的精度验证。多模态模型的精度验证，建议使用开源MME数据集和工具（GitHub
模型转换报错如何查看日志和定位？ 通过如下的配置项打开对应的模型转换日志，可以看到更底层的报错。如配置以下的环境变量之后，再重新转换模型，导出对应的日志和dump图进行分析： 报错日志中搜到“not support onnx data type”，表示MindSpore暂不支持该算子。
镜像保存时，哪些目录的数据可以被保存 可以保存的目录：包括容器构建时静态添加到镜像中的文件和目录，可以保存在镜像环境里。 例如：安装的依赖包、“/home/ma-user”目录 不会被保存的目录：容器启动时动态连接到宿主机的挂载目录或数据卷，这些内容不会被保存在镜像中。可以通过df -h命
镜像保存时，哪些目录的数据可以被保存 可以保存的目录：包括容器构建时静态添加到镜像中的文件和目录，可以保存在镜像环境里。 例如：安装的依赖包、“/home/ma-user”目录 不会被保存的目录：容器启动时动态连接到宿主机的挂载目录或数据卷，这些内容不会被保存在镜像中。可以通过df -h命
计费码。 unit_num Integer 计费卡数。 表36 flavor_info 参数 参数类型 描述 max_num Integer 可以选择的最大节点数量（max_num，为1代表不支持分布式）。 cpu cpu object cpu规格信息。 gpu gpu object
收藏免费资产 当搜索到感兴趣的免费资产时，可以收藏该资产，方便后续在“我的收藏”快速查找。商用资产如需收藏请前往云商店。 单击目标资产，进入资产详情页面。 在资产详情页面，单击按钮收藏资产。 收藏成功后，在各个模块的“我的收藏”页签可以快速查看收藏的资产。 图2 查看收藏的资产
提交训练作业报错“Invalid OBS path” 当运行训练作业时，出现“Invalid OBS path”错误。 图1 训练作业报错 该问题可以通过以下方法排查： 如果是首次使用ModelArts的新用户，需要登录ModelArts管理控制台，在权限管理页面完成访问授权配置，推荐使
cuda runtime error (10) : invalid device ordinal at xxx 图1 错误日志 原因分析 可以从以下角度排查： 请检查CUDA_VISIBLE_DEVICES设置的值是否与作业规格匹配。例如您选择4卡规格的作业，实际可用的卡ID为0
这些子工具侧重不同的训练场景，可以定位模型训练中的精度问题。 精度预检工具旨在计算单个API在整网计算中和标杆场景下的差异，对于无明确精度差异来源情况或者对模型了解不多的情形下都推荐使用预检工具，检查第一个步骤或Loss明显出现问题的步骤。它可以抓取模型中API输入的数值范围，
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
