检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
可调整参数：TP张量并行（tensor-model-parallel-size） 和PP流水线并行（pipeline-model-parallel-size），可以尝试增加 TP和PP的值，一般TP×PP≤NPU数量，并且要被整除，具体调整值可参照表2进行设置。 可调整参数：MBS指最小batch处理
DockerFile构建镜像（可选） 本章节主要介绍通过DockerFile文件构建训练镜像，将训练过程中依赖包封装使用，过程中需要连接互联网git clone，请确保环境可以访问公网，详解操作如下： 进入代码包Dockerfile文件同级目录： cd /home/ma-user/ws/llm_train/LLaMAFactory
可调整参数：TP张量并行（tensor-model-parallel-size） 和PP流水线并行（pipeline-model-parallel-size），可以尝试增加 TP和PP的值，一般TP×PP≤NPU数量，并且要被整除，具体调整值可参照表1进行设置。 可调整参数：MBS指最小batch处理
可调整参数：TP张量并行（tensor-model-parallel-size） 和PP流水线并行（pipeline-model-parallel-size），可以尝试增加TP和PP的值，一般TP×PP≤NPU数量，并且要被整除，具体调整值可参照表1进行设置。 可调整参数：MBS指最小batch处理的
Manifest文件导入 图片 图像分类 支持 可以导入未标注或已标注数据 已标注数据格式规范：图像分类 支持 可以导入未标注或已标注数据 已标注数据格式规范：图像分类 物体检测 支持 可以导入未标注或已标注数据 已标注数据格式规范：物体检测 支持 可以导入未标注或已标注数据 已标注数据格式规范：物体检测
重建作业：建议重建作业进行重试，大概率能修复问题。 上一步不能解决问题时，可以尝试分析日志中提示的错误信息，定位并解决问题。 也可以前往ModelArts论坛中查看是否有同类问题。Ascend训练场景可以前往昇腾论坛查看或提问。 最后，如果以上均不能解决问题，可以提工单进行人工咨询。 父主题： 模型训练高可靠性
文件中也可以只有原始文件信息，没有标注信息，如生成的未标注的数据集。 Manifest文件使用UTF-8编码，Manifest处理程序需具备UTF-8处理能力。 Manifest文件中文本分类的source数值可以包含中文，其他字段不建议用中文。 Manifest文件可以由用户、
计费码。 unit_num Integer 计费卡数。 表36 flavor_info 参数 参数类型 描述 max_num Integer 可以选择的最大节点数量（max_num，为1代表不支持分布式）。 cpu cpu object cpu规格信息。 gpu gpu object
训练性能测试 流程图 训练性能测试流程图如下图所示： 图1 训练性能测试流程 执行训练任务 进入test-benchmark目录执行训练命令，可以多次执行，卡数及其它配置参考NPU卡数取值表按自己实际情况决定。 单机<可选>： # 默认8卡 benchmark-cli train <cfgs_yaml_file>
间。 如果没有文件可以删除，或者不清楚哪些可以删除，那么可以使用相同的镜像重新创建一个Notebook，使用新建的Notebook时，注意减少软件包的安装或文件的下载等操作，也可以减少容器大小； 减少镜像文件的大小 如果无法确认哪些包或文件可以不安装，那么可以选择一个较小的镜像来
镜像保存时，哪些目录的数据可以被保存 可以保存的目录：包括容器构建时静态添加到镜像中的文件和目录，可以保存在镜像环境里。 例如：安装的依赖包、“/home/ma-user”目录 不会被保存的目录：容器启动时动态连接到宿主机的挂载目录或数据卷，这些内容不会被保存在镜像中。可以通过df -h命
镜像保存时，哪些目录的数据可以被保存 可以保存的目录：包括容器构建时静态添加到镜像中的文件和目录，可以保存在镜像环境里。 例如：安装的依赖包、“/home/ma-user”目录 不会被保存的目录：容器启动时动态连接到宿主机的挂载目录或数据卷，这些内容不会被保存在镜像中。可以通过df -h命
在Notebook中添加自定义IPython Kernel 使用场景 当前Notebook默认内置的引擎环境不能满足用户诉求，用户可以新建一个conda env按需搭建自己的环境。本小节以搭建一个“python3.6.5和tensorflow1.2.0”的IPython Kernel为例进行展示。
相同。即用户在Notebook中新建的，或者是从OBS目录中同步的文件。 挂载OBS存储的Notebook，JupyterLab目录的文件可以与OBS的文件进行同步，使用JupyterLab文件上传下载功能。Terminal的文件与JupyterLab目录的文件相同。 挂载EVS
可调整参数：TP张量并行（tensor-model-parallel-size） 和PP流水线并行（pipeline-model-parallel-size），可以尝试增加 TP和PP的值，一般TP×PP≤NPU数量，并且要被整除，具体调整值可参照表2进行设置。 可调整参数：MBS指最小batch处理
模型转换报错如何查看日志和定位？ 通过如下的配置项打开对应的模型转换日志，可以看到更底层的报错。如配置以下的环境变量之后，再重新转换模型，导出对应的日志和dump图进行分析： 报错日志中搜到“not support onnx data type”，表示MindSpore暂不支持该算子。
可调整参数：TP张量并行（tensor-model-parallel-size） 和PP流水线并行（pipeline-model-parallel-size），可以尝试增加 TP和PP的值，一般TP×PP≤NPU数量，并且要被整除，具体调整值可参照表2进行设置。 可调整参数：MBS指最小batch处理
可调整参数：TP张量并行（tensor-model-parallel-size） 和PP流水线并行（pipeline-model-parallel-size），可以尝试增加 TP和PP的值，一般TP×PP≤NPU数量，并且要被整除，具体调整值可参照表2进行设置。 可调整参数：MBS指最小batch处理
可调整参数：TP张量并行（tensor-model-parallel-size） 和PP流水线并行（pipeline-model-parallel-size），可以尝试增加 TP和PP的值，一般TP×PP≤NPU数量，并且要被整除，具体调整值可参照表2进行设置。 可调整参数：MBS指最小batch处理
MoXing进阶用法的样例代码 如果您已经熟悉了常用操作，同时熟悉MoXing Framework API文档以及常用的Python编码，您可以参考本章节使用MoXing Framework的一些进阶用法。 读取完毕后将文件关闭 当读取OBS文件时，实际调用的是HTTP连接读取网络
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
