检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建训练作业界面无云存储名称和挂载路径排查思路 问题现象 创建训练作业界面没有云存储名称和挂载路径这两个选项。 原因分析 用户的专属资源池没有进行网络打通，或者用户没有创建过SFS。 处理方法 在专属资源池列表中，单击资源池“ID/名称”，进入详情页。单击右上角“配置NAS VPC”，检查是否开启了NAS
个值可以改大到5000，避免磁盘空间写满，导致训练失败终止。 checkpoint保存频率的修改命令如下： --checkpointing_steps=5000 训练执行成功如下图所示。 图1 训练执行成功 父主题： 文生图模型训练推理
SFT全参微调训练任务 步骤一 上传训练权重文件和数据集 如果在准备代码和数据阶段已经上传权重文件和数据集到容器中，可以忽略此步骤。 如果未上传训练权重文件和数据集到容器中，具体参考上传代码和权重文件到工作环境和上传数据到指定目录章节完成。训练脚本中会自动执行训练前的权重转换操作和数据处理操作。
模型，还需要手动修改训练参数和tokenizer文件，具体请参见训练tokenizer文件说明。 Step3 启动训练脚本 修改超参值后，再启动训练脚本。其中 Llama2-70b建议为4机32卡训练。 多机启动 以 Llama2-70b为例，多台机器执行训练启动命令如下。进入代码目录
模型训练计费项 计费说明 在ModelArts进行模型训练时，会产生计算资源和存储资源的累计值计费。计算资源为训练作业运行的费用。存储资源包括数据存储到OBS或SFS的费用。具体内容如表1所示。 表1 计费项 计费项 计费项说明 适用的计费模式 计费公式 计算资源 公共资源池 使用计算资源的用量。
5模型的训练过程，包括Finetune训练、LoRA训练和Controlnet训练。 约束限制 本方案目前仅适用于企业客户。 本文档适配昇腾云ModelArts 6.3.908版本，请参考表1获取配套版本的软件包和镜像，请严格遵照版本配套关系使用本文档。 Finetune训练使用单机8卡资源。 Lora训练使用单机单卡资源。
在ModelArts训练作业中如何判断文件夹是否复制完毕？ 您可以在训练作业启动文件的脚本中，通过如下方式获取复制和被复制文件夹大小，根据结果判断是否复制完毕： import moxing as mox mox.file.get_size('obs://bucket_name/obs_file'
执行训练任务 执行训练任务（推荐） 执行训练任务（历史版本） 父主题： 主流开源大模型基于Lite Server适配ModelLink PyTorch NPU训练指导（6.3.912）
基于advisor的昇腾训练性能自助调优指导 advisor调优总体步骤 创建诊断任务 查看诊断报告 父主题： GPU业务迁移至昇腾训练推理
收敛，记录总耗时和单步耗时。训练过程中，训练日志会在最后的Rank节点打印。可以使用可视化工具TrainingLogParser查看loss收敛情况。 图7 正常训练过程 训练完成后权重保存在自动生成的目录，例如：outputs/010-F16S3-STDiT-XL-2/epoc
用户项目ID。获取方法请参见获取项目ID和名称。 training_job_id 是 String 训练作业ID。获取方法请参见查询训练作业列表。 task_id 是 String 训练作业的任务名称。可从训练作业详情中的status.tasks字段中获取。 project_id 是 String
CogVideo是一个94亿参数的Transformer模型，用于文本到视频生成。通过继承一个预训练的文本到图像模型CogView2，还提出了多帧速率分层训练策略，以更好地对齐文本和视频剪辑。作为一个开源的大规模预训练文本到视频模型，CogVideo性能优于所有公开可用的模型，在机器和人类评估方面都有很大的优势。
执行训练任务 执行训练任务（推荐） 执行训练任务（历史版本） 父主题： 主流开源大模型基于Standard+OBS适配ModelLink PyTorch NPU训练指导（6.3.912）
前使用访问密钥授权的用户，建议清空授权，然后使用委托进行授权。 在左侧导航栏中选择“模型训练 > 训练作业”，默认进入“训练作业”列表。单击“创建训练作业”进入创建训练作业页面。 在“创建训练作业”页面，填写相关参数信息，然后单击“提交”。 创建方式：选择“自定义算法”。 启动方式：选择“自定义”。
Open-Clip基于Lite Server适配PyTorch NPU训练指导 Open-Clip广泛应用于AIGC和多模态视频编码器的训练。 方案概览 本方案介绍了在ModelArts的Lite Server上使用昇腾NPU计算资源开展Open-clip训练的详细过程。完成本方案的部署，需要先联系您所在企业的华为方技术支持购买Lite
Server适配PyTorch NPU训练指导（6.3.912） 方案概览 本方案介绍了在ModelArts Lite Server上使用昇腾计算资源Ascend Snt9B开展InternVL2-8B, InternVL2-26B和InternVL2-40B模型的训练过程，包括Finetune训练和LoRA训练。
AI开发基本概念 机器学习常见的分类有3种： 监督学习：利用一组已知类别的样本调整分类器的参数，使其达到所要求性能的过程，也称为监督训练或有教师学习。常见的有回归和分类。 非监督学习：在未加标签的数据中，试图找到隐藏的结构。常见的有聚类。 强化学习：智能系统从环境到行为映射的学习，以使奖励信号（强化信号）函数值最大。
使用自定义镜像创建的训练作业一直处于运行中 问题现象 使用自定义镜像创建训练作业，训练作业的“状态”一直处于“运行中”。 原因分析及处理办法 日志打印如下内容，表示自定义镜像的CPU架构与资源池节点的CPU架构不一致。 standard_init_linux.go:215: exec
5模型的训练过程，包括Finetune训练、LoRA训练和Controlnet训练。 约束限制 本方案目前仅适用于企业客户。 本文档适配昇腾云ModelArts 6.3.908版本，请参考表1获取配套版本的软件包和镜像，请严格遵照版本配套关系使用本文档。 Finetune训练使用单机8卡资源。 Lora训练使用单机单卡资源。
列模型，还需要手动修改训练参数和tokenizer文件，具体请参见训练tokenizer文件说明。 步骤三 启动训练脚本 修改超参值后，再启动训练脚本。其中 Llama2-70b建议为4机32卡训练。 多机启动 以 Llama2-70b为例，多台机器执行训练启动命令如下。进入代码目录
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
