检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
训练作业性能降低 问题现象 使用ModelArts平台训练算法训练耗时增加。 原因分析 可能存在如下原因： 平台上的代码经过修改优化、训练参数有过变更。 训练的GPU硬件工作出现异常。 处理方法 请您对作业代码进行排查分析，确认是否对训练代码和参数进行过修改。 检查资源分配情况（
job_id Long 训练作业的ID。 job_name String 训练作业的名称 status Int 训练作业的运行状态，详细作业状态列表请查看作业状态参考。 create_time Long 训练作业的创建时间，时间戳格式。 version_id Long 训练作业的版本ID。
该示例的主要功能是基于Tensorflow的分布式架构，利用卷积神经网络（CNN）中的ResNet50模型对随机生成的图像进行训练，每次训练32张图像（batch_size），共训练100次（step），记录每次训练过程中的性能（image/sec）。 apiVersion: "kubeflow.org/v1"
训练 上传数据至OBS并预热到SFS Turbo中 创建训练任务 父主题： 实施步骤
模型训练 模型训练简介 创建模型训练工程 创建联邦学习工程 创建训练服务 创建超参优化服务 创建Tensorboard 打包训练模型 父主题： 用户指南
删除训练作业版本 功能介绍 删除训练作业一个版本。 此接口为异步接口，作业状态请通过查询训练作业列表和查询训练作业版本详情接口获取。 URI DELETE /v1/{project_id}/training-jobs/{job_id}/versions/{version_id} 参数说明如表1所示。
什么是模型训练服务 模型训练服务为开发者提供电信领域一站式模型开发服务，涵盖数据预处理、特征提取、模型训练、模型验证、推理执行和重训练全流程。服务提供开发环境和模拟验证环境及ICT网络领域AI资产，包括项目模板、算法、特征分析及处理SDK，帮助开发者提速AI应用开发，保障模型应用效果。
打包训练模型 系统支持将训练好的模型归档以及打包成模型包。用户可以基于模型包创建验证服务、训练服务。模型验证服务详情可以在模型验证查看。模型训练服务详情可以在创建训练服务查看。 模型包主要包括模型验证服务的推理主入口函数、算法工程操作流、模型文件等。已发布的模型可以在模型管理查看。
训练专属预置镜像列表 ModelArts平台提供了Tensorflow，PyTorch，MindSpore等常用深度学习任务的基础镜像，镜像里已经安装好运行任务所需软件。当基础镜像里的软件无法满足您的程序运行需求时，您可以基于这些基础镜像制作一个新的镜像并进行训练。 训练基础镜像列表
指按某种策略由已知判断推出新判断的思维过程。人工智能领域下，由机器模拟人类智能，使用构建的神经网络完成推理过程。 在线推理 在线推理是对每一个推理请求同步给出推理结果的在线服务（Web Service）。 批量推理 批量推理是对批量数据进行推理的批量作业。 昇腾芯片 昇腾芯片又叫As
模型训练 企业A在完成特征选择后，可以单击右下角的“启动训练”按钮，配置训练的超参数并开始训练。 等待训练完成后就可以看到训练出的模型指标。 模型训练完成后如果指标不理想可以重复调整7、8两步的所选特征和超参数，直至训练出满意的模型。 父主题： 使用TICS可信联邦学习进行联邦建模
更新训练作业描述 功能介绍 更新训练作业的描述。 URI PUT /v1/{project_id}/training-jobs/{job_id} 参数说明如表1所示。 表1 参数说明 参数 是否必选 参数类型 说明 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。
预训练 前提条件 已上传训练代码、训练权重文件和数据集到OBS中，具体参考代码上传至OBS。 Step1 创建训练任务 创建训练作业，并自定义名称、描述等信息。选择自定义算法，启动方式自定义，以及选择上传的镜像。 代码目录选择：OBS桶路径下的llm_train/AscendSpeed代码目录。
Step4 开启训练故障自动重启功能 创建训练作业时，可开启自动重启功能。当环境问题导致训练作业异常时，系统将自动修复异常或隔离节点，并重启训练作业，提高训练成功率。为了避免丢失训练进度、浪费算力。此功能已适配断点续训练。 图2 开启故障重启 断点续训练是通过checkpoi
附录：指令微调训练常见问题 问题1：在训练过程中遇到NPU out of memory 解决方法： 将yaml文件中的per_device_train_batch_size调小，重新训练如未解决则执行下一步。 替换深度学习训练加速的工具或增加zero等级，可参考各个模型深度学习训练加速框
训练管理 创建算法 查询算法列表 查询算法详情 更新算法 删除算法 获取支持的超参搜索算法 创建训练实验 创建训练作业 查询训练作业详情 更新训练作业描述 删除训练作业 终止训练作业 查询训练作业指定任务的日志（预览） 查询训练作业指定任务的日志（OBS链接） 查询训练作业指定任务的运行指标
统将自动修复异常或隔离节点，并重启训练作业，提高训练成功率。为了避免丢失训练进度、浪费算力。此功能已适配断点续训练。 图2 开启故障重启 断点续训练是通过checkpoint机制实现。checkpoint机制是在模型训练的过程中，不断地保存训练结果（包括但不限于EPOCH、模型权
0,1]。 “训练轮次”指模型训练中遍历数据集的次数。 “语种”指文本数据的语言种类。 确认信息后，单击“开始训练”。 模型训练一般需要运行一段时间，等模型训练完成后，“模型训练”页面下方显示训练详情。 查看训练详情 模型训练完成后，可在“模型训练”页面查看“训练详情”，包括“准确率变化情况”和“误差变化”。
模型训练一般需要运行一段时间，等模型训练完成后，“开发应用>模型训练”页面下方显示查看训练详情。 查看训练详情 模型训练完成后，可在“模型训练”页面查看“训练详情”，包括“准确率变化情况”和“误差变化”。 图1 模型训练 模型如何提升效果 检查是否存在训练数据过少的情况，建议每个类别的图片量不少于100个，如果低于这个量级建议扩充。
模型训练一般需要运行一段时间，等模型训练完成后，“开发应用>模型训练”页面下方显示查看训练详情。 查看训练详情 模型训练完成后，可在“模型训练”页面查看“训练详情”，包括“准确率变化情况”和“误差变化”。 图1 模型训练 模型如何提升效果 检查是否存在训练数据过少的情况，建议每个类别的图片量不少于100个，如果低于这个量级建议扩充。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
