检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Gallery微调大师训练模型 AI Gallery支持将模型进行微调，训练后得到更优模型。 场景描述 模型微调是深度学习中的一种重要技术，它是指在预训练好的模型基础上，通过调整部分参数，使其在特定任务上达到更好的性能。 在实际应用中，预训练模型是在大规模通用数据集上训练得到的，而在特定
yaml文件内容。 1、DPO偏好训练、Reward奖励模型训练、PPO强化学习目前仅限制支持于llama3系列 2、PPO训练暂不支持 ZeRO-3存在通信问题，如llama3-70B使用ZeRO-3暂不支持 训练策略类型 全参full，配置如下： finetuning_type:
yaml文件内容。 1、DPO偏好训练、Reward奖励模型训练、PPO强化学习目前仅限制支持于llama3系列 2、PPO训练暂不支持 ZeRO-3存在通信问题，如llama3-70B使用ZeRO-3暂不支持 训练策略类型 全参full，配置如下： finetuning_type:
用于控制训练过程中学习率下降的幅度。 计算公式为：最低学习率 = 初始学习率 × 学习率衰减比率。 学习率 学习率决定每次训练中模型参数更新的幅度。 选择合适的学习率至关重要： 如果学习率过大，模型可能无法收敛。 如果学习率过小，模型的收敛速度将变得非常慢。 训练轮数 表示完成全部训练数据集训练的次数。每个轮次都会遍历整个数据集一次。
离线排序作业名称（在线训练任务需要提供此参数）。 update_interval 否 Integer 更新周期（在线训练任务需要提供此参数）。 optimizer 否 Optimizer object 优化器（在线训练任务需要提供此参数）。 flows 否 Flow object 在线流程（在线训练任务需要提供此参数）。
训练作业创建失败报错： 准备阶段超时。可能原因是跨区域算法同步或者创建共享存储超时 训练作业已排队，正在等待资源分配 训练作业排队失败 训练作业开始运行 训练作业运行成功 训练作业运行失败 训练作业被抢占 系统检测到您的作业疑似卡死，请及时前往作业详情界面查看并处理 训练作业已重启
图片。 单击“创建”，完成项目创建，并进入项目概览页面。 如果用户当前不在模型训练服务首页，想要回到首页，请单击界面左上角的“模型训练”，从下拉框中选择“模型训练”。 父主题： 使用模型训练服务快速训练算法模型
获取横向联邦学习作业详情 功能介绍 获取横向联邦学习作业详情 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/leagues/{league_id}/fl-jobs/{job_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id
job_id Long 训练作业的ID。 job_name String 训练作业的名称 status Int 训练作业的运行状态，详细作业状态列表请参见作业状态参考。 create_time Long 训练作业的创建时间，时间戳格式。 version_id Long 训练作业的版本ID。
GBS 128 表示训练中所有机器一个step所处理的样本量。影响每一次训练迭代的时长。 TP 8 表示张量并行。对应训练参数 tensor-model-parallel-size 。 PP 4 表示流水线并行。一般此值与训练节点数相等，与权重转换时设置的值相等。对应训练参数 pipe
Object 会话对象，初始化方法请参考Session鉴权。 job_id 是 String 训练作业的id，可通过创建训练作业生成的训练作业对象查询，如"job_instance.job_id"，或从查询训练作业列表的响应中获得。 表2 update_job_configs请求参数说明 参数
训练的权重转换说明 以llama2-13b举例，使用训练作业运行0_pl_pretrain_13b.sh脚本。脚本同样还会检查是否已经完成权重转换的过程。 若已完成权重转换，则直接执行预训练任务。若未进行权重转换，则会自动执行scripts/llama2/2_convert_mg_hf
前提条件 已经注册华为云账号。 已经创建IAM用户。 已经订购过NAIE模型训练服务。 父主题： 使用模型训练服务快速训练算法模型
选择所需微调的基础模型。 训练参数 数据集 训练数据集。 自定义L1预训练模型目录 自定义预训练模型所在的OBS路径。 训练轮数 表示完成全部训练数据集训练的次数。每个轮次都会遍历整个数据集一次。 是否使用自定义L1预训练模型 是否使用自定义预训练模型进行训练，模型为用户与服务共建，详情请联系客服。
模型训练 导入SDK 选择数据 特征画像 模型选择 训练模型 测试模型 开发推理 归档模型 父主题： KPI异常检测学件服务
模型管理简介 训练模型的开发和调优往往需要大量的迭代和调试，数据集的变化、训练算法或者超参的变化都可能会影响模型的质量。用户可将训练完成的优质模型打包到模型管理中，进行统一管理。模型管理中可以查看模型包的详细信息、将多个归档好或者打包好的模型合打成一个模型包、发布模型包至应用市场
expandable_segments:True 将yaml文件中的per_device_train_batch_size调小，重新训练如未解决则执行下一步。 替换深度学习训练加速的工具或增加zero等级，可参考模型NPU卡数、梯度累积值取值表，如原使用Accelerator可替换为Deeps
GBS 512 表示训练中所有机器一个step所处理的样本量。影响每一次训练迭代的时长。 TP 8 表示张量并行。对应训练参数 tensor-model-parallel-size 。 PP 1 表示流水线并行。一般此值与训练节点数相等，与权重转换时设置的值相等。对应训练参数 pipe
Step4 开启训练故障自动重启功能 创建训练作业时，可开启自动重启功能。当环境问题导致训练作业异常时，系统将自动修复异常或隔离节点，并重启训练作业，提高训练成功率。为了避免丢失训练进度、浪费算力。此功能已适配断点续训练。 图2 开启故障重启 断点续训练是通过checkpoi
Step4 开启训练故障自动重启功能 创建训练作业时，可开启自动重启功能。当环境问题导致训练作业异常时，系统将自动修复异常或隔离节点，并重启训练作业，提高训练成功率。为了避免丢失训练进度、浪费算力。此功能已适配断点续训练。 图2 开启故障重启 断点续训练是通过checkpoi
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
