检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
训练tokenizer文件说明 在训练开始前，需要针对模型的tokenizer文件进行修改，不同模型的tokenizer文件修改内容如下，您可在创建的Notebook中对tokenizer文件进行编辑。 ChatGLMv3-6B 在训练开始前，针对ChatGLMv3-6B模型中的
单击“登录”，进入NAIE服务官网。 依次选择“AI服务 > AI服务 > 模型训练服务 > 模型训练服务”，进入模型训练服务介绍页面。 单击“进入服务”，进入模型训练服务页面。 父主题： 使用模型训练服务快速训练算法模型
训练服务 训练算法 模型评测 编译镜像 编译任务 父主题： 自动驾驶云服务全流程开发
单击界面右上角的“返回”，在验证任务详情界面，单击“展示历史指标”，可查看模型包实际运行值的历史折线图，如图5所示。 图5 模型包历史验证结果 父主题： 使用模型训练服务快速训练算法模型
ModelArts自动学习，包括图像分类、物体检测、预测分析、声音分类和文本分类项目。您可以根据业务需求选择创建合适的项目。您需要执行如下操作来创建自动学习项目。 创建项目 登录ModelArts管理控制台，在左侧导航栏单击“开发空间>自动学习”，进入新版自动学习页面。 在您需要的自动学习项目列
配置训练任务时，AI引擎选择PyTorch后可以创建TensorBoard 此处以在训练任务详情的Tensorboard页签中创建Tensorboard为例进行介绍，操作步骤如下。 在新建模型训练工程的训练任务界面中，单击训练任务右侧的，进入训练任务详情页面。 在训练任务详情页面，选择“Tensorboard”页签
在哪里可以进行课程学习？ 订单支付完成后，点击“返回我的云市场”，回到“我的微认证”个人中心，进行对应微认证学习。如图1。 图1 进入课程学习-返回我的云市场 您也可以到华为云开发者学堂右上方的“个人中心”，选择“我的微认证”，进行对应微认证学习。如图2。 图2 进入课程学习-我的微认证
Token计算器”。 NLP大模型训练类型选择建议 平台针对NLP大模型提供了两种训练类型，包括预训练、微调，二者区别详见表3。 表3 预训练、微调训练类型区别 训练方式 训练目的 训练数据 模型效果 应用场景举例 预训练 关注通用性：预训练旨在让模型学习广泛的通用知识，建立词汇、句法
LoRA微调训练 前提条件 已上传训练代码、训练权重文件和数据集到OBS中，具体参考代码上传至OBS。 Step1 创建训练任务 创建训练作业，并自定义名称、描述等信息。选择自定义算法，启动方式自定义，以及选择上传的镜像。 代码目录选择：OBS桶路径下的llm_train/AscendSpeed代码目录。
如何在ModelArts训练作业中加载部分训练好的参数？ 在训练作业时，需要从预训练的模型中加载部分参数，初始化当前模型。请您通过如下方式加载： 通过如下代码，您可以查看所有的参数。 from moxing.tensorflow.utils.hyper_param_flags import
训练精度测试 流程图 训练精度测试流程图如下图所示： 图1 训练精度测试流程图 执行训练任务 进入test-benchmark目录执行训练命令，可以多次执行，按自己实际情况。 benchmark-cli train <cfgs_yaml_file> <model_name> <run_type>
训练精度测试 流程图 训练精度测试流程图如下图所示： 图1 训练精度测试流程图 执行训练任务 进入test-benchmark目录执行训练命令，可以多次执行，按自己实际情况。 benchmark-cli train <cfgs_yaml_file> <model_name> <run_type>
如何在模型训练时，查看镜像中Python库的版本？ 模型训练时，在训练的代码中增加如下所示的代码行，执行训练即可查看： print(os.system("pip list")) 如果是JupyterLab环境，则在cell中执行如下命令： !pip list 如果是WebIDE环
SFT全参微调训练 前提条件 已上传训练代码、训练权重文件和数据集到OBS中，具体参考代码上传至OBS。 Step1 创建训练任务 创建训练作业，并自定义名称、描述等信息。选择自定义算法，启动方式自定义，以及选择上传的镜像。 代码目录选择：OBS桶路径下的llm_train/AscendSpeed代码目录。
址。需要排查训练代码中是否有设置NCCL_SOCKET_IFNAME环境变量，该环境变量由系统自动注入，训练代码中无需设置。训练代码去除NCCL_SOCKET_IFNAME环境变量设置逻辑后，单击右侧“重建”，重新创建训练作业，提交训练作业后等待作业完成。 等待训练作业是否变成“已完成”状态。
查看训练作业标签 通过给训练作业添加标签，可以标识云资源，便于快速搜索训练作业。 在ModelArts管理控制台的左侧导航栏中选择“模型训练 > 训练作业”。 在训练作业列表中，单击作业名称进入训练作业详情页面。 在训练作业详情页面，单击“标签”页签查看标签信息。 支持添加、修改
GBS 128 表示训练中所有机器一个step所处理的样本量。影响每一次训练迭代的时长。 TP 8 表示张量并行。对应训练参数 tensor-model-parallel-size 。 PP 4 表示流水线并行。一般此值与训练节点数相等，与权重转换时设置的值相等。对应训练参数 pipe
GBS 128 表示训练中所有机器一个step所处理的样本量。影响每一次训练迭代的时长。 TP 8 表示张量并行。对应训练参数 tensor-model-parallel-size 。 PP 4 表示流水线并行。一般此值与训练节点数相等，与权重转换时设置的值相等。对应训练参数 pipe
单击“提交”，在“信息确认”页面，确认训练作业的参数信息，确认无误后单击“确定”。 训练作业创建完成后，后台将自动完成容器镜像下载、代码目录下载、执行启动命令等动作。 训练作业一般需要运行一段时间，根据您的训练业务逻辑和选择的资源不同，训练时长将持续几十分钟到几小时不等。训练作业执行成功后，日志信息如下所示。
yaml相对或绝对路径 <model_name>：训练模型名，如qwen2.5-7b <exp_name>：实验名称：包含训练策略类型及数据序列长度：【lora：4096-lora、full：4096-full】 训练完成后，test-benchmark目录下会生成训练日志及NPU利用率日志及权重文件，如qwen2
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
