检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
qwen2.5-7b-sft-4096-lora-313T-20241028_164746-0.txt,打印吞吐值及训练参数 qwen2.5-7b-sft-4096-lora-313T-20241028_164746-npu_info-0.txt,打印训练过程中AICORE利用率
获取训练作业支持的AI预置框架 功能介绍 获取训练作业支持的AI预置框架。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。
如果用户当前不在模型训练服务首页,想要回到首页,请单击界面左上角的“模型训练”,从下拉框中选择“模型训练”。 父主题: 使用模型训练服务快速训练算法模型
具体获取方式如下: 创建训练作业时,“输入”支持配置训练的输入参数名称(一般设置为“data_url”),以及输入数据的存储位置,“输出”支持配置训练的输出参数名称(一般设置为“train_url”),以及输出数据的存储位置。
train_url 否 String 训练作业的输出文件OBS路径URL,默认为空,如:“/usr/train/”。 log_url 否 String 训练作业的日志OBS输出路径URL,默认为空。如:“/usr/log/”。
MODEL_NAME llama2-13b 输入选择训练的模型名称。 RUN_TYPE pretrain 表示训练类型。可选择值:[pretrain, sft, lora]。
MODEL_NAME llama2-13b 输入选择训练的模型名称。 RUN_TYPE pretrain 表示训练类型。可选择值:[pretrain, sft, lora]。
训练作业性能问题 训练作业性能降低 父主题: 训练作业
训练作业性能降低 问题现象 使用ModelArts平台训练算法训练耗时增加。 原因分析 可能存在如下原因: 平台上的代码经过修改优化、训练参数有过变更。 训练的GPU硬件工作出现异常。 处理方法 请您对作业代码进行排查分析,确认是否对训练代码和参数进行过修改。
job_id 是 String 训练作业的id,可通过创建训练作业生成的训练作业对象查询,如"job_instance.job_id",或从查询训练作业列表的响应中获得。
训练tokenizer文件说明 在训练开始前,需要针对模型的tokenizer文件进行修改,不同模型的tokenizer文件修改内容如下,您可在创建的Notebook中对tokenizer文件进行编辑。
train_url 是 String 训练作业的输出文件OBS路径URL,默认为空,如:“/bucket/trainUrl/”。 log_url 否 String 训练作业的日志OBS输出路径URL,默认为空。如:“/usr/train/”。
模型训练 导入SDK 选择数据 特征画像 模型选择 训练模型 测试模型 开发推理 归档模型 父主题: KPI异常检测学件服务
GeneralPretrainHandler解析 GeneralPretrainHandler是处理预训练数据集的一个类,继承自BaseDatasetHandler,实现对alpaca格式预训练数据集的处理。
GeneralPretrainHandler解析 GeneralPretrainHandler是处理预训练数据集的一个类,继承自BaseDatasetHandler,实现对alpaca格式预训练数据集的处理。
各个模型训练前文件替换 在训练开始前,因模型权重文件可能与训练框架不匹配或有优化,因此需要针对模型的tokenizer文件进行修改或替换,不同模型的tokenizer文件修改内容如下。
各个模型训练前文件替换 在训练开始前,因模型权重文件可能与训练框架不匹配或有优化,因此需要针对模型的tokenizer文件进行修改或替换,不同模型的tokenizer文件修改内容如下。
各个模型训练前文件替换 在训练开始前,因模型权重文件可能与训练框架不匹配或有优化,因此需要针对模型的tokenizer文件进行修改或替换,不同模型的tokenizer文件修改内容如下。
模型训练一般需要运行一段时间,等模型训练完成后,“模型训练”页面下方显示训练详情。 查看训练详情 模型训练完成后,可在“模型训练”页面查看“训练详情”,包括“准确率变化情况”和“误差变化”。
输入租户名和密码,单击“登录”,进入NAIE服务官网。 首次登录后请及时修改密码,并定期修改密码。 依次选择“AI服务 > AI服务 > 模型训练服务 > 模型训练服务”,进入模型训练服务介绍页面。 单击“我要购买”,进入服务订购界面。 区域:为用户提供服务的华为云Region。