检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MODEL_NAME llama2-13b 输入选择训练的模型名称。 RUN_TYPE pretrain 表示训练类型。可选择值:[pretrain, sft, lora]。
MODEL_NAME llama2-13b 输入选择训练的模型名称。 RUN_TYPE pretrain 表示训练类型。可选择值:[pretrain, sft, lora]。
train_instance_type:必选参数,训练实例类型,这里指定'local'即为在notebook中进行训练。 train_instance_count:必选参数,训练使用的worker个数,单机训练时为1,训练作业只在当前使用的notebook中运行。
删除训练作业版本 功能介绍 删除训练作业一个版本。 此接口为异步接口,作业状态请通过查询训练作业列表和查询训练作业版本详情接口获取。
查询训练作业标签 获取训练作业事件列表 创建训练作业镜像保存任务 查询训练作业镜像保存任务 获取训练作业支持的公共规格 获取训练作业支持的AI预置框架
更新训练作业描述 功能介绍 更新训练作业的描述。 URI PUT /v1/{project_id}/training-jobs/{job_id} 参数说明如表1所示。 表1 参数说明 参数 是否必选 参数类型 说明 project_id 是 String 用户项目ID。
启动SD1.5 Finetune训练服务 使用ma-user用户执行如下命令运行训练脚本。 sh diffusers_finetune_train.sh 启动SDXL Finetune训练服务 使用ma-user用户执行如下命令运行训练脚本。
其他AI引擎的日志都包含在普通日志中,无法区分。 训练日志的时效性 从日志产生的时效性上可以分为以下3种情况: 实时日志:训练作业实时运行时产生,在ModelArts训练作业详情页面上可以查看。
job_id 是 String 训练作业的id,可通过创建训练作业生成的训练作业对象查询,如"job_instance.job_id",或从查询训练作业列表的响应中获得。 无成功响应参数。
“输出”数据默认配置为模型输出,代码参数为“train_url”,也支持用户根据1的算法代码自定义输出路径参数。 在创建训练作业时,填写输入路径和输出路径。 训练输入选择对应的OBS路径或者数据集路径,训练输出选择对应的OBS路径。 父主题: Standard模型训练
MODEL_NAME llama2-13b 输入选择训练的模型名称。 RUN_TYPE pretrain 表示训练类型。可选择值:[pretrain, sft, lora]。
MODEL_NAME llama2-13b 输入选择训练的模型名称。 RUN_TYPE pretrain 表示训练类型。可选择值:[pretrain, sft, lora]。
原因:Moxing在进行文件复制时,未找到train_data_obs目录。 处理建议:修改train_data_obs目录为正确地址,重新启动训练作业。 另外在Moxing下载OBS对象过程中,不要删除相应OBS目录下的对象,否则Moxing在下载到被删除的对象时会下载失败。
启动命令: cd ${MA_JOB_DIR}/demo && python main.py -a resnet50 -b 128 --epochs 5 dog_cat_1w/ 此处的“demo”为用户自定义的OBS存放代码路径的最后一级目录,可以根据实际修改。
表1 训练超参配置说明 参数 示例值 参数说明 ORIGINAL_TRAIN_DATA_PATH /home/ma-user/work/training_data/train-00000-of-00001-a09b74b3ef9c3b56.parquet 必须修改。
查询训练作业版本列表 功能介绍 根据作业ID查看指定的训练作业版本。 URI GET /v1/{project_id}/training-jobs/{job_id}/versions 参数说明如表1所示。
training_job_id 是 String 训练作业ID。获取方法请参见查询训练作业列表。 请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述 tags 是 Array of TmsTagForDelete objects 要删除的标签列表。
y_train, epochs=5) model.save(os.path.join(args.train_url, 'model')) 父主题: 准备模型训练代码
训练tokenizer文件说明 在训练开始前,需要针对模型的tokenizer文件进行修改,不同模型的tokenizer文件修改内容如下,您可在创建的Notebook中对tokenizer文件进行编辑。
重建训练作业 当对创建的训练作业不满意时,您可以单击操作列的重建,重新创建训练作业。在重创训练作业页面,会自动填入上一次训练作业设置的参数,您仅需在原来的基础上进行修改即可重新创建训练作业。