检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
sh diffusers_lora_train.sh 启动SDXL LoRA训练服务 使用ma-user用户执行如下命令运行训练脚本。 sh diffusers_sdxl_lora_train.sh 训练执行成功如下图所示。
图13 创建训练作业 创建完成后单击作业名称可查看训练详情,页面上方显示训练作业的信息 ,下方显示训练过程及运行指标等。单击右上角的“刷新”按钮可刷新训练状态,单击“开始训练”按钮可开启训练,再次单击可停止训练。
模型训练新建模型训练工程的时候,选择通用算法有什么作用? 通用算法目前包括:分类算法、拟合算法、聚类算法、其他类型。用户选择不同的通用算法类型,并勾选“创建入门模型训练代码”,便可以自动生成对应类型的代码模版。 父主题: 模型训练
输入租户名和密码,单击“登录”,进入NAIE服务官网。 首次登录后请及时修改密码,并定期修改密码。 依次选择“AI服务 > AI服务 > 模型训练服务 > 模型训练服务”,进入模型训练服务介绍页面。 单击“我要购买”,进入服务订购界面。 区域:为用户提供服务的华为云Region。
打包训练模型 系统支持将训练好的模型归档以及打包成模型包。用户可以基于模型包创建验证服务、训练服务。模型验证服务详情可以在模型验证查看。模型训练服务详情可以在创建训练服务查看。 模型包主要包括模型验证服务的推理主入口函数、算法工程操作流、模型文件等。
表1 必须修改的训练超参配置 参数 示例值 参数说明 ORIGINAL_TRAIN_DATA_PATH /home/ma-user/work/training_data/train-00000-of-00001-a09b74b3ef9c3b56.parquet 必须修改。
最小值:1 pool_id String 训练作业选择的资源池ID。 flavor_detail flavor_detail object 训练作业、算法的规格信息。 表43 flavor_detail 参数 参数类型 描述 flavor_type String 资源规格的类型。
“输出”数据默认配置为模型输出,代码参数为“train_url”,也支持用户根据1的算法代码自定义输出路径参数。 在创建训练作业时,填写输入路径和输出路径。 训练输入选择对应的OBS路径或者数据集路径,训练输出选择对应的OBS路径。 父主题: 训练过程读取数据
表2 get_job_log请求参数说明 参数 是否必选 参数类型 描述 task_id 否 String 要查看哪个工作节点的日志,默认值为"worker-0";如果在创建训练作业时参数train_instance_count选择了2,则可选值为"worker-0","worker
具体获取方式如下: 创建训练作业时,“输入”支持配置训练的输入参数名称(一般设置为“data_url”),以及输入数据的存储位置,“输出”支持配置训练的输出参数名称(一般设置为“train_url”),以及输出数据的存储位置。
MODEL_NAME llama2-13b 输入选择训练的模型名称。 RUN_TYPE pretrain 表示训练类型。可选择值:[pretrain, sft, lora]。
MODEL_NAME llama2-13b 输入选择训练的模型名称。 RUN_TYPE pretrain 表示训练类型。可选择值:[pretrain, sft, lora]。
train_url 否 String 训练作业的输出文件OBS路径URL,默认为空,如:“/usr/train/”。 log_url 否 String 训练作业的日志OBS输出路径URL,默认为空。如:“/usr/log/”。
训练 上传数据至OBS并预热到SFS Turbo中 创建训练任务 父主题: 实施步骤
训练作业性能降低 问题现象 使用ModelArts平台训练算法训练耗时增加。 原因分析 可能存在如下原因: 平台上的代码经过修改优化、训练参数有过变更。 训练的GPU硬件工作出现异常。 处理方法 请您对作业代码进行排查分析,确认是否对训练代码和参数进行过修改。
模型训练一般需要运行一段时间,等模型训练完成后,“模型训练”页面下方显示训练详情。 查看训练详情 模型训练完成后,可在“模型训练”页面查看“训练详情”,包括“准确率变化情况”和“误差变化”。
训练模型 针对已标注完成的训练数据,开始训练模型,您可以查看训练的模型准确率和误差变化。 前提条件 已在“工业智能体控制台>工业AI开发>工业AI开发工作流”选择“通用图像分类工作流”新建应用,并已执行完“数据选择”步骤,详情请见选择数据。
主界面和功能模块介绍 海之晨工业质检人工智能平台主界面,包括【任务管理】【数据集管理】【训练管理】【模型管理】【在线部署】【用户管理】【系统管理】【意见反馈】八大功能,涵盖物体分类、物体检测两个应用场景,后续推出物体定位、物体分割、字符识别、装配检查等应用场景。
模型训练一般需要运行一段时间,等模型训练完成后,“模型训练”页面下方显示查看训练详情。 图1 训练模型 查看训练详情 模型训练完成后,可在“模型训练”页面查看“训练详情”,包括“准确率变化情况”和“误差变化”。
查询训练作业标签 获取训练作业事件列表 创建训练作业镜像保存任务 查询训练作业镜像保存任务 获取训练作业支持的公共规格 获取训练作业支持的AI预置框架