模型训练 模型训练新建模型训练工程的时候,选择通用算法有什么作用? 使用训练模型进行在线推理的推理入口函数在哪里编辑? 通过数据集导入数据后,在开发代码中如何获取这些数据? 如何在模型训练时,查看镜像中Python库的版本? 如何在模型训练时,设置日志级别?
如何回到模型训练服务首页? 用户离开模型训练服务首页,如果需要回到首页,请单击界面左上角的“模型训练”,从下拉框中选择“模型训练”。 父主题: 模型训练服务首页
单击“登录”,进入NAIE服务官网。 依次选择“AI服务 > AI服务 > 模型训练服务 > 模型训练服务”,进入模型训练服务介绍页面。 单击“进入服务”,进入模型训练服务页面。 父主题: 准备工作
其他AI引擎的日志都包含在普通日志中,无法区分。 训练日志的时效性 从日志产生的时效性上可以分为以下3种情况: 实时日志:训练作业实时运行时产生,在ModelArts训练作业详情页面上可以查看。
模型训练一般需要运行一段时间,等模型训练完成后,“开发应用>模型训练”页面下方显示查看训练详情。 查看训练详情 模型训练完成后,可在“模型训练”页面查看“训练详情”,包括“准确率变化情况”和“误差变化”。
表1 必须修改的训练超参配置 参数 示例值 参数说明 ORIGINAL_TRAIN_DATA_PATH /home/ma-user/work/training_data/train-00000-of-00001-a09b74b3ef9c3b56.parquet 必须修改。
Tensorboard 在模型训练工程代码编辑界面控制台的Tensorboard页签中创建Tensorboard 新建模型训练工程,创建训练任务后,在任务详情的Tensorboard页签中创建Tensorboard 配置训练任务时,AI引擎选择PyTorch后可以创建TensorBoard
操作流程 模型训练服务操作流程如操作流程图所示。 图1 操作流程图 父主题: 使用模型训练服务快速训练算法模型
模型训练一般需要运行一段时间,等模型训练完成后,“开发应用>模型训练”页面下方显示查看训练详情。 查看训练详情 模型训练完成后,可在“模型训练”页面查看“训练详情”,包括“准确率变化情况”和“误差变化”。
从下拉框中选择“train”,即4中的“数据引用变量名”。 类型 训练的模型类型。
MODEL_NAME llama2-13b 输入选择训练的模型名称。 RUN_TYPE pretrain 表示训练类型。可选择值:[pretrain, sft, lora]。
MODEL_NAME llama2-13b 输入选择训练的模型名称。 RUN_TYPE pretrain 表示训练类型。可选择值:[pretrain, sft, lora]。
“输出”数据默认配置为模型输出,代码参数为“train_url”,也支持用户根据1的算法代码自定义输出路径参数。 在创建训练作业时,填写输入路径和输出路径。 训练输入选择对应的OBS路径或者数据集路径,训练输出选择对应的OBS路径。 父主题: Standard模型训练
模型训练一般需要运行一段时间,等模型训练完成后,“开发应用>模型训练”页面下方显示查看训练详情。 查看训练详情 模型训练完成后,可在“模型训练”页面查看“训练详情”,包括“准确率变化情况”和“损失变化”。
训练模型 图1 模型训练 在“模型训练”页面配置训练参数,开始训练模型。 在“参数配置”填写“学习率”、“训练轮次”和“分批训练样本数”。 “学习率”用来控制模型的学习速度,范围为(0,1]。 “训练轮次”指模型训练中遍历数据集的次数。
生成excel表格:${model_name}_train_accuracy_benchmark_<版本号>_<时间戳>.xlsx,${model_name}为所选框架名称。
Tensorflow训练 Kubeflow部署成功后,使用ps-worker的模式来进行Tensorflow训练就变得非常容易。本节介绍一个Kubeflow官方的Tensorflow训练范例,您可参考TensorFlow Training (TFJob)获取更详细的信息。
父主题: 人工智能
表1 训练超参配置说明 参数 示例值 参数说明 ORIGINAL_TRAIN_DATA_PATH /home/ma-user/work/training_data/train-00000-of-00001-a09b74b3ef9c3b56.parquet 必须修改。
MODEL_NAME llama2-13b 输入选择训练的模型名称。 RUN_TYPE pretrain 表示训练类型。可选择值:[pretrain, sft, lora]。
您即将访问非华为云网站,请注意账号财产安全