检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
job_name:可选参数,训练任务名,便于区分和记忆。 本地单机调试训练任务开始后,SDK会依次帮助用户完成以下流程: 初始化训练作业,如果2指定的训练数据在OBS上,这里会将数据下载到local_path中。 执行训练任务,用户的训练代码需要将训练输出保存在4中指定的local_path中。
GBS 128 表示训练中所有机器一个step所处理的样本量。影响每一次训练迭代的时长。 TP 8 表示张量并行。 PP 8 表示流水线并行。一般此值与训练节点数相等,与权重转换时设置的值相等。 LR 2.5e-5 学习率设置。 MIN_LR 2.5e-6 最小学习率设置。 SEQ_LEN
运营面板 数据总览 对话分析 父主题: 智能问答机器人
删除训练作业版本 功能介绍 删除训练作业一个版本。 此接口为异步接口,作业状态请通过查询训练作业列表和查询训练作业版本详情接口获取。 URI DELETE /v1/{project_id}/training-jobs/{job_id}/versions/{version_id} 参数说明如表1所示。
如果需要了解特征工程操作详情,可查看模型训练服务《用户指南》中的“特征工程”章节内容。 无故障硬盘训练数据集特征处理 单击菜单栏中的“特征工程”,进入特征工程首页,如图1所示。 在当前界面,可以看到如下两个特征工程: HardDisk-Detect_Good:好盘特征工程,用于对好盘训练数据或测试数据,
执行训练任务(推荐) 步骤一 上传训练权重文件和数据集 如果在准备代码和数据阶段已经上传权重文件和数据集到容器中,可以忽略此步骤。 如果未上传训练权重文件和数据集到容器中,具体参考上传代码和权重文件到工作环境和上传数据到指定目录章节完成。训练脚本中会自动执行训练前的权重转换操作和数据处理操作。
GS_OPT_MODEL GS_OPT_MODEL是启用AiEngine执行计划时间预测功能时的数据表,记录机器学习模型的配置、训练结果、功能、对应系统函数、训练历史等相关信息。 分布式场景下提供此系统表,但AI能力不可用。 父主题: AI
是否必须购买OBS才能使用对话机器人服务 智能问答机器人不依赖于OBS。 父主题: 智能问答机器人
操作步骤 选择“配置中心>机器人管理>流程配置”,进入流程配置界面。 将用于测试的号码添加到跟踪白名单中。 选择“系统管理 > 系统设置”。单击“跟踪设置”页签。 单击“主叫号码跟踪”,添加主叫号码,如下所示,单击“保存”。 您也可以单击“机器人跟踪”页签,根据机器人接入码对流程进行追踪定位。
打包训练模型 系统支持将训练好的模型归档以及打包成模型包。用户可以基于模型包创建验证服务、训练服务。模型验证服务详情可以在模型验证查看。模型训练服务详情可以在创建训练服务查看。 模型包主要包括模型验证服务的推理主入口函数、算法工程操作流、模型文件等。已发布的模型可以在模型管理查看。
训练参数配置说明【旧】 如果用户希望自定义参数进行训练,可直接编辑对应模型的训练脚本,请根据实际模型修改。 表1 模型训练脚本参数 参数 示例值 参数说明 ORIGINAL_TRAIN_DATA_PATH 【预训练:pt】预训练数据集相对或绝对地址 【微调:sft】微调数据集相对或绝对地址
训练参数配置说明【旧】 如果用户希望自定义参数进行训练,可直接编辑对应模型的训练脚本,请根据实际模型修改。 表1 模型训练脚本参数 参数 示例值 参数说明 ORIGINAL_TRAIN_DATA_PATH 【预训练:pt】预训练数据集相对或绝对地址 【微调:sft】微调数据集相对或绝对地址
离线训练安装包准备说明 申请的模型软件包一般依赖连通网络的环境。若用户的机器或资源池无法连通网络,并无法git clone下载代码、安装python依赖包的情况下,用户则需要找到已联网的机器(本章节以Linux系统机器为例)提前下载资源,以实现离线安装。用户可遵循以下步骤操作。 步骤一:资源下载
在标签管理页面设置标签后,在知识库中添加知识时,可以在下拉菜单选择相应的标签。 高级版、专业版、旗舰版机器人支持标签管理功能。 创建标签 在机器人列表,单击机器人的ID或者“机器人管理”按钮,进入“全局配置 > 标签管理”页面。 在“标签管理”页面,单击“创建标签”。 在创建标签弹窗中输入标签名称,单击“确定”。
更新训练作业描述 功能介绍 更新训练作业的描述。 URI PUT /v1/{project_id}/training-jobs/{job_id} 参数说明如表1所示。 表1 参数说明 参数 是否必选 参数类型 说明 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。
什么是模型训练服务 模型训练服务为开发者提供电信领域一站式模型开发服务,涵盖数据预处理、特征提取、模型训练、模型验证、推理执行和重训练全流程。服务提供开发环境和模拟验证环境及ICT网络领域AI资产,包括项目模板、算法、特征分析及处理SDK,帮助开发者提速AI应用开发,保障模型应用效果。
加可靠,可以适当增大学习率。 以下对resnet18在cifar10数据集上的分类任务,给出了单机训练和分布式训练改造(DDP)的代码。直接执行代码为多节点分布式训练且支持CPU分布式和GPU分布式,将代码中的分布式改造点注释掉后即可进行单节点单卡训练。 训练代码中包含三部分入参
划分,主推荐使用场景为: 一个租间下请最多配置一个主流程,当配置机器人中未为接入码关联流程时,直接接入该主流程。 其他场景下都可以使用子流程。 流程中各节点的含义和使用方法请参见图元。 操作步骤 选择“配置中心>机器人管理>流程配置”,进入流程配置界面。 选择“流程管理 > 流程编排”,单击“添加”。
准备模型训练镜像 ModelArts平台提供了Tensorflow,PyTorch,MindSpore等常用深度学习任务的基础镜像,镜像里已经安装好运行任务所需软件。当基础镜像里的软件无法满足您的程序运行需求时,您还可以基于这些基础镜像制作一个新的镜像并进行训练。 训练作业的预置框架介绍
点击关闭窗口 图8 关闭窗口1 图9 关闭窗口2 回到主页,修改状态为在线 图10 回到主页 到管理中心查看;可查看到已经连接显示在线状态,并且自动使用上已经添加的独立许可证 图11 查看 执行器安装完成。 父主题: 网银机器人部署