检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
训练算法 平台支持算法创建。用户可通过上传符合平台规范的算法文件来完成算法的创建,创建的算法可用于训练任务中。 添加算法 添加算法流程为“初始化训练算法 > 选择训练算法文件 > 上传训练算法文件”。具体操作步骤如下: 在左侧菜单栏中单击“训练服务 > 算法管理”。
训练算法 添加自定义算法 添加自定义算法流程为“初始化训练算法 > 选择训练算法文件 > 上传训练算法文件”。具体操作步骤如下: 在左侧菜单栏中单击“训练服务 > 算法管理”。 单击“新建训练算法”,填写算法基本信息。
训练服务简介 训练服务模块上承接数据服务和标注服务两大模块,为自动驾驶研发提供方便易用的模型训练和评测平台,让用户无需过多关注底层资源,聚焦算法和模型开发。用户可上传符合Octopus平台规范的训练算法,将成熟的算法创建训练任务生成训练模型。
算法管理 训练算法 算法文件说明 父主题: 训练服务
算法文件说明 用户可将本地算法文件包上传到Octopus平台,算法文件包需要满足一定要求,请详细阅读本节,有助于用户快速完成算法开发。 算法文件基本要求 算法文件目录结构可参考如下,需要包括启动文件“xxx.py”(启动文件名可自定义),以及一些必要的训练文件。
训练服务 训练服务简介 算法管理 训练任务 模型评测 编译管理 推理服务
训练服务 训练算法 模型评测 编译镜像 编译任务 父主题: 自动驾驶云服务全流程开发
八爪鱼训练任务中使用分布式训练时,需在算法中使用平台注入的环境变量用于启动分布式进程通信,可参照如下: 表3 分布式训练算法参数适配环境变量表 名称 说明 示例 VC_WORKER_HOSTS 工作节点HOSTS,当节点大于1时,多个节点由“,”分割,请参考下述使用示例分割出主节点地址
训练任务 训练任务 任务队列 父主题: 训练服务
镜像制作(训练) Octopus平台依赖算子镜像内的/bin/bash、stdbuf、tee软件,请确保基础镜像内包含上述软件且能通过PATH找到。 一般情况下,训练与评测定义为同一个引擎,主要包括算法或评测脚本运行所需要的基本依赖环境。
推理服务 推理服务 任务队列 父主题: 训练服务
如果使用容器命令行方式构建,参考命令为docker commit {container-id} new_image:1.0 本地镜像构建完成后,需要将镜像上传到八爪鱼平台镜像仓库。
模型文件说明(训练) Octopus模型管理模块,支持用户上传模型,并将其用于模型评测、模型编译任务。
任务队列 训练任务在创建之后,可在此查看任务队列,同时支持对任务优先级的调整。 在左侧菜单栏中单击“训练服务 > 训练任务”。 选择“任务队列”页签,可查看任务。 图1 任务队列 训练任务队列相关操作 在“任务队列”页签,还可以进行以下操作。
评测脚本 Octopus平台提供评测脚本管理功能,支持用户创建、删除、编辑、在线编辑、查询评测脚本等功能。 创建评测脚本 添加评测脚本流程为“初始化评测脚本 > 选择评测脚本文件 > 上传评测脚本文件”。具体操作步骤如下: 在左侧菜单栏中单击“训练服务 > 模型评测”。
参数详情:训练算法参数以及环境参数信息。 编译版本:同一个源模型使用不同芯片编译,生成的结果为该模型的不同版本。 任务日志:任务运行过程中生成的日志信息,详情请查看编译任务日志查看下载。
生成的日志文件共有四种形式: evaluate-xx-{id}.log:用户实际评测任务的训练日志。 evaluate-xx-{id}-init.log:Octopus平台提供的前置数据的准备日志。
CCE集群 Octopus平台依赖算子镜像内的/bin/bash、stdbuf、tee软件,请确保基础镜像内包含上述软件且能通过PATH找到。 一般情况下,训练与评测定义为同一个引擎,主要包括算法或评测脚本运行所需要的基本依赖环境。
评测对比 创建评测对比任务 平台支持创建2-4个评测任务结果对比。 在左侧菜单栏中单击“训练服务 > 模型评测”。 选择“评测对比”页签,单击“新建评测对比”,填写基本信息。 图1 新建评测对比 名称:对比任务名称,只能包含数字、英文、中文、下划线、中划线。
具体步骤如下: 在左侧菜单栏中单击“训练服务 > 模型评测”。 选择“评测任务”页签,单击“新建评测任务”,填写基本信息。 图1 新建评测任务 名称:任务组名称,包含中英文、数字、“_”“-”,不得超过32个字符。