检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
训练服务简介 训练服务模块上承接数据服务和标注服务两大模块,为自动驾驶研发提供方便易用的模型训练和评测平台,让用户无需过多关注底层资源,聚焦算法和模型开发。用户可上传符合Octopus平台规范的训练算法,使用成熟的算法创建训练任务生成训练模型。此外,训练服务提供多种模型评测指标,从多维
算法文件说明 上传到Octopus平台的本地算法文件包需要满足Octopus平台要求,本章节介绍算法文件基本要求及相关环境变量说明。 算法文件基本要求 算法文件目录结构可参考如下,需要包括启动文件“xxx.py”(启动文件名可自定义),以及一些必要的训练文件。 启动文件(必选) 算法的启动文件,直接填写相对路径,如
资源占用情况 在任务运行中,资源占用情况模块显示任务占用的CPU、内存百分比的折线图。默认显示CPU占用情况折线图。 双击任一图例:显示全部资源占用折线图。 单击指定图例:只显示该图例折线图。 此模块也可显示多个计算节点运行任务时,资源占用的情况。 如果选择2个计算节点运行任务,则可选择查看单个节点资源占用情况。
创建数据集 平台支持用户创建数据集,通过数据提取将原始数据提取合并,进行数据预览。根据数据来源不同,创建的方式不同。 数据集来源分类 数据集来源分如下类型: 本地:直接从本地计算机上传数据集。 需提前准备文件保存至本地,且需满足如下条件: 仅支持上传扩展名为png、jpg、jpe
原始数据采集完毕之后,需要将原始数据转换为Octopus平台适用的数据格式,以便于快速完成数据处理。 创建数据导入任务 在左侧菜单栏中,选择“数据处理 > 数据批导”。 在“数据导入”页签单击“导入”,填写具体信息。 选择目标数据包所在的对象存储路径,平台将自动扫描该目录下所有子目录。将此文件夹
标定文件必须上传到对应类型标定项,如激光雷达标定文件,只能上传到激光雷达标定项,平台会对文件标定类型和关键参数进行校验。 检查是否重名 标定文件可以重名,但上传到平台的标定项名称不可重名。 检查文件内容 平台会对每种类型标定文件中的关键参数进行检查,确保类型匹配、标定文件内容完整。 父主题:
作业队列 平台为脱敏作业提供作业队列的功能,用户可在此查看任务队列,同时支持对任务优先级的调整。 其他租户的队列作业不允许操作。 在左侧菜单栏中单击“数据合规”。 选择“数据脱敏 > 作业队列”页签,可查看作业。 父主题: 数据脱敏
务。 操作流程 Octopus仿真服务的流程如图1所示。 图1 Octopus仿真服务全流程 表1 使用流程说明 流程 子任务 说明 详细指导 镜像仓库 镜像仓库 平台为用户提供了自定义镜像功能,为了方便用户对镜像进行统一管理,平台设置了镜像仓库管理。 创建镜像仓库 仿真服务 算法管理
导入任务创建完毕后,平台对数据包进行扫描,此模块展示导入成功的数据包。 数据包列表 在左侧菜单栏中,选择“数据资产 > 源数据包”。 在“数据包”页签,默认显示数据包列表。 单击列表右上角,可切换至图片视图。 表1 图表视图相关操作 任务 操作步骤 切换视图 单击列表右上角,数据包可以由列表和图片两种视图相互切换。
查看集群纳管 运维配置提供集群纳管,由平台管理员账号进行管理和配置。集群提供多种节点的混合部署,基于高性能网络模型提供全方位、多场景、安全稳定的容器运行环境,平台可以将集群统一纳管,更方便查看节点资源使用量和修改节点用途,以及设置资源规格。其中,cce-user-job集群需强制
标签管理 标签管理中的标签分为平台内置标签和用户自定义标签。 平台内置标签详情请查看表1 内置标签列表。用户还可根据实际需求,自定义设置需要的标签。 当前支持两种方式添加标签:手动在线创建和导入标签。 表1 内置标签列表 场景分类 子类 标签 道路 道路环境 高速 城市快速路 城市主干道
├─图片1.jpg #已标注图片 ├─labels.json #图片1的所有标注信息 ├─子文件夹2 ├─图片2.jpg #已标注图片
评测对比 创建评测对比任务 平台支持创建2-4个评测任务结果对比。 在左侧菜单栏中单击“训练服务 > 模型评测”。 选择“评测对比”页签,单击“新建评测对比”,填写基本信息。 名称:对比任务名称,只能包含数字、英文、中文、下划线、中划线。 描述:简要描述任务,不包含“@^\#$%
实时评测和延时评测介绍 实时评测 图1 实时评测 实时评测的基本架构如上图所示,实时评测算法从仿真器和AD算法按帧接收数据,每接收一帧数据,就调用一次评测函数,在最后仿真结束时将评测结果写成评测pb文件。 实时评测的实现包括如下几个步骤: 代码内实现与仿真器的通信,实时接收仿真器
作业队列 平台为回放仿真任务提供作业队列的功能,用户可在此查看任务队列,同时支持对任务优先级的调整。 其他租户的队列作业不允许操作。 在左侧菜单栏中单击“数据处理 > 回放仿真”。 选择“作业队列”页签,查看作业。 回放仿真作业队列相关操作 在“作业队列”页签,还可以进行以下操作。
作业队列 平台为算子作业、内部作业和脱敏作业提供作业队列的功能,用户可在此查看任务队列,同时支持对任务优先级的调整。 其他租户的队列作业不允许操作。 在左侧菜单栏中单击“数据服务 > 数据处理”。 选择“作业队列”页签,可根据作业类型(算子作业或内部作业)查看作业。 数据处理作业队列相关操作
├─帧目录名称1.json #该标注图片的所有标注信息 ├─帧目录名称2 ├─图片名称2.jpg #对应的已标注图片 ├─帧目录名称2.json #该标注图片的所有标注信息
数据类型:根据模板包含的样本类型选择图片、3D点云、音频或文本。 标注:从下拉框中选择符合用户业务所需的标注物。用户可自定义添加标注物以满足业务所需。 预标注 标注类型:预标注,该标注模板用于预标注任务。 数据类型:根据模板包含的样本类型选择图片、3D点云、音频或文本。 模型来源:根据模型的来源来选择。
仿真器回放 当场景已运行成功且创建任务时选择录制所有场景时,仿真任务支持回放场景。 Octopus平台需要有可以正常使用的仿真器。 仿真器回放页面可自动播放车辆的行动场景。 具体仿真器操作请参考仿真器。 父主题: 场景回放
Octopus平台的并行仿真模块分为任务配置和仿真任务两部分。用户在任务配置模块,可使用自研仿真算法,根据Octopus自研仿真评测体系,从行车安全、驾驶行为、乘员舒适性等多维度测评在多种条件下的仿真场景中控制算法控制质量。在仿真任务模块,可将仿真任务运行中关键指标变化绘制成图表,直观形象。