自动驾驶云服务 OCTOPUS-华为云

自动驾驶云服务 OCTOPUS-批量仿真调优:并行仿真任务资源利用说明

并行仿真任务资源利用说明当前批量仿真任务同一用户仅允许同时运行一个批量仿真任务。假设有一个4节点的集群，某个任务只有一个场景，那么仿真会创建一个子任务，此时，任务只会被调度到一个节点上，示意图如图2所示。图2 调度节点这样某一台机器工作，其他3台机器资源会空闲，造成资源浪费。因此建议批量仿真时，尽量增大批量仿真的子任务数（与被测场景数量有关），使得集群节点内的所有机器资源被充分利用，减少机器空闲状态。

自动驾驶云服务 OCTOPUS 仿真服务

自动驾驶云服务 OCTOPUS-任务配置:任务配置相关操作

任务配置相关操作在“任务配置”列表，可对仿真任务配置进行以下操作。表3 任务配置相关操作任务操作步骤查看算法详情单击该任务配置所使用的算法名称，即可查看算法详情。无算法接入时页面显示“--”，使用仿真器自带的驾驶员模型控制主车。查看评测详情单击该任务配置所使用的评测名称，即可查看评测详情。查看任务配置详情单击任务配置名称，可查看任务配置详情。图6 任务配置详情查询任务配置可按照＂任务配置ID＂、＂任务配置名称＂、＂算法名称＂、＂评测名称＂、＂任务配置描述＂查询任务配置。删除任务配置单击操作栏“ 删除”，删除该任务配置。删除后不可恢复，请谨慎操作。编辑任务配置单击操作栏“编辑”，以修改任务配置名称和描述信息。

自动驾驶云服务 OCTOPUS 并行仿真

自动驾驶云服务 OCTOPUS-训练算法:在线编辑算法

在线编辑算法平台提供算法编辑器，在创建成功的算法名称后单击“在线编辑”，或单击算法详情页右上角的“算法编辑”，进入该算法的在线编辑页面。如图6 在线编辑算法，界面左侧显示的是该算法包内的所有算法文件，以目录树的形式展示，支持编程语言的渲染，支持MarkDown文件的实时双屏预览。图6 在线编辑算法新增文件夹：选中文件夹并单击，用户将新建一个该文件夹的子文件夹。选中工程文件并单击，将会新建一个新的文件夹，与用户已有的文件夹同级。新增文件：单击，或鼠标放置在文件夹目录上，单击“新增文件”。修改文件：单击，用户可对文件名称进行修改。删除文件：单击，用户可删除文件。文件（夹）名称不能为空，且只能包含数字、英文、中文、点、下划线和中划线。删除后不可恢复，请谨慎操作。配置界面：单击，按照喜好配置界面基本属性，查看快捷键说明。图7 配置删除当前算法文件：单击“删除”，删除当前页面的算法文件。删除后不可恢复，请谨慎操作。保存算法文件：单击“保存”，保存当前算法。算法更新完毕请及时保存。

自动驾驶云服务 OCTOPUS

自动驾驶云服务 OCTOPUS-编译任务:编译任务日志查看下载

编译任务日志查看下载编译任务运行过程中生成日志，编译任务模块提供了日志的查看以及下载功能，支持用户查看编译任务的运行情况。编译任务生成的日志文件有以下四种： compile-{id}.log：用户实际训练任务的训练日志。 compile-{id}-init.log：Octopus平台提供的前置数据的准备日志。 compile-{id}-sidecar.log：Octopus平台提供的任务流程控制日志，包括日志同步、结果上传。 octopus-compile-{id}-supplemental.logs: Octopus平台任务异常退出或停止产生的错误信息输出日志，运行正常时不产生该日志。在该编译任务的详情页面，单击“任务日志”，可查看该编译任务日志详情。支持下载至本地。如果日志较多，用户可在搜索框中输入关键字，查找指定日志内容。如图，在日志服务页面中的日志列表部分详细展示了该编译任务包含的日志文件的大小以及最新写入时间。单击文件后的“查看”，该文件的详细执行过程则在日志详情部分展示。用户也可在日志文件后的“操作”栏中，单击“下载”，即可将该日志文件下载到本地查看。图4 任务日志

自动驾驶云服务 OCTOPUS

自动驾驶云服务 OCTOPUS-编译任务:编译任务相关操作

编译任务相关操作在“编译任务”列表，可对任务进行以下操作。表1 编译任务相关操作任务操作步骤查找任务在搜索输入框中输入搜索条件，按回车键即可查询。查看任务详情单击任务名称，可在任务详情页查看该任务详情、参数详情、编译版本、任务日志和资源在占用情况。任务详情：任务ID、名称、描述、状态、资源类型等信息。参数详情：训练算法参数以及环境参数信息。编译版本：同一个源模型使用不同芯片编译，生成的结果为该模型的不同版本。任务日志：任务运行过程中生成的日志信息，详情请查看编译任务日志查看下载。资源占用情况：显示任务占用的CPU、内存、GPU及显存占用率百分比的折线图，详情请查看资源占用情况。删除任务单击操作栏的“删除”，删除单个任务。勾选多个任务，单击列表上方的“删除”，可批量删除任务。重建任务单击操作栏内的“重建”，输入新任务名称（以“任务组名-自定义名称”的形式）和是否删除原任务选项，同时可重新选择需要修改的参数。停止任务单击该条任务后的“停止”，对停止编译任务。编译任务相关操作与任务所处状态约束关系请见下表：表2 操作与状态约束关系作业状态重建删除停止排队中 - √ √ 提交中 - - - 提交失败 √ √ - 运行中 - - √ 运行异常 √ √ - 已完成 √ √ - 停止中 - - - 停止失败 - √ - 已停止 √ √ - 删除中 - - - 删除失败 - √ -

自动驾驶云服务 OCTOPUS

自动驾驶云服务 OCTOPUS-编译任务:资源占用情况

资源占用情况在任务运行中，资源占用情况模块显示任务占用的CPU、内存百分比的折线图。默认显示CPU占用情况折线图。图5 资源占用情况双击任一图例：显示全部资源占用折线图。单击指定图例：只显示该图例折线图。此模块也可显示多个计算节点运行任务时，资源占用的情况。如果选择2个计算节点运行任务，则可选择查看单个节点资源占用情况。资源占用情况功能模块，需要用户在制作自定义镜像时安装psutil与pynvml，参考命令如下： pip install psutil pynvml 如果未安装psutil与pynvml，则页面无法显示资源使用状况。

自动驾驶云服务 OCTOPUS

自动驾驶云服务 OCTOPUS-内置评测配置:编辑评测指标

编辑评测指标评测类型为内置评测配置时，可为评测添加或删除评测指标，便于管理。单击评测名称，在评测项目详情页，自定义评测配置部分，单击“编辑”。单击“添加评测指标”，选择需要添加的指标，单击“确认”。图3 添加评测指标单击，对阈值进行设置，也可对重要度以及评分方案进行选择。图4 阈值设置重要度：可选主要和次要。评分方案：可选主要次要log函数、主要次要均匀权重、全部均匀权重。具体介绍请查看评测分数计算介绍。删除评测指标。单击评测指标后“操作”栏内“删除”，删除该评测指标。被任务使用的评测项目和镜像不能删除。以上信息选择无误后，单击“保存”，评测指标编辑完成。

自动驾驶云服务 OCTOPUS 评测管理

自动驾驶云服务 OCTOPUS-批次任务列表:批次任务相关操作

批次任务相关操作在“批次任务列表”，还可以进行以下操作。表1 批次任务相关操作任务操作步骤查询批次任务选择“批次任务名称”、“规范”，在搜索输入框中输入搜索条件，按回车键即可查询批次任务。选择“任务名称”，在搜索输入框中输入搜索条件，按回车键即可查询子任务。导出批次任务列表单击页面的“导出”，可按需选择导出项，可将当前页面的所有标注任务导出至本地，以Excel形式查看。导出任务单击操作栏中的“导出数据集”，可创建导出任务。导出单个批次任务单击操作栏中的“导出任务列表”项目名称，可按需选择导出项，导出单个批次任务中拆分的任务。拆分批次任务单击操作栏中的“拆分”，即可对任务做拆分处理。具体步骤参考批次任务列表。查看批次任务日志单击操作栏中的“日志”，即可查看批次任务日志。删除批次任务选择批次任务单击“删除批次任务”，即可删除批次任务。说明：如果批次任务被拆分成子任务，则需要删除子任务后，才可删除批次任务。

自动驾驶云服务 OCTOPUS 批次任务

自动驾驶云服务 OCTOPUS-编译镜像:编译镜像相关操作

编译镜像相关操作在“编译镜像”列表，可对镜像进行以下操作。表1 编译镜像相关操作任务操作步骤查询镜像选择＂编译镜像名称＂，在搜索输入框中输入搜索条件，按回车键即可查询。查看镜像详情单击镜像名称，查看镜像详情。镜像详情：镜像ID、名称、描述、状态、芯片名称、引擎名称、创建时间、更新时间、Boot文件路径等。参数详情：参数列表和环境变量的参数详情。删除镜像单击操作栏的“删除”，删除镜像。编辑镜像单击操作栏的“编辑”，可修改镜像信息。

自动驾驶云服务 OCTOPUS 编译管理

自动驾驶云服务 OCTOPUS-数据回放:回放图层

回放图层在回放图层区域，可以选择不同图层，多层次观看数据回放视频。增加主车规划轨迹和感知目标预测轨迹，可以直观检验规控算法和控制模型的有效性及准确性。对比回放源：可选择不同的回放源，进行对比。摄像头：控制车辆摄像头采集的视频数据显示或隐藏。主车定位：控制主车定位信息显示或隐藏。感知目标：包含选项有感知目标ID、物体、类型、朝向、感知框。控制感知目标显示或隐藏。当选择了对比源之后，感知目标会由不同颜色和不同类型的感知框来展示。信号灯：如果在场景片段中包含了信号灯时，回放片段中支持信号灯的展示，控制信号灯信息显示或隐藏。毫米波雷达：控制毫米波雷达图像显示或隐藏。激光雷达：控制3D点云图像显示或隐藏。轨迹：包含有planning_trajectory、localization和predicted_objects。控制主车规划轨迹、主车的车辆行动轨迹和感知目标预测轨迹显示或隐藏。其中不同感知目标拥有不同的预测路径，一个感知目标可以拥有多条预测路径。高精地图：当视频中含有高精地图map_id时，此选项才会显示。显示“路面”，控制高精地图路面显示或者隐藏。

自动驾驶云服务 OCTOPUS 源数据包

自动驾驶云服务 OCTOPUS-标注工具和快捷键说明:2D3D关联标注

2D3D关联标注 2D3D关联标注复杂，类型多样，故平台开发多种标注工具，辅助标注工作，提高标注人员标注效率。表9 标注工具说明一级图标二级图标名称功能快捷键无选择单击3D框进入选择状态，可对3D框进行三维拖动。无无修改双击3D框进入修改状态，可对3D框的三视图进行调整。无从上至下依次是：标注智能缩框标注标注：在标注类别中选择标注框，进行普通3D框标注。智能缩框标注：可根据框选范围内点云大小智能缩进标注框标注：V 智能缩框标注：B 从上至下依次是：旋转旋转90° 旋转180° 旋转点云图像。长按图标或快捷键点云图像会一直旋转。按照箭头所示方向分别旋转点云图像90度和180度。顺转：1或左键图标逆转：Shift +1或右键图标顺转90°：2或左键图标逆转90°：Shift +2或右键图标旋转180°：3 从上至下依次是：记录位置返回记录位置复位点云角度保持原状通过单击“记录位置”记录当前点云的视角，调整视角后可通过单击‘返回记录位置’，回到记录视角。复位：回到初始点云视角。点云角度保持原状：开启后，双击打开三视图不会改变点云视角。记录位置：R 返回记录位置：Shift+R 复位：O 从上至下依次是：复制上帧对比上帧同步追踪数据显示轨迹线添加轨迹点插值标注复制上帧：将上一帧标注框完全复制到当前帧。第一帧不可用复制上帧功能。对比上帧：标注界面分为两部分，左图是上一帧点云，右图是当前帧点云，可对前后两帧信息进行对比。同步追踪数据：选中标注物后执行该操作可将当前任务中相同ID的所有标注物的大小类型进行覆盖。显示轨迹线：选择3D框，开启此功能后可将当前任务中与此标注物ID相同的框进行轨迹线的连接。添加轨迹点：开启后左键添加轨迹点，右撤销当页轨迹点，并重新规划轨迹线，此ID最后一帧不可操作。插值标注：当需要在第n帧和第n+k帧中标注完同一个追踪对象时，可以自动计算出此对象在中间k-1帧中的标注框。复制上帧：F 从上至下依次为：添加列表添加：选中标注物，添加提示信息后自动进入全局标注物列表。列表：打开列表可对添加的标注物进行应用、删除、保留ID等操作。添加：I 列表：D 无 2D3D互转开关开启后绘制2D、3D框后可转换出对应3D、2D框。无无假想预设各标注物类别的xyz参考值，选中框后单击对应参考值可直接应用。无无高度过滤设置高度限制，该高度以下点云无法被框选标注。无无地面点限制开启后无法对地面点云进行标注。无无删除选中3D框后单击图标或快捷键可删除框。 Delete 无长宽互换可对3D框的xy值进行互换。 T 无补框仅3D联合任务和2D3D关联标注任务点开2D缩略图时会显示此工具，当3D框缺少对应2D框时可使用此工具。 G 无比例尺调整比例。 U 从上至下依次为：全部添加全部删除增加单个删除单个全部添加：为所有3D框添加锚点。全部删除：删除所有3D框的锚点。增加单个：选择单个3D框后增加单个锚点。删除单个：删除单个3D框的锚点。注：可通过Shift+左键单击3D框正上方角点修改锚点位置。全部添加：Z 全部删除：X 增加单个：Shift+Z 删除单个：Shift+X 从上至下依次为：缩略图标注列表隐藏范围线缩略图：开启后隐藏界面下方缩略图。标注列表：开启后隐藏标注列表。隐藏范围线：开启后隐藏范围线。无无无标注物标注物快捷键，最多8个，按照使用频次排序。 Alt+（1~8）无下降/上升前移/后移左移/右移通过单击按钮或快捷键执行平移操作。下降：Q 上升：E 前移：W 后移：S 左移：A 右移：D 无上旋/下旋左旋/右旋无上旋：↑ 下旋：↓ 左旋：← 右旋：→ 无上一张无 Shift+Q 无下一张无 Shift +E 无保存保存当页信息，勾选已标注/审核通过。 Ctrl+S

自动驾驶云服务 OCTOPUS 标注员

自动驾驶云服务 OCTOPUS-标注工具和快捷键说明:2D语义标注

2D语义标注 2D语义标注任务较多，类型多样，复用了大部分2D标注工具，在此基础上增加了以下快捷键促进标注速度。请参考下表。表4 标注快捷键说明快捷键功能空格键多边形闭合。 X 相交多边形共边。 4（非小键盘）进入多边形绘制工具。右键未闭合状态撤销多边形上一点。 Alt+V/alt+鼠标左键删除多边形上某点。 Alt+鼠标左键/鼠标滚轮拖动语义标注的图片。 8（非小键盘）绘制切割线。 M 绘制切割线后切割。 Z 开启交互式分割。 Ctrl+C 复制属性。 Ctrl+V 粘贴属性。 Delete 删除标注对象。 Shift+b 比例尺。 Ctrl+Z 撤回上一步操作。 S 保存本页标注。 T 隐藏标题。 L 隐藏标注。

自动驾驶云服务 OCTOPUS 标注员

自动驾驶云服务 OCTOPUS-标注工具和快捷键说明:3D语义标注

3D语义标注 3D语义标注复杂，类型多样，故平台开发多种标注工具，辅助标注工作，提高标注人员标注效率。表7 标注工具使用说明一级图标二级图标功能快捷键无多边形绘制 Z 无矩形绘制 X 无画笔绘制 C 无画笔调整变大小鼠标滚轮前后滚动无框选绘制框选：V 确认：Enter 取消：空格键无撤回上一步 Ctrl+Z 隐藏范围线缩略图标注列表无记录当前位置回到上次位置复位记录当前位置：R 回到上次位置：Shift+R 点云图复位：O 无显示强度屏 I 旋转旋转90° 旋转180° 顺转：1或左键图标逆转：Shift +1或右键图标顺转90°：2或左键图标逆转90°：Shift +2或右键图标旋转180°：3 无下降/上升前移/后移左移/右移下降：Q 上升：E 前移：W 后移：S 无上旋/下旋左旋/右旋上旋：↑ 下旋：↓ 左旋：← 右旋：→ 无标注物标注物快捷键，最多8个，按照使用频次排序。 Alt+（1~8）无无点云图复位。 O 无无上一张。 Shift+Q 无无下一张。 Shift+E 无无结束绘制状态。 ESC 无无保存当页信息，勾选已标注/审核通过。 Ctrl+S 表8 标注快捷键说明快捷键功能 1 多边形绘制。 2 矩形绘制。 3 画笔绘制。 4 框选绘制。 Ctrl+Z 撤回上一步。空格键取消框选。 Enter 确认框选。 ESC 结束绘制状态。向后滚动鼠标滚轮画笔调整变大。向前滚动鼠标滚轮画笔调整变小。 O 点云图复位。

自动驾驶云服务 OCTOPUS 标注员

自动驾驶云服务 OCTOPUS-标注工具和快捷键说明:2D标注

2D标注 2D标注任务较多，类型多样，故平台开发多种标注工具，辅助标注工作，提高标注人员标注效率。表1 标注工具说明一级图标二级图标名称功能快捷键无选择拖动标注框。 ~ 无修改可修改点的位置、线和框的形状，右键可打开属性。 Escape 从上至下依次为：点实线矩形多边形 2.5D 虚线圆形切割线分别为点、实线、矩形、多边形、2.5D、虚线、圆。标注任务创建完毕，该标注任务所使用的所有标注已添加在任务中。单击标注形状，选择标注类别即可进行标注。点：1 实线：2 矩形：3 多边形：4 2.5D：5 虚线：6 圆：7 切割线：8 从上至下依次为：复制上帧对比上帧复制上帧：将上一帧标注物完全复制到当前帧，适用于当前帧与上一帧标注物位置大致相同。说明：第一帧图片不可用追踪功能。当前帧没有任何标注物。对比上帧：上一帧和当前帧同屏展示，可进行对比前后帧信息。复制上帧：F 从上至下依次为：添加列表在同一标注任务中，会有多张图片中存在相似或一致的待标注对象。此时可利用全局标注工具将标注对象添加到全局标注列表中，只要切换图片应用即可，省去重复标注步骤。添加：为标注物添加提示信息后自动加入到列表。列表：打开全局标注物列表，可对列表中的标注物进行应用、删除、保留ID等操作。添加：I 列表：D 无比例尺开启后鼠标指针带比例尺。一格为5px。 shift+b 无撤回撤销上一步。 Ctrl+z 无复位将图片重置到初始位置、大小。 o 无悬浮开启后可通过鼠标悬停标注物查看额外属性、审核属性及描述。 + 从上至下依次为：隐藏标注隐藏标题隐藏预览图隐藏标注列表网格隐藏标注：开启后隐藏所有标注物。隐藏标题：开启后隐藏所有标注物的标题。隐藏预览图：开启后可隐藏界面下方缩略图。隐藏标注列表：开启后可隐藏界面右侧标注列表。网格：开启后可全图显示网格，每个小方格的边长为5px。隐藏标注：L 隐藏标题：T 从上至下依次为：绘制顺序 ID顺序绘制顺序：可调整透明度，区域重叠时依照后绘制在上覆盖原则。 ID顺序：可调整透明度，图层重叠时按照ID较大的覆盖较小的原则，不支持实时刷新。暂无无上一张无 Ctrl+Q 无下一张无 Ctrl+E 无保存保存当页信息。 S

自动驾驶云服务 OCTOPUS 标注员

自动驾驶云服务 OCTOPUS-算法文件说明:相关参数说明

相关参数说明表1 相关参数说明名称环境变量默认值备注数据集目录 DATASET CCE: /tmp/data/dataset ModelArts: /home/ma-user/datasets 数据集在训练任务中的存放路径，可自行获取各种数据集信息。数据集映射 DATASET_MAP {key1: value1, key2: value2} 以键值对提供数据集名称和容器内路径的变量，其中容器内路径参考数据集目录模型存放目录 RESULT CCE: /tmp/result ModelArts： /home/ma-user/modelarts/result 训练产物的存放路径，产物输出到此路径后，在任务结束时。可在任务详情页的输出模型版本中浏览及执行各种操作。增量训练模型目录 MODEL CCE: /tmp/data/model ModelArts: /home/ma-user/modelarts/user-job-dir/model 待增量模型版本在训练任务中的存放路径，可自行获取模型文件信息。平台如果支持多类型资源池，强烈建议用户使用环境变量适配算法提交任务，可免去更换默认值的环节。以CCE集群多数据集训练为例，数据集分别命名为“dataset-0”，“dataset-1” ，实际路径为/tmp/data/dataset/dataset-0和/tmp/data/dataset/dataset-1 (DATASET环境变量始终保持/tmp/data/dataset不变)。推荐使用环境变量获取以上变量，获取方式为 # 获取数据集总目录 DATASET_DIR = os.getenv("DATASET") # 训练任务最多可使用5个数据集，通过迭代方式获取每个数据集路径 DATASETS_DIR_LIST = [os.path.join(DATASET_DIR), path for path in os.listdir(DATASET_DIR)]

自动驾驶云服务 OCTOPUS 算法管理

云服务器内容精选

自动驾驶云服务 OCTOPUS

7*24

备案

专业服务

退订

建议反馈

售前咨询热线