-
步骤三:创建评测 - 自动驾驶云服务 Octopus
进行选择; 重要度:可选主要和次要。 评分方案:可选主要次要log函数、主要次要均匀权重、全部均匀权重。 删除评测指标 单击评测指标后“操作”栏内“删除”,删除该评测指标。 被任务使用的评测项目和镜像不能删除。 以上信息选择无误后,单击“保存”,评测指标编辑完成。 父主题: 仿真服务快速入门
-
预标注和预审核模型列表 - 自动驾驶云服务 Octopus
Octopus为用户提供了多种类型的预标注和预审核模型。使用预标注模型,快速进行预标注,能够节省70%的人力成本。使用预审核模型,生成预审核作业,对标注任务进行审核,可快速得到标注任务的质量指标,通过报告展示预审核结果。如何使用预标注和预审核模型,请详见Gitee仓库中的模型说明。 预标注模型 表1 预标注模型列表
-
评测算法的自研proto接口 - 自动驾驶云服务 Octopus
是一个Result类型,与上述大类指标的status的表示相同,该字段用于存储子类指标的三种不同状态结果。 subtype:是一个Subtype的枚举类型,表示该子类指标是哪种Octopus内置的子类指标类型。 其中,对于某些没有子类指标的大类指标来说,其subtype赋值为SUBTYPE_UNSPECIFIED。
-
内置评测配置 - 自动驾驶云服务 Octopus
自定义评测配置:该项目包含内置评测指标等信息,其中碰撞为默认,支持添加和删除评测指标。 编辑评测指标 评测类型为内置评测配置时,可为评测添加或删除评测指标,便于管理。 单击评测名称,在评测项目详情页,自定义评测配置部分,单击“编辑”。 单击“添加评测指标”,选择需要添加的指标,单击“确认”。 图3
-
评测任务 - 自动驾驶云服务 Octopus
评测参数项:根据用户选择的模型类别,动态生成评测所需的参数项,用户可参考前端提示填写。 评测指标项:根据用户选择的模型类别,动态生成的平台支持的内置指标项,用户单击选中对应指标项则可加入到待评测指标中。 单击“创建”,在评测任务页面显示新创建的任务信息。 评测任务相关操作 在“评测任务”列表,可对任务进行以下操作。
-
运维配置 - 自动驾驶云服务 Octopus
运维配置 集群纳管
-
步骤六:查看仿真评测结果 - 自动驾驶云服务 Octopus
任务类型等信息。 图1 任务详情 查看仿真场景的运行结果 仿真任务包含的仿真场景运行成功后,用户可以关注该仿真场景的得分,以及是否通过评测指标的检测。仿真任务得分大于等于60分为及格。 回放场景 场景已运行成功且创建任务时选择录制所有场景,则支持回放场景。仿真场景在操作栏单击“回
-
训练服务简介 - 自动驾驶云服务 Octopus
聚焦算法和模型开发。用户可上传符合Octopus平台规范的训练算法,将成熟的算法创建训练任务生成训练模型。此外,训练服务提供多种模型评测指标,从多维度衡量模型质量。让自动驾驶研发更便捷。训练服务的开发流程如下: 图1 训练服务的开发流程 训练服务操作引导如下: 算法管理:负责管理用户上传的符合平台规范的算法。
-
仿真评测结果 - 自动驾驶云服务 Octopus
任务详情包含任务名称、任务使用的仿真算法、任务类型等信息。 查看仿真场景的运行结果。 仿真任务包含的仿真场景运行成功后,用户可以关注该仿真场景的得分,以及是否通过评测指标的检测。仿真任务得分大于等于60分为及格。 回放场景。 场景已运行成功且创建任务时选择录制所有场景,则支持回放场景。仿真场景在操作栏单击“
-
创建评测任务 - 自动驾驶云服务 Octopus
评测参数项:根据用户选择的模型类别,动态生成评测所需的参数项,用户可参考前端提示填写。 评测指标项:根据用户选择的模型类别,动态生成的平台支持的内置指标项,用户单击选中对应指标项则可加入到待评测指标中。 单击“创建”,在评测任务页面显示新创建的任务信息。 父主题: 模型评测
-
模型推理文件 - 自动驾驶云服务 Octopus
模型推理文件 如果用户需要使用内置评测指标集,需要按照以下规范提供模型推理的启动脚本,具体参考下面文件实例。如果不使用内置评测模板,可跳过此节。 仅当使用内置评测模板时需要按此要求配置模型推理文件。如果使用自定义评测脚本评测时,仅需提供模型即可,具体目录结构由用户自行决定。 模型推理启动文件实例
-
预审核操作指导 - 自动驾驶云服务 Octopus
预审核操作指导 预审核的方式是使用审核模型,生成预审核作业,对标注任务进行审核,可快速得到标注任务的质量指标,通过报告展示预审核结果。 在左侧菜单栏中单击“标注服务 > 项目管理”。 选择“标注项目”页签,单击项目名称。 选择“批次任务列表”,单击批次任务ID前的+。 单击子任务操作栏中的“更多
-
信号查看器 - 自动驾驶云服务 Octopus
信号查看器 评测任务运行过程中,将一些衡量自动驾驶质量的关键指标,如速度、加速度等数据在仿真场景中变化量绘制成图表,便于用户直观考量规控算法的控制质量。用户也可将业务所需关注的数据集合成新的图表,对比查看。 查看器一次只支持载入5个任务场景,页面最多支持5个框图展示,一个框图最多支持10条信息选择,。
-
模型文件基本要求 - 自动驾驶云服务 Octopus
模型文件基本要求 模型文件通常包括模型图和模型权重文件,具体内容视用户算法决定,无其他要求。如果需要使用内置指标计算,则需满足以下条件: 自定义模型包中必须包含推理启动文件以及自定义模型文件,其中推理启动文件需要根据Octopus数据格式对推理结果存储为json进行适配,除此之外
-
评测对比 - 自动驾驶云服务 Octopus
"Truck": 0.9}, 0.85], } 键值对,键表示指标名称,值为字典或列表。当值为列表时,第一项为各类别对应的该指标评测结果字典,第二项为所有类别的指标均值。当值为字典时,仅包含上述第一项。 折线图类指标结果 { "pr_curve": { "Car": [
-
仿真任务详情 - 自动驾驶云服务 Octopus
子任务的评测项 查看评测指标的子指标的异常分布。异常分布类型分为:POINT_TYPE_POINT、POINT_TYPE_REGION、POINT_TYPE_ALL、POINT_TYPE_NORMAL,详情请参考内置评测指标说明。 左侧显示子指标是否成功,右侧蓝色时间轴显示指标异常的时间段,
-
评测管理 - 自动驾驶云服务 Octopus
评测管理 Octopus支持内置评测配置和自定义评测镜像,并根据评测指标或评测镜像对仿真任务中的算法展开评测。 图1 评测管理流程图 内置评测配置 自定义评测镜像 评测列表 内置评测指标说明 评测分数计算介绍 实时评测和延时评测介绍 父主题: 仿真服务
-
自动驾驶云服务 Octopus - 自动驾驶云服务 Octopus
2D图像生成:用户可自定义生成图像的参数,快速生成满足客户需求的2D图像。 2D预标注:支持选择本地图片快速进行标注任务。 服务监控:用户可方便地查看场景识别、2D图像生成、2D预标注的监控数据。 智驾模型管理:智驾模型管理列表中展示服务内置的初始模型和用户进行模型微调后的迭代模型。支持将微调后的迭
-
模型文件说明(训练) - 自动驾驶云服务 Octopus
果需要将模型用于内置评测模板评测,除模型文件外,需另外包含推理启动文件: customer_inference.py 仅当需要使用内置评测指标计算时需要添加推理启动文件,文件名称可自定义,将该文件置于模型目录下。具体要求请参见模型推理文件。 为了显示以上文件的使用流程,可参考如下图示:
-
并行仿真 - 自动驾驶云服务 Octopus
仿真评测体系,从行车安全、驾驶行为、乘员舒适性等多维度测评在多种条件下的仿真场景中控制算法控制质量。在仿真任务模块,可将仿真任务运行中关键指标变化绘制成图表,直观形象,也可在仿真任务结束后评测报告可下载至本地查看。 任务配置 仿真任务 3D回放 排队任务管理 信号查看器 场景回放