检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
内置评测配置 创建内置评测配置 在左侧菜单栏中单击“仿真服务 > 评测管理”。 单击“新建评测”,填写基本信息。 图1 新建评测 评测名称:只能包含数字、英文、中文、下划线、中划线,不得超过64个字符。 评测描述:不得包含“@#$%^&*< > \”特殊字符,不得超过255个字符。
管理团队 团队管理员可根据业务需求对团队中的成员进行管理,可为团队新增人员或删除人员,可为团队中成员重新分配职能。单击“标注服务 > 团队用户” ,单击团队名称,可查看该团队内所有成员及职能。 查找成员:在搜索框内输入名字进行查找。 新增人员:单击“新增人员”,根据职能选择人员。
Octopus支持自定义内置评测配置和自定义评测镜像,并根据评测指标或评测镜像对仿真算法开展评测。 本节以创建内置评测配置为例。 创建内置评测配置 在左侧菜单栏中单击“仿真服务 > 评测管理”。 单击“新建评测”,填写基本信息。 图1 新建评测 评测名称:只能包含数字、英文、中文、下划线、中划线,不得超过64个字符。
算法文件说明 用户可将本地算法文件包上传到Octopus平台,算法文件包需要满足一定要求,请详细阅读本节,有助于用户快速完成算法开发。 算法文件基本要求 算法文件目录结构可参考如下,需要包括启动文件“xxx.py”(启动文件名可自定义),以及一些必要的训练文件。 启动文件(必选)
式是从标注任务中抽取一定比例的图片,通过被抽取的图片标注准确率判断该标注任务整体准确率,该标注任务是否通过审核。 在左侧菜单栏中单击“标注服务 > 项目管理”。 选择“标注项目”页签,单击项目名称。 选择“批次任务列表”,单击批次任务前的。 单击子任务操作栏中的“更多 > 审核”,配置审核比例。
逻辑场景库管理 逻辑场景库模块提供逻辑场景库管理功能,支持对逻辑场景库的增删改查功能。 创建逻辑场景库 在左侧菜单栏中单击“仿真服务 > 场景管理”。 选择“逻辑场景库”页签,单击“逻辑场景库分类”后的“新增一级分类”,输入逻辑场景库分类名称,用户将新建一个逻辑场景库分类,目前逻辑场景库分类层级支持四层。
测试套件模块提供测试套件管理功能,支持对测试套件的增删改查功能。自建测试套件将场景格式相同的测试用例,便于用户进行开发。 创建测试套件 在左侧菜单栏中单击“仿真服务 > 场景管理”。 选择“测试套件”页签,单击“测试套件列表”后的“新增套件”。 图1 新增套件 测试套件名称:包含中英文、数字、“_”“-”,不得超过64个字符。
体系,从多维度深层次科学分类场景。仿真场景库可自建仿真场景库,集合相同场景格式的不同条件仿真场景,检验在特定条件下仿真算法控制质量。 仿真服务场景管理分为三大类型: 场景和场景库。 逻辑场景和逻辑场景库。 测试用例和测试套件。 场景和场景库 其中片段式场景仿真是自动驾驶系统测试的
下载任务报告 任务完成后,用户可下载PDF格式的任务报告至本地,便于查看。单击任务名称后“操作”栏的“更多 > 下载PDF”即可。 父主题: 仿真服务快速入门
用例管理 在测试用例的详情页,可以进行以下操作: 查看测试用例详情。 单击用例名称查看该用例详细信息。 图1 测试用例详情 编辑测试脚本。 可根据需要添加测试脚本,在测试用例详情页,单击测试脚本后面的“创建镜像”。 图2 编辑测试脚本 镜像选择:下拉选择镜像。 镜像版本:下拉选择镜像版本。
限速(Speeding)检测 限速检测的目的是判断主车的车速是否超过道路默认限速。 本设计采用最大默认限速120km/h。 该阈值可通过前端进行自定义配置。 父主题: 内置评测指标说明
动态场景 动态场景组成 场景样例(Scenario Examples) 代码样例(Code Examples) 附录(Appendix) 父主题: Open SCENARIO2.0场景说明
碰撞(Collision)检测 碰撞检测的目的是判断主车是否与其它交通参与物发生碰撞。 在进行碰撞检测时,根据与主车碰撞的物体类型的不同对碰撞类型进行细分。 具体分为: 车的车碰撞检测 追尾检测 被追尾检测 正面对碰检测 垂直角度碰撞检测 斜角侧碰检测 车人碰撞检测 自行车碰撞检测
</ConditionGroup> </EndConditions> </Storyboard> </OpenSCENARIO> 父主题: 仿真服务常见问题
3D回放 3D回放页面支持加载本地OSI,OpenDRIVE文件,以便于回放本地场景。 在左侧菜单栏中单击“仿真服务 > 并行仿真”。 在界面的右上角,单击“3D回放”,进入到3D回放界面。 单击界面右上角“加载本地文件”。 图1 加载本地文件 添加需要加载的本地文件,单击“确认”。界面回放本地文件。
关系管理 前提条件 项目的数据类型为“文本”,需要创建关系,并对关系进行管理。 创建关系 在左侧菜单栏中单击“标注服务 > 项目管理”。 选择“标注项目”页签,单击项目名称,进入项目内任务列表。 选择“关系管理”页签,单击“创建”,填写创建信息。 图1 创建关系 名称:自定义关系
评测项配置 用户可选择“内置评测配置”和“自定义评测镜像”,设置评测标准。 内置评测配置:请选择“评测管理”服务中创建成功的内置评测配置。 自定义评测镜像:请选择在“评测管理”服务中创建成功的自定义评测镜像。创建评测镜像请参考创建评测镜像。 测试结果通过标准。可自定义测试结果通过标准的分数。区间为0-100分。
创建项目 项目内包含多个标注任务,在创建项目时需绑定标注团队,指定团队完成项目内的标注任务。 在左侧菜单栏中单击“标注服务 > 项目管理”。 选择“标注项目”页签,单击“创建项目”,参考下表填写项目信息。 图1 创建项目 表1 标注项目参数 参数 说明 项目名称 项目名称不支持自
前提条件 批次任务被拆分为批次子任务。 拆分批次任务 当样本数量庞大时,平台可对批次任务做拆分处理,具体步骤如下: 在左侧菜单栏中单击“标注服务 > 项目管理”。 选择“标注项目”页签,单击项目名称,进入项目内任务列表。 选择“批次任务列表”页签,单击操作栏中的“拆分”。 输入子任
评分方案介绍 Octopus评测指标共有30多项大类指标,当规控算法未通过某些评测指标后,评测分数应能反映算法的性能表现。 本设计根据指标的重要程度将其分为三大类: 主要指标(以下简称A类)。 次要指标(以下简称B类)。 未定义重要度指标(以下简称C类)。 本设计提供如下三种内置的评分方案: