检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
操作步骤 查找对比任务 在搜索输入框中输入搜索条件,按回车键即可查询。 查看对比任务详情 单击对比任务名称,可在对比任务详情页查看该评测对比详情、报告对比、任务日志。 评测对比详情:任务ID、名称、描述、状态等信息。 文本对比:单击“文本对比”,查看或下载评测对比任务对比文本。 报告对
评测算法的自研proto接口 背景 Octopus内置一套评测算法,用于对自动驾驶系统的性能表现进行多维度评测。内置评测算法的评测结果按照eva.proto中的定义,序列化成pb文件保存起来。 Octopus仿真平台的前端通过解析评测pb对评测结果进行展示,目前控制台展示主要分为两大方面:
HTTPS请求调用,调用方法请参见如何调用API。 调用API时,需要用户网络可以访问公网。 同时Octopus自动驾驶云服务还提供多种编程语言的SDK供您使用,SDK的使用方法请参见SDK概述。 父主题: 使用前必读
您可以在GitHub仓库查看SDK更新历史、获取安装包以及查看指导文档。 表1 SDK列表 编程语言 Github地址 参考文档 Java huaweicloud-sdk-java-v3 Java SDK使用指导 Python huaweicloud-sdk-python-v3
作栏单击“回放”,选择进行3D回放或一台空闲状态的机器进行在线仿真回放。 历史结果对比:平台支持多个历史结果进行对比,进入仿真配置详情页,单击操作栏中的“更多 > 历史结果对比”,选择任务查看对比结果。 算法日志下载。 用户可将仿真任务的日志下载至本地查看。 自定义算法支持下载日志,内置算法不支持日志下载。
作栏单击“回放”,选择进行3D回放或一台空闲状态的机器进行在线仿真回放。 历史结果对比:平台支持多个历史结果进行对比,进入仿真配置详情页,单击操作栏中的“更多 > 历史结果对比”,选择任务查看对比结果。 算法日志下载。 用户可将仿真任务的日志下载至本地查看。 自定义算法支持下载日志,内置算法不支持日志下载。
评分方案介绍 Octopus评测指标共有30多项大类指标,当规控算法未通过某些评测指标后,评测分数应能反映算法的性能表现。 本设计根据指标的重要程度将其分为三大类: 主要指标(以下简称A类)。 次要指标(以下简称B类)。 未定义重要度指标(以下简称C类)。 本设计提供如下三种内置的评分方案:
原始数据。 数据处理:支持根据自定义数据服务算子,对数据包进行处理,创建不同类型的作业。 回放仿真:通过回放仿真算子生成回放仿真作业,支持对比回放功能。 数据批导 Octopus平台通过对象存储导入数据,用户需先将数据包上传至对象存储桶(可自定义)中,再导入到Octopus平台。
模型评测 评测脚本 评测任务 评测对比 模型数据集支持 父主题: 训练服务
原始数据。 数据处理:支持根据自定义数据服务算子,对数据包进行处理,创建不同类型的作业。 回放仿真:通过回放仿真算子生成回放仿真作业,支持对比回放功能。 父主题: 数据处理
键指标,如速度、加速度等数据在仿真场景中变化量绘制成图表,便于用户直观考量规控算法的控制质量。用户也可将业务所需关注的数据集合成新的图表,对比查看。 查看器一次只支持载入5个任务场景,页面最多支持5个框图展示,一个框图最多支持10条信息选择。 在左侧菜单栏中单击“仿真服务 > 并行仿真”。
平台提供脚本编辑器,可在线编辑评测文件。单击评测脚本名称后"在线编辑",进入该脚本的在线编辑页面。界面左侧显示的是该评测文件包内的所有文件,以目录树的形式展示,支持编程语言的渲染,支持MarkDown文件的实时双屏预览。 新增文件夹:选中文件夹并单击,用户将新建一个该文件夹的子文件夹。选中工程文件并单击,将
持回放场景。仿真场景在操作栏单击“回放”,选择进行3D回放进行在线仿真回放,具体操作参考场景回放。 历史结果对比:平台支持多个历史结果进行对比,具体操作请参考历史结果对比。 算法日志下载:用户可将仿真任务的日志下载至本地查看。 自定义算法支持下载日志,内置算法不支持日志下载。 评
删除泛化任务。 单击操作栏中的“删除”,可删除泛化任务。 关联仿真任务对比。 单击泛化任务名称后操作栏内的“关联仿真任务对比”。选择需要对比的任务名称,单击“确认”。页面跳转至“任务对比”页面,即可查看任务对比结果。 查看泛化任务详情。 泛化任务处于“已完成”状态后,可单击任务名称,查看泛化任务详情。
选择“数据图表”页签,单击“添加图表”。 选择配置。 单击“确认”,左侧数据图表侧以曲线的形式展示数据。 对比回放源 数据回放页面,单击左侧“回放图层”下的“对比回放源”。 单击对比项后的“选择”,选择对比项。 单击“确定”,感知目标会由不同颜色和不同类型的感知框来展示。 视频轨迹播放 3D回放
单击用例名称后“操作”栏内的“另存为”,输入新的测试用例名称,可以测试用例进行复制。 历史结果对比 单击用例名称后操作栏内的“更多 > 历史结果对比”。 选择需要对比的任务名称,单击“确认”。 页面跳转至“任务对比”页面,即可查看任务对比结果。 父主题: 测试用例管理
选择“ID”、“数据包ID”或“算子”,在搜索输入框中输入搜索条件,按回车键即可查询。 对比回放 单击操作栏中的“对比回放”,界面同时展示回放仿真的任务和数据场景的任务。 说明: 数据包如果被删除,则无法单击“对比回放”。 父主题: 回放仿真
查看集群纳管 运维配置提供集群纳管,由平台管理员账号进行管理和配置。集群提供多种节点的混合部署,基于高性能网络模型提供全方位、多场景、安全稳定的容器运行环境,平台可以将集群统一纳管,更方便查看节点资源使用量和修改节点用途,以及设置资源规格。其中,cce-user-job集群需强制
单击操作栏的“停止”,停止评测任务。 继续任务 单击操作栏中的“继续”,继续执行任务。 对比任务 勾选2-4个任务(要求类别相同,且均为已完成状态),单击“对比”创建对比任务,具体步骤请参考评测对比。 评测任务相关操作与任务所处状态约束关系请见下表。 表5 作业状态与操作约束关系 作业状态
导致仿真任务运行失败。删除场景需先删除与之相关的仿真任务。 历史结果对比 单击场景名称后操作栏内的“更多 > 历史结果对比”。 选择需要对比的任务名称,单击“确认”。 页面跳转至“任务对比”页面,即可查看任务对比结果。 已关联用例 单击操作栏中的“更多 > 已关联用例”,可查看场景的已关联的用例。