检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
评测结果 评测任务完成后,可单击评测任务名称查看模型评测各项得分。任务详情页面展示了评测任务详情信息以及评测模型结果信息两部分内容。 任务详情 任务详情页面,详细展示了任务名称、类别、资源规格等基本信息。 图1 任务详情 任务视图 根据用户选择“自定义”或“内置”评测方式,详情页会展示以下三种流程图:
评测分数计算介绍 评分方案介绍 AB类log函数评分方案 AB类均匀权重(Average)评分方案 C类均匀权重评分(Average)方案 父主题: 评测管理
步骤三:创建评测 Octopus支持自定义内置评测配置和自定义评测镜像,并根据评测指标或评测镜像对仿真算法开展评测。 本节以创建内置评测配置为例。 创建内置评测配置 在左侧菜单栏中单击“仿真服务 > 评测管理”。 单击“新建评测”,填写基本信息。 图1 新建评测 评测名称:只能包
采样方式有几种? 蒙特卡洛采样 蒙特卡洛采样是一种简单的随机抽样,根据概率分布进行采样,如对样本服从µ=0,δ=1的正态分布,通过通过蒙特卡洛采样进行采样,采样得到的点能满足正态分布要求,但如下图所示,采样得到的点会集中µ=0附近,要想采样得到更边界的点,需要进行大量采样。 图1
审核操作指导 审核是检验标注任务质量的一个手段,审核的方式是从标注任务中抽取一定比例的图片,通过被抽取的图片标注准确率判断该标注任务整体准确率,该标注任务是否通过审核。 在左侧菜单栏中单击“标注服务 > 项目管理”。 选择“标注项目”页签,单击项目名称。 选择“批次任务列表”,单击批次任务前的。
关系管理 前提条件 项目的数据类型为“文本”,需要创建关系,并对关系进行管理。 创建关系 在左侧菜单栏中单击“标注服务 > 项目管理”。 选择“标注项目”页签,单击项目名称,进入项目内任务列表。 选择“关系管理”页签,单击“创建”,填写创建信息。 图1 创建关系 名称:自定义关系
新增标签 Octopus平台提供ODD筛选对场景分类,同时还支持用户根据业务所需创建自定义标签,从其他维度分类场景,更高效管理场景库。在创建仿真评测任务时,基于分类标签体系,可快速筛选出符合评测任务需求的场景。 ODD筛选:每个自动驾驶系统运行的前提条件和适用范围可能不同,因此在
3D回放 3D回放页面支持加载本地OSI,OpenDRIVE文件,以便于回放本地场景。 在左侧菜单栏中单击“仿真服务 > 并行仿真”。 在界面的右上角,单击“3D回放”,进入到3D回放界面。 单击界面右上角“加载本地文件”。 图1 加载本地文件 添加需要加载的本地文件,单击“确认”。界面回放本地文件。
创建项目 项目内包含多个标注任务,在创建项目时需绑定标注团队,指定团队完成项目内的标注任务。 在左侧菜单栏中单击“标注服务 > 项目管理”。 选择“标注项目”页签,单击“创建项目”,参考下表填写项目信息。 图1 创建项目 表1 标注项目参数 参数 说明 项目名称 项目名称不支持自
人工标注操作指导 本节主要介绍Octopus标注平台的标注界面操作(以图片和3D点云为例),标注任务的详细操作指导请参考标注样例。语言标注任务的详情操作指导请参考语音标注任务。文本标注任务的详情操作指导请参考文本标注任务。 在左侧菜单栏中单击“标注服务 > 项目管理”。 选择“标注项目”页签,单击项目名称。
模型数据集支持 模型评测支持多种数据集格式,包括Octopus格式和部分常见开源数据集格式,以下为各类别模型的数据集支持列表和示例。 目标检测2D 目标检测3D 目标追踪2D 目标追踪3D 语义分割2D 语义分割3D 车道线检测 分类 父主题: 模型评测
内置评测指标说明 内置评测指标简介 减速度(Deceleration)检测 急转向(Steering)检测 急刹(Emergency Braking)检测 加速度变化率(Jerk)检测 平稳起步(Gentle Start)检测 平顺性(Ride Comfort)检测 乘员舒适性(Driving
测试用例管理 测试用例模块支持对单个用例的增删改查操作。用户可根据场景类型,本地选择对应的场景文件。用例创建完毕后,用户可选择在线仿真机器加载测试用例,通过仿真器内置算法检验测试用例质量。 创建用例 用例管理 父主题: 场景管理
排队任务管理 不同用户可以对自己的任务进行优先级排序。 在左侧菜单栏中单击“仿真服务 > 并行仿真”。 在界面的右上角,单击“排队任务管理”,可对需要管理的任务进行上移,置顶等操作。 图1 排队任务管理 父主题: 并行仿真
3D预标注 3D预标注 3D2D融合预标注 父主题: 智驾模型服务
单帧识别 前提条件 在服务控制台“总览”>“我的模型”区域,开通“场景识别”服务,具体操作步骤请参考开通我的模型和购买套餐包。 操作步骤 在左侧菜单栏中单击“智驾模型服务”>“场景识别” 。 选择“单帧识别”页签,单击右上角“添加文件”。 在“文件上传”弹出框中,单击“添加文件”
多帧识别 前提条件 在服务控制台“总览”>“我的模型”区域,开通“场景识别”服务,具体操作步骤请参考开通我的模型和购买套餐包。 完成OBS授权委托,具体操作步骤请参考授权操作步骤。在服务控制台“总览”>“我的模型”区域,开通“2D图像生成”服务,具体操作步骤请参考开通我的模型和购买套餐包。
项目详情 标注平台支持统计项目的进展情况以及团队成员的标注效率,便于管理员把控项目整体进度,及时掌握成员的标注效率。单击项目名称后操作栏的“项目详情”,查看项目整体进度以及人员标注效率统计。项目详情分为项目概览、关联题库以及人员详情。 数据类型为音频和文本的项目,暂不支持关联题库
规范管理 规范便于标注和审核人员在标注和审核过程中依据规范进行标注和审核,提高任务完成质量。添加规范的方式有以下两种: 规范管理中添加规范。 添加批次任务时,添加规范。 添加规范 在左侧菜单栏中单击“标注服务 > 项目管理”。 选择“标注项目”页签,单击项目名称,进入项目内任务列表。
点云跟踪标注任务 绘制对象 单击点云标注任务,单击任意一帧,进入人工标注。 选择标注工具。 单击左侧工具栏“AI标注”(快捷键b)。 图1 选择标注工具 选择标注类别。 标注下拉列表页选择一标注名,进入标注状态。 图2 选择标注类别 框选标注物。 图3 框选标注物 调整三视图。