检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Octopus支持自定义内置评测配置和自定义评测镜像,并根据评测指标或评测镜像对仿真算法开展评测。 本节以创建内置评测配置为例。 创建内置评测配置 在左侧菜单栏中单击“仿真服务 > 评测管理”。 单击“新建评测”,填写基本信息。 图1 新建评测 评测名称:只能包含数字、英文、中文、下划线、中划线,不得超过64个字符。
样。 图7 连续型参数-联合概率分布采样结果 对于重要性采样,联合概率分布采样会在边界附近进行采样。 图8 重要性采样结果 父主题: 仿真服务常见问题
和审核,提高任务完成质量。添加规范的方式有以下两种: 规范管理中添加规范。 添加批次任务时,添加规范。 添加规范 在左侧菜单栏中单击“标注服务 > 项目管理”。 选择“标注项目”页签,单击项目名称,进入项目内任务列表。 选择“规范管理”页签,单击“添加规范”,填写任务信息。 图1
道线的位置和类别。 2D预标注默认使用服务内置的初始模型部署的在线服务,您也可以通过修改“当前生效在线服务”,修改为模型微调后的迭代模型部署的“运行中”的在线服务。 前提条件 在服务控制台“总览”>“我的模型”区域,开通“2D图像生成”服务,具体操作步骤请参考开通我的模型和购买套餐包。
自定义评测镜像 创建自定义评测镜像 在左侧菜单栏中单击“仿真服务 > 评测管理”。 单击“新建评测”,填写基本信息。 图1 新建评测 评测名称:只能包含数字、英文、中文、下划线、中划线,不得超过64个字符。 评测描述:不得包含“@#$%^&*< > \”特殊字符,不得超过255个字符。
项目详情 标注平台支持统计项目的进展情况以及团队成员的标注效率,便于管理员把控项目整体进度,及时掌握成员的标注效率。单击项目名称后操作栏的“项目详情”,查看项目整体进度以及人员标注效率统计。项目详情分为项目概览、关联题库以及人员详情。 数据类型为音频和文本的项目,暂不支持关联题库
在场景、逻辑场景和测试用例,以及添加场景、逻辑场景和测试用例时,可以通过标签筛选,快速筛选出场景或用例。 标签筛选 在左侧菜单栏中单击“仿真服务 > 场景管理”。 在页面中单击“标签筛选”。 在筛选框中输入内容,查找目标标签。也可在左侧标签树列表中选择目标标签。 勾选左侧目标标签后,右侧界面会显示左侧勾选的目标标签。
点云跟踪标注任务 绘制对象 单击点云标注任务,单击任意一帧,进入人工标注。 选择标注工具。 单击左侧工具栏“AI标注”(快捷键b)。 图1 选择标注工具 选择标注类别。 标注下拉列表页选择一标注名,进入标注状态。 图2 选择标注类别 框选标注物。 图3 框选标注物 调整三视图。
逻辑场景 创建逻辑场景 在左侧菜单栏中单击“仿真服务 > 场景管理”。 选择“逻辑场景”页签,单击“新增逻辑场景”。 图1 新增逻辑场景 逻辑场景名称:只能包含数字、英文、中文、下划线、中划线、点,且不支持以点结尾,不得超过256个字符。 描述(非必填):简单描述场景。 添加场景标签,标签数量不超过50个。
3D预标注车道线检测 创建3D预标注车道线检测任务 输入输出文件格式要求 父主题: 智驾模型服务
评分方案介绍 Octopus评测指标共有30多项大类指标,当规控算法未通过某些评测指标后,评测分数应能反映算法的性能表现。 本设计根据指标的重要程度将其分为三大类: 主要指标(以下简称A类)。 次要指标(以下简称B类)。 未定义重要度指标(以下简称C类)。 本设计提供如下三种内置的评分方案:
任务列表 任务列表展示批次任务列表中所有子任务下的任务,方便用户直观查看所有的任务。 在任务列表还可以进行认领、提交、释放、退回、审核和删除操作。 如下为任务列表相关页面: 图1 任务列表 父主题: 批次任务
仿真任务创建 创建仿真任务 在左侧菜单栏中,单击“仿真服务 > 并行仿真”。 单击仿真配置名称,进入仿真配置详情页。 在“仿真任务列表”,单击“运行”,创建仿真任务。 图1 创建任务 单击“确认”,仿真任务创建完成。 创建完毕的任务,在任务配置详情页的“仿真任务列表”可查看详情。也可在“仿真任务”页签查看详情。
分类 Octopus 目录 标注文件目录结构 +--- 1628568066600 | +--- 1628568066600.jpg | +--- 1628568066600.json +--- 1628654064999 | +--- 1628654064999.jpg
评测项配置 用户可选择“内置评测配置”和“自定义评测镜像”,设置评测标准。 内置评测配置:请选择“评测管理”服务中创建成功的内置评测配置。 自定义评测镜像:请选择在“评测管理”服务中创建成功的自定义评测镜像。创建评测镜像请参考创建评测镜像。 测试结果通过标准。可自定义测试结果通过标准的分数。区间为0-100分。
SCENARIO2.0场景说明。 当逻辑场景文件版本为OpenSCENARIO2.0.0时,创建的泛化任务支持仿真器B。 在左侧菜单栏中单击“仿真服务 > 场景管理”。 选择“逻辑场景”页签,单击逻辑场景名称,进入逻辑场景详情页。 选择“泛化任务”页签,单击“创建场景泛化”,参考下表填写泛化任务基本信息。
续费和退订 购买的服务和扩容包支持续费和退订操作。 续费 如需续费,请在服务和资源右侧的“续费管理”处进行续费操作。您还可以设置到期自动续费(请确认服务是否支持设置到期自动续费)。续费相关操作请参考续费管理。 图1 续费 退订 如需退订,请在服务和资源右侧的“续费管理”处进行退订
创建算子 在左侧菜单栏中,单击“数据处理 > 数据处理”。 选择“算子管理”页签,单击“新建算子”。 图1 新建算子 表1 新建算子参数 参数 说明 名称 算子名称,不得超过64个字符。支持中英文、数字、“-”、“_”,不支持特殊字符。 描述 算子内容、用途等的简要描述,不包含“@#$%^&*<
批次任务列表 一个项目可包含多个标注任务,标注平台支持批量创建任务。 前提条件 项目创建成功。 添加批次任务 在左侧菜单栏中单击“标注服务 > 项目管理”。 选择“标注项目”页签,单击操作栏中的“添加批次任务”,填写任务信息。 图1 添加批次任务 任务名称:由“项目需求方-项目类
Open SCENARIO2.0场景说明 动态场景 静态场景(地图) 动静态配套样例 父主题: 仿真服务