检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
其他权限 团队管理员的其他管理权限步骤与平台管理员一致,具体请参考以下: 标注物管理请参考标注管理。 标注模板管理请参考模板管理。 标注脚本管理请参考脚本管理。 父主题: 团队管理员
评测结果 评测任务完成后,可单击评测任务名称查看模型评测各项得分。任务详情页面展示了评测任务详情信息以及评测模型结果信息两部分内容。 任务详情 任务详情页面,详细展示了任务名称、类别、资源规格等基本信息。 图1 任务详情 任务视图 根据用户选择“自定义”或“内置”评测方式,详情页会展示以下三种流程图:
评测分数计算介绍 评分方案介绍 AB类log函数评分方案 AB类均匀权重(Average)评分方案 C类均匀权重评分(Average)方案 父主题: 评测管理
标签筛选 在场景、逻辑场景和测试用例,以及添加场景、逻辑场景和测试用例时,可以通过标签筛选,快速筛选出场景或用例。 标签筛选 在左侧菜单栏中单击“仿真服务 > 场景管理”。 在页面中单击“标签筛选”。 在筛选框中输入内容,查找目标标签。也可在左侧标签树列表中选择目标标签。 勾选左
步骤六:查看仿真评测结果 评测任务结束后,可查看评测任务结果。 单击仿真任务名称,进入该任务的详情页。 查看任务详情。 任务详情包含任务名称、任务使用的仿真算法、任务类型等信息。 查看仿真场景的运行结果。 仿真任务包含的仿真场景运行成功后,用户可以关注该仿真场景的得分,以及是否通
场景管理分类设计使用逻辑 场景管理提供所有仿真场景、测试用例和泛化场景的管理功能,用户可上传符合平台规范的自定义场景,也可将场景下载至本地开发。Octopus平台自研场景标签分类体系,从多维度深层次科学分类场景。仿真场景库可自建仿真场景库,集合相同场景格式的不同条件仿真场景,检验在特定条件下仿真算法控制质量。
关系管理 前提条件 项目的数据类型为“文本”,需要创建关系,并对关系进行管理。 创建关系 在左侧菜单栏中单击“标注服务 > 项目管理”。 选择“标注项目”页签,单击项目名称,进入项目内任务列表。 选择“关系管理”页签,单击“创建”,填写创建信息。 图1 创建关系 名称:自定义关系
3D回放 3D回放页面支持加载本地OSI,OpenDRIVE文件,以便于回放本地场景。 在左侧菜单栏中单击“仿真服务 > 并行仿真”。 在界面的右上角,单击“3D回放”,进入到3D回放界面。 单击界面右上角“加载本地文件”。 图1 加载本地文件 添加需要加载的本地文件,单击“确认”。界面回放本地文件。
创建项目 项目内包含多个标注任务,在创建项目时需绑定标注团队,指定团队完成项目内的标注任务。 在左侧菜单栏中单击“标注服务 > 项目管理”。 选择“标注项目”页签,单击“创建项目”,参考下表填写项目信息。 图1 创建项目 表1 标注项目参数 参数 说明 项目名称 项目名称不支持自
批次子任务 批次任务可以拆分为多个子任务,方便多人进行操作。 前提条件 批次任务被拆分为批次子任务。 拆分批次任务 当样本数量庞大时,平台可对批次任务做拆分处理,具体步骤如下: 在左侧菜单栏中单击“标注服务 > 项目管理”。 选择“标注项目”页签,单击项目名称,进入项目内任务列表。
统计信息 在批次子任务的“统计信息”页面,可查看该任务详情,项目任务流程以及标注对象统计信息。 任务详情:任务名称、数据类型、标注状态、任务包含的标注信息等。 图1 任务详情 项目任务流程:显示任务当前进度情况。 图2 项目任务流程 标注框数统计:人工/预标注对象数量统计。 图3
任务列表 任务列表展示批次任务列表中所有子任务下的任务,方便用户直观查看所有的任务。 在任务列表还可以进行认领、提交、释放、退回、审核和删除操作。 如下为任务列表相关页面: 图1 任务列表 父主题: 批次任务
评分方案介绍 Octopus评测指标共有30多项大类指标,当规控算法未通过某些评测指标后,评测分数应能反映算法的性能表现。 本设计根据指标的重要程度将其分为三大类: 主要指标(以下简称A类)。 次要指标(以下简称B类)。 未定义重要度指标(以下简称C类)。 本设计提供如下三种内置的评分方案:
步骤二:创建仿真算法 添加算法 在左侧菜单栏中单击“仿真服务 > 算法管理”。 单击“新建算法”,填写算法基本信息。 图1 新建算法 请根据实际情况自定义填写,其中带“*”为必填项。 算法类型:固定为“容器镜像”。 算法名称:只能包含数字、英文、中文、下划线、中划线,不得超过64个字符。
规范管理 规范便于标注和审核人员在标注和审核过程中依据规范进行标注和审核,提高任务完成质量。添加规范的方式有以下两种: 规范管理中添加规范。 添加批次任务时,添加规范。 添加规范 在左侧菜单栏中单击“标注服务 > 项目管理”。 选择“标注项目”页签,单击项目名称,进入项目内任务列表。
自定义评测镜像 创建自定义评测镜像 在左侧菜单栏中单击“仿真服务 > 评测管理”。 单击“新建评测”,填写基本信息。 图1 新建评测 评测名称:只能包含数字、英文、中文、下划线、中划线,不得超过64个字符。 评测描述:不得包含“@#$%^&*< > \”特殊字符,不得超过255个字符。
逻辑场景 创建逻辑场景 在左侧菜单栏中单击“仿真服务 > 场景管理”。 选择“逻辑场景”页签,单击“新增逻辑场景”。 图1 新增逻辑场景 逻辑场景名称:只能包含数字、英文、中文、下划线、中划线、点,且不支持以点结尾,不得超过256个字符。 描述(非必填):简单描述场景。 添加场景标签,标签数量不超过50个。
2D预标注 2D预标注当前支持目标检测、车道线检测和语义分割(混合)多种预标注功能。其中,目标检测主要用于鱼眼图片的预标注;语义分割(混合)不仅支持鱼眼图片,还支持普通图片的预标注;车道线检测能够快速标注车道线的位置和类别。 2D预标注默认使用服务内置的初始模型部署的在线服务,您
分类 Octopus 目录 标注文件目录结构 +--- 1628568066600 | +--- 1628568066600.jpg | +--- 1628568066600.json +--- 1628654064999 | +--- 1628654064999.jpg
仿真任务创建 创建仿真任务 在左侧菜单栏中,单击“仿真服务 > 并行仿真”。 单击仿真配置名称,进入仿真配置详情页。 在“仿真任务列表”,单击“运行”,创建仿真任务。 图1 创建任务 单击“确认”,仿真任务创建完成。 创建完毕的任务,在任务配置详情页的“仿真任务列表”可查看详情。也可在“仿真任务”页签查看详情。