检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
步骤四:创建仿真场景 用户可以上传场景文件创建自定义场景,开展仿真评测任务。本节以创建自定义仿真场景为例。 仿真场景支持用户上传符合仿真器场景规范的自定义场景。添加场景的步骤可参考如下: 在左侧菜单栏中单击“仿真服务 > 场景管理”。 选择“场景”页签,单击“创建场景”,填写基本信息。
步骤二:创建仿真算法 添加算法 在左侧菜单栏中单击“仿真服务 > 算法管理”。 单击“新建算法”,填写算法基本信息。 图1 新建算法 请根据实际情况自定义填写,其中带“*”为必填项。 算法类型:固定为“容器镜像”。 算法名称:只能包含数字、英文、中文、下划线、中划线,不得超过64个字符。
项目详情 标注平台支持统计项目的进展情况以及团队成员的标注效率,便于管理员把控项目整体进度,及时掌握成员的标注效率。单击项目名称后操作栏的“项目详情”,查看项目整体进度以及人员标注效率统计。项目详情分为项目概览、关联题库以及人员详情。 数据类型为音频和文本的项目,暂不支持关联题库
规范管理 规范便于标注和审核人员在标注和审核过程中依据规范进行标注和审核,提高任务完成质量。添加规范的方式有以下两种: 规范管理中添加规范。 添加批次任务时,添加规范。 添加规范 在左侧菜单栏中单击“标注服务 > 项目管理”。 选择“标注项目”页签,单击项目名称,进入项目内任务列表。
自定义评测镜像 创建自定义评测镜像 在左侧菜单栏中单击“仿真服务 > 评测管理”。 单击“新建评测”,填写基本信息。 图1 新建评测 评测名称:只能包含数字、英文、中文、下划线、中划线,不得超过64个字符。 评测描述:不得包含“@#$%^&*< > \”特殊字符,不得超过255个字符。
逻辑场景 创建逻辑场景 在左侧菜单栏中单击“仿真服务 > 场景管理”。 选择“逻辑场景”页签,单击“新增逻辑场景”。 图1 新增逻辑场景 逻辑场景名称:只能包含数字、英文、中文、下划线、中划线、点,且不支持以点结尾,不得超过256个字符。 描述(非必填):简单描述场景。 添加场景标签,标签数量不超过50个。
2D预标注 2D预标注当前支持目标检测、车道线检测和语义分割(混合)多种预标注功能。其中,目标检测主要用于鱼眼图片的预标注;语义分割(混合)不仅支持鱼眼图片,还支持普通图片的预标注;车道线检测能够快速标注车道线的位置和类别。 2D预标注默认使用服务内置的初始模型部署的在线服务,您
购买扩展资源包 为了提升服务的计算能力、存储能力、业务拓展能力、行业竞争力等,Octopus还为用户提供了个性化的扩展资源包供用户选择。购买扩展资源包之前,可以先查看我的资源配额和查看资源节点配额。 表1 云服务扩展资源包列表 名称 资源名称 描述 仿真服务扩容包 规控仿真引擎-在线
批次子任务 批次任务可以拆分为多个子任务,方便多人进行操作。 前提条件 批次任务被拆分为批次子任务。 拆分批次任务 当样本数量庞大时,平台可对批次任务做拆分处理,具体步骤如下: 在左侧菜单栏中单击“标注服务 > 项目管理”。 选择“标注项目”页签,单击项目名称,进入项目内任务列表。
统计信息 在批次子任务的“统计信息”页面,可查看该任务详情,项目任务流程以及标注对象统计信息。 任务详情:任务名称、数据类型、标注状态、任务包含的标注信息等。 图1 任务详情 项目任务流程:显示任务当前进度情况。 图2 项目任务流程 标注框数统计:人工/预标注对象数量统计。 图3
语义分割点云标注任务 语义分割任务是指根据标注规范将待标注点云图像中出现的天空、道路、车辆等类标注物进行标注。 图1 语义分割点云标注任务 绘制对象 单击大规模3D语义分割任务,单击任意一帧,进入人工标注。 单击左侧标注工具栏,选择对应的标注工具。 选择对应的标注类别。 绘制标注物。
任务列表 任务列表展示批次任务列表中所有子任务下的任务,方便用户直观查看所有的任务。 在任务列表还可以进行认领、提交、释放、退回、审核和删除操作。 如下为任务列表相关页面: 图1 任务列表 父主题: 批次任务
评分方案介绍 Octopus评测指标共有30多项大类指标,当规控算法未通过某些评测指标后,评测分数应能反映算法的性能表现。 本设计根据指标的重要程度将其分为三大类: 主要指标(以下简称A类)。 次要指标(以下简称B类)。 未定义重要度指标(以下简称C类)。 本设计提供如下三种内置的评分方案:
步骤三:创建评测 Octopus支持自定义内置评测配置和自定义评测镜像,并根据评测指标或评测镜像对仿真算法开展评测。 本节以创建内置评测配置为例。 创建内置评测配置 在左侧菜单栏中单击“仿真服务 > 评测管理”。 单击“新建评测”,填写基本信息。 图1 新建评测 评测名称:只能包
任务队列 标注批次任务在创建之后,可在此查看任务队列,同时支持对任务优先级的调整。 在左侧菜单栏中单击“标注服务 > 项目管理”。 选择“任务队列”页签,可根据标注类型(预标注或人工标注)查看标注任务。 图1 任务队列 任务队列相关操作 在“任务队列”页签,还可以进行以下操作。 表1
管理团队 团队管理员可根据业务需求对团队中的成员进行管理,可为团队新增人员或删除人员,可为团队中成员重新分配职能。单击“标注服务 > 团队用户” ,单击团队名称,可查看该团队内所有成员及职能。 查找成员:在搜索框内输入名字进行查找。 新增人员:单击“新增人员”,根据职能选择人员。
管理项目 项目需绑定管理员所在团队。 团队管理员管理项目步骤与平台管理员一致。 详细步骤请参考项目管理。 父主题: 团队管理员
认领审核任务 在全流程的情况下,标注任务标注完毕后提交进入审核阶段(预初审-初审-预终审-终审),初审阶段(预初审-初审)提交后进入终审阶段(预终审-终审),团队中的审核员可以根据阶段认领任务进行审核。以下步骤为认领初审任务(预初审-初审)或终审(预终审-终审)任务的操作步骤。
审核操作指导 审核是检验标注任务质量的一个手段,审核的方式是从标注任务中抽取一定比例的图片,通过被抽取的图片标注准确率判断该标注任务整体准确率,该标注任务是否通过审核。 在左侧菜单栏中单击“标注服务 > 项目管理”。 选择“标注项目”页签,单击项目名称。 选择“批次任务列表”,单击批次任务前的。
任务队列 训练任务在创建之后,可在此查看任务队列,同时支持对任务优先级的调整。 在左侧菜单栏中单击“训练服务 > 训练任务”。 选择“任务队列”页签,可查看任务。 图1 任务队列 训练任务队列相关操作 在“任务队列”页签,还可以进行以下操作。 表1 训练任务队列相关操作 任务 操作步骤