检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
评测分数计算介绍 评分方案介绍 AB类log函数评分方案 AB类均匀权重(Average)评分方案 C类均匀权重评分(Average)方案 父主题: 评测管理
标签筛选 在场景、逻辑场景和测试用例,以及添加场景、逻辑场景和测试用例时,可以通过标签筛选,快速筛选出场景或用例。 标签筛选 在左侧菜单栏中单击“仿真服务 > 场景管理”。 在页面中单击“标签筛选”。 在筛选框中输入内容,查找目标标签。也可在左侧标签树列表中选择目标标签。 勾选左
其他权限 团队管理员的其他管理权限步骤与平台管理员一致,具体请参考以下: 标注物管理请参考标注管理。 标注模板管理请参考模板管理。 标注脚本管理请参考脚本管理。 父主题: 团队管理员
文本标注任务 文本标注任务是指单段文本进行标注,支持分词标注、实体标注、实体关系标注、意图标注及文档属性标注。提供文本标注模板工具,且可以通过管理后台进行标签和属性的配置;支持自定义标签属性及默认标签属性模板;支持多种标签展示类型;支持字体大小和行间距设置;提升项目功能完整性和标
评测结果 评测任务完成后,可单击评测任务名称查看模型评测各项得分。任务详情页面展示了评测任务详情信息以及评测模型结果信息两部分内容。 任务详情 任务详情页面,详细展示了任务名称、类别、资源规格等基本信息。 图1 任务详情 任务视图 根据用户选择“自定义”或“内置”评测方式,详情页会展示以下三种流程图:
标注项目 创建项目 项目详情 父主题: 项目管理
批次任务 批次任务列表 任务列表 项目内标注物管理 规范管理 关系管理 父主题: 项目管理
认领标注任务 管理员将任务下发至团队后,团队中的标注员可以认领任务进行标注。 一个标注任务只能由一个标注员完成。同一项目中一个标注员最多认领5个标注任务。 认领标注任务 在左侧菜单栏中单击“标注服务 > 项目管理”。 选择“标注项目”页签,单击项目名称,查看该项目包含的可认领或已认领未提交的标注批次任务列表。
任务队列 评测任务在创建之后,可在此查看任务队列,同时支持对任务优先级的调整。 在左侧菜单栏中单击“训练服务 > 模型评测”。 选择“任务队列”页签,可查看任务。 图1 任务队列 评测任务队列相关操作 在“任务队列”页签,还可以进行以下操作。 表1 评测任务队列相关操作 任务 操作步骤
场景回放 当场景已运行成功且创建任务时选择录制所有场景时,仿真任务支持回放场景。用户可选用3D回放进行回放,回放页面可自动播放车辆的行动场景。 仿真器回放 3D回放 父主题: 并行仿真
任务配置 任务配置主要由仿真算法、评测项配置和场景三部分组成。仿真算法提供自动驾驶控制算法。评测配置提供评测依据。场景作为自动驾驶模拟场景,测试仿真算法的控制效果。 创建任务配置 创建仿真任务配置时需要完成基本配置、算法配置,评测项配置和选择场景几部分的内容。创建任务配置的步骤可参考如下:
测试套件管理 测试套件模块提供测试套件管理功能,支持对测试套件的增删改查功能。自建测试套件将场景格式相同的测试用例,便于用户进行开发。 创建测试套件 在左侧菜单栏中单击“仿真服务 > 场景管理”。 选择“测试套件”页签,单击“测试套件列表”后的“新增套件”。 图1 新增套件 测试
步骤六:查看仿真评测结果 评测任务结束后,可查看评测任务结果。 单击仿真任务名称,进入该任务的详情页。 查看任务详情。 任务详情包含任务名称、任务使用的仿真算法、任务类型等信息。 查看仿真场景的运行结果。 仿真任务包含的仿真场景运行成功后,用户可以关注该仿真场景的得分,以及是否通
场景管理分类设计使用逻辑 场景管理提供所有仿真场景、测试用例和泛化场景的管理功能,用户可上传符合平台规范的自定义场景,也可将场景下载至本地开发。Octopus平台自研场景标签分类体系,从多维度深层次科学分类场景。仿真场景库可自建仿真场景库,集合相同场景格式的不同条件仿真场景,检验在特定条件下仿真算法控制质量。
步骤二:创建仿真算法 添加算法 在左侧菜单栏中单击“仿真服务 > 算法管理”。 单击“新建算法”,填写算法基本信息。 图1 新建算法 请根据实际情况自定义填写,其中带“*”为必填项。 算法类型:固定为“容器镜像”。 算法名称:只能包含数字、英文、中文、下划线、中划线,不得超过64个字符。
逻辑场景 创建逻辑场景 在左侧菜单栏中单击“仿真服务 > 场景管理”。 选择“逻辑场景”页签,单击“新增逻辑场景”。 图1 新增逻辑场景 逻辑场景名称:只能包含数字、英文、中文、下划线、中划线、点,且不支持以点结尾,不得超过256个字符。 描述(非必填):简单描述场景。 添加场景标签,标签数量不超过50个。
2D预标注 2D预标注当前支持目标检测、车道线检测和语义分割(混合)多种预标注功能。其中,目标检测主要用于鱼眼图片的预标注;语义分割(混合)不仅支持鱼眼图片,还支持普通图片的预标注;车道线检测能够快速标注车道线的位置和类别。 2D预标注默认使用服务内置的初始模型部署的在线服务,您
项目详情 标注平台支持统计项目的进展情况以及团队成员的标注效率,便于管理员把控项目整体进度,及时掌握成员的标注效率。单击项目名称后操作栏的“项目详情”,查看项目整体进度以及人员标注效率统计。项目详情分为项目概览、关联题库以及人员详情。 数据类型为音频和文本的项目,暂不支持关联题库
规范管理 规范便于标注和审核人员在标注和审核过程中依据规范进行标注和审核,提高任务完成质量。添加规范的方式有以下两种: 规范管理中添加规范。 添加批次任务时,添加规范。 添加规范 在左侧菜单栏中单击“标注服务 > 项目管理”。 选择“标注项目”页签,单击项目名称,进入项目内任务列表。
自定义评测镜像 创建自定义评测镜像 在左侧菜单栏中单击“仿真服务 > 评测管理”。 单击“新建评测”,填写基本信息。 图1 新建评测 评测名称:只能包含数字、英文、中文、下划线、中划线,不得超过64个字符。 评测描述:不得包含“@#$%^&*< > \”特殊字符,不得超过255个字符。