检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
输出结果完成后,作业容器需要在output目录创建一个名为“_SUCCESS”的标识文件,用于通知系统作业已完成。如果作业主动捕获到异常并失败退出,可在output目录创建一个名为“_FAILURE”的标识文件,用于通知系统作业已失败。 运行完成并上传的挖掘结果可以在“数据场景”模块进行检索、查看。选
数据包的查看,回放等功能。 数据场景:平台处理完原始采集数据后,平台支持内置和自定义场景挖掘算法,可自动提取对应场景行为的片段,展示在此模块中。 数据集:支持数据集多版本管理和统计。同时支持用户将本地符合平台规范的数据集导入平台,以及将平台上的数据集导出到自有OBS桶中。 数据缓
标注服务简介 Octopus标注服务为标注团队提供标注平台管理员、团队管理员和标注任务操作人员(标注员/审核员/验收员)三类职能。三类职能对标注平台的操作权限不同,保证标注任务的数据安全。标注服务管理员根据不同标注任务创建标注团队,分配标注任务操作人员不同职能。创建标注项目,并在
算子管理 平台支持自定义创建不同类型的算子,用于不同的数据处理作业。 新建算子 在左侧菜单栏中,单击“数据处理 > 数据处理”。 选择“算子管理”页签,单击“新建算子”。 图1 新建算子 表1 新建算子参数 参数 说明 名称 算子名称,不得超过64个字符。支持中英文、数字、“-”、“_”,不支持特殊字符。
场景挖掘 平台支持基于内置场景挖掘算法和场景识别大模型挖掘的能力,对数据包进行场景挖掘。具体操作步骤如下: 在左侧菜单栏中,单击“数据资产 > 源数据包”。 选择“数据包”页签,单击操作栏中的“详情”,进入数据包详情页。 单击数据包信息的“场景挖掘”,后台会自动进行内置场景挖掘。
处理数据 在作业总览中平台支持创建数据标记,数据图表、数据回放、数据集等作业,数据包选择相对应的算子就可以触发相对应的作业。 数据回放类型的算子作业不需要选择输出仓库。 当选择数据集算子时,数据类型可支持选择通用存储。 创建作业 在左侧菜单栏中,单击“数据处理 > 数据处理”。
标签管理 标签管理中的标签分为平台内置的场景挖掘标签和用户自定义标签。平台内置标签详情请查看表1 内置标签列表。用户还可根据实际需求,自定义设置需要的标签。当前支持两种方式添加标签:在线创建和文件上传。 表1 内置标签列表 场景挖掘方式 场景分类 子类 标签 内置场景挖掘规则 道路
查看集群纳管 运维配置提供集群纳管,由平台管理员账号进行管理和配置。集群提供多种节点的混合部署,基于高性能网络模型提供全方位、多场景、安全稳定的容器运行环境,平台可以将集群统一纳管,更方便查看节点资源使用量和修改节点用途,以及设置资源规格。其中,cce-user-job集群需强制
批次子任务 批次任务可以拆分为多个子任务,方便多人进行操作。 前提条件 批次任务被拆分为批次子任务。 拆分批次任务 当样本数量庞大时,平台可对批次任务做拆分处理,具体步骤如下: 在左侧菜单栏中单击“标注服务 > 项目管理”。 选择“标注项目”页签,单击项目名称,进入项目内任务列表。
分布式训练任务 八爪鱼自动驾驶平台的多机分布式训练功能可以帮助用户加快模型训练速度,提高训练效率,并支持更大规模的深度学习任务。通过多机分布式训练,用户可以将训练任务分配到多台计算机或服务器上并行进行,充分利用硬件资源,加快模型收敛速度,提高训练效果。平台支持多种深度学习框架,如Te
数据包的查看,回放等功能。 数据场景:平台处理完原始采集数据后,平台支持内置和自定义场景挖掘算法,可自动提取对应场景行为的片段,展示在此模块中。 数据集:支持数据集多版本管理和统计。同时支持用户将本地符合平台规范的数据集导入平台,以及将平台上的数据集导出到自有OBS桶中。 数据缓
原始数据采集完毕之后,需要将原始数据转换成适合Octopus平台的数据格式,以便于更快速地完成数据处理。 创建数据导入任务 在左侧菜单栏中,单击“数据处理 > 数据批导”。 选择“数据导入”页签,单击“导入”。 选择“对象存储导入”页签,填写具体信息。 选择目标数据包所在的对象存储路径,平台将自动扫描该目录下所有子
其他权限 团队管理员的其他管理权限步骤与平台管理员一致,具体请参考以下: 标注物管理请参考标注管理。 标注模板管理请参考模板管理。 标注脚本管理请参考脚本管理。 父主题: 团队管理员
构建镜像 Octopus平台依赖算子镜像内的/bin/bash、stdbuf、tee软件,请确保基础镜像内包含上述软件且能通过PATH找到。 Dockerfile示例 FROM ros:noetic COPY ros_hard_mining.py /home/main/ # 算法启动示例:
片识别的模型。 编译任务 仿真任务 评测镜像 Octopus平台各服务均提供用户自定义镜像功能,此模块对镜像提供了统一管理。 仿真镜像 仿真场景 仿真场景模块支持对单个仿真场景的增删改查操作。用户可根据场景类型,依据平台提示,上传符合要求的场景文件。场景创建完毕后,用户可选择在线
镜像仓库 Octopus平台各服务均提供用户自定义镜像功能,镜像仓库管理模块对镜像提供了统一管理。 创建镜像仓库 用平台管理员账号登录Octopus平台。 在左侧菜单栏中,单击“镜像仓库 ”。 单击“新建”,填写基本信息。 图1 创建镜像仓库 名称:输入镜像仓库的名称,只能包含数字、英文、中文、下划线、中划线。
作业队列 平台为回放仿真任务提供作业队列的功能,用户可在此查看任务队列,同时支持对任务优先级的调整。 其他租户的队列作业不允许操作。 在左侧菜单栏中单击“数据处理 > 回放仿真”。 选择“作业队列”页签,查看作业。 图1 作业队列 回放仿真作业队列相关操作 在“作业队列”页签,还可以进行以下操作。
评测算法的自研proto接口 背景 Octopus内置一套评测算法,用于对自动驾驶系统的性能表现进行多维度评测。内置评测算法的评测结果按照eva.proto中的定义,序列化成pb文件保存起来。 Octopus仿真平台的前端通过解析评测pb对评测结果进行展示,目前控制台展示主要分为两大方面:
构建镜像 Octopus平台依赖算子镜像内的/bin/bash、stdbuf、tee软件,请确保基础镜像内包含上述软件且能通过PATH找到。 Dockerfile示例 FROM ros:noetic COPY ros_to_dataset.py /home/main/ # 算法启动示例:
作业输入输出规范 用户完成自定义Rosbag转OpenData算子创建,运行作业容器时Octopus平台向其中注入以下环境变量: rosbag_path: 作为数据源的rosbag存放路径,例如/tmp/data/20220620.bag yaml_path: 启动数据收集任务的