检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
场景展示 前提条件 符合以下两种条件中的其中之一,即可在此模块查看数据场景片段。 选择自定义挖掘算子(数据标记类型)的作业正常运行完毕(自定义场景片段)。 在源数据包详情界面,手动触发“场景挖掘”按钮,并完成数据场景挖掘作业(内置场景片段)。 生成仿真场景 生成仿真场景必须同时依
标签管理 标签管理中的标签分为平台内置的场景挖掘标签和用户自定义标签。平台内置标签详情请查看表1 内置标签列表。用户还可根据实际需求,自定义设置需要的标签。当前支持两种方式添加标签:在线创建和文件上传。 表1 内置标签列表 场景挖掘方式 场景分类 子类 标签 内置场景挖掘规则 道路
作业输入输出规范 用户完成自定义Rosbag转OpenData算子创建,运行作业容器时Octopus平台向其中注入以下环境变量: rosbag_path: 作为数据源的rosbag存放路径,例如/tmp/data/20220620.bag yaml_path: 启动数据收集任务的
作业总览 在作业总览中平台支持创建数据标记,数据图表、数据回放、数据集等作业,数据包选择相对应的算子就可以触发相对应的作业。 数据回放类型的算子作业不需要选择输出仓库。 状态是待脱敏或者脱敏中的数据包不能运行数据回放类型的作业。 数据包类型必须是Rosbag类型。 当选择数据集算
算子示例 数据脱敏作业 父主题: 数据脱敏
作业总览 创建作业 在左侧菜单栏中,单击“数据合规”。 选择“数据脱敏 > 作业总览”页签,单击“创建作业”。 完成创建作业任务信息。 图1 创建作业 处理算子:根据需要选择脱敏算子。 资源规格:当前项目中可用的资源规格,资源配置需要平台管理员在集群纳管中创建。 优先级:设定任务的优先级,数值取[-50
算子管理 新建算子 在左侧菜单栏中单击“数据合规”。 选择“数据脱敏 > 算子管理”页签,单击“新建算子”。 完成新建算子相关信息。 图1 新建算子 名称:算子名称,不得超过64个字符。支持中英文、数字、“-”、“_”,不支持特殊字符。 描述:算子内容、用途等的简要描述,不包含“@#$%^&*<
算子示例 Rosbag转OpenData作业(数据回放) 场景挖掘作业(数据标记) 数据提取作业(数据集) Resim作业(回放仿真) 父主题: 数据处理
算子管理 平台支持自定义创建不同类型的算子,用于不同的数据处理作业。 新建算子 在左侧菜单栏中,单击“数据处理 > 数据处理”。 选择“算子管理”页签,单击“新建算子”。 图1 新建算子 表1 新建算子参数 参数 说明 名称 算子名称,不得超过64个字符。支持中英文、数字、“-”、“_”,不支持特殊字符。
导出任务 导出数据集 单击数据集列表操作栏的“导出”。 选择数据目的地。 图1 数据目的地 数据目的地:默认选择OBS。 访问密钥:请输入访问密钥(AK)。 私有访问密钥:请输入私有访问密钥(SK)。 OBS目录:请指定数据集导出后存放的目录。 访问密钥ID(AK)和私有访问密钥
作业队列 平台为算子作业、内部作业和脱敏作业提供作业队列的功能,用户可在此查看任务队列,同时支持对任务优先级的调整。 其他租户的队列作业不允许操作。 在左侧菜单栏中单击“数据服务 > 数据处理”。 选择“作业队列”页签,可根据作业类型(算子作业或内部作业)查看作业。 图1 作业队列
场景挖掘 场景挖掘 内置场景挖掘规则 父主题: 源数据包
消息topic格式规范 Vehicle 对于车辆自身基本数据录制的消息格式,需遵循一定规范,其中部分字段为必选,其他请根据实际需要自由选取。 表1 vehicle消息格式规范 格式名称 说明 VehicleInfo 车辆信息 消息格式中部分参数为必选,如使用该数据类型,则不可缺少
作业输入输出规范 运行resim容器时,Octopus平台向容器中注入以下环境变量: rosbag_path: 作为输入的rosbag存放路径,例如/tmp/data/20220620.bag output_dir: resim作业的运行结果输出的目录,例如/tmp/output
内置场景挖掘规则 内置场景挖掘算法都是基于规则进行片段挖掘。平台支持的内置场景挖掘规则如下: 道路---道路环境---高速 检验规格: 包含高精地图信息 主车行驶区域road级别type为motorway 道路---道路环境---城市快速路 检验规格: 包含高精地图信息 主车行驶
Resim作业(回放仿真) 作业输入输出规范 示例镜像制作 父主题: 算子示例
示例镜像制作 Octopus平台依赖算子镜像内的/bin/bash、stdbuf、tee软件,请确保基础镜像内包含上述软件且能通过PATH找到。 Dockerfile示例 启动命令: bash /home/Octopus/run.sh 镜像构建: docker build -f Dockerfile
Octopus开发基本流程? Octopus是一站式自动驾驶开发平台,从数据收集上云,到自动化处理数据,自动或手动标注数据,创建并增量更新数据集,并将数据集用于模型训练,以及基于特定场景的在线仿真,用户都可以在Octopus平台上完成。 图1 Octopus开发流程 采集数据 指
消息topic格式示例 Vehicle Vehicle格式示例: vehicle_info { stamp_secs: 1604996332 stamp_nsecs: 847945211 autonomy_status: 0 gear_value: 4 vehicle_speed:
环境变量使用说明 镜像运行时,会向运行环境注入部分默认文件配置: 表1 环境变量说明 任务名称 文件名 环境变量 数据集任务 数据集待筛选数据目录 OCTPS_DATASET_DIR 数据集筛选结果数据目录 TARGET_RESULT_DIR="/tmp/…/result/data"