检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
作业总览 创建作业 在左侧菜单栏中,单击“数据合规”。 选择“数据脱敏 > 作业总览”页签,单击“创建作业”。 完成创建作业任务信息。 图1 创建作业 处理算子:根据需要选择脱敏算子。 资源规格:当前项目中可用的资源规格,资源配置需要平台管理员在集群纳管中创建。 优先级:设定任务的优先级,数值取[-50
算子管理 新建算子 在左侧菜单栏中单击“数据合规”。 选择“数据脱敏 > 算子管理”页签,单击“新建算子”。 完成新建算子相关信息。 图1 新建算子 名称:算子名称,不得超过64个字符。支持中英文、数字、“-”、“_”,不支持特殊字符。 描述:算子内容、用途等的简要描述,不包含“@#$%^&*<
算子示例 Rosbag转OpenData作业(数据回放) 场景挖掘作业(数据标记) 数据提取作业(数据集) Resim作业(回放仿真) 父主题: 数据处理
算子管理 平台支持自定义创建不同类型的算子,用于不同的数据处理作业。 新建算子 在左侧菜单栏中,单击“数据处理 > 数据处理”。 选择“算子管理”页签,单击“新建算子”。 图1 新建算子 表1 新建算子参数 参数 说明 名称 算子名称,不得超过64个字符。支持中英文、数字、“-”、“_”,不支持特殊字符。
作业队列 平台为脱敏作业提供作业队列的功能,用户可在此查看任务队列,同时支持对任务优先级的调整。 其他租户的队列作业不允许操作。 在左侧菜单栏中单击“数据合规”。 选择“数据脱敏 > 作业队列”页签,可查看作业。 图1 作业队列 父主题: 数据脱敏
场景挖掘 场景挖掘 内置场景挖掘规则 父主题: 源数据包
回收站 Octopus平台支持用户删除数据包,执行删除操作的数据包将暂存回收站,等待用户可根据项目情况及时恢复或永久删除。具体操作参考如下: 在“数据包”页签,单击指定数据包操作栏内的“删除”。 确认后单击“确认删除”,删除后的数据包将放入回收站。 图1 删除数据包 查看数据包状态。
场景挖掘 平台支持基于内置场景挖掘算法和场景识别大模型挖掘的能力,对数据包进行场景挖掘。具体操作步骤如下: 在左侧菜单栏中,单击“数据资产 > 源数据包”。 选择“数据包”页签,单击操作栏中的“详情”,进入数据包详情页。 单击数据包信息的“场景挖掘”,后台会自动进行内置场景挖掘。
内置场景挖掘规则 内置场景挖掘算法都是基于规则进行片段挖掘。平台支持的内置场景挖掘规则如下: 道路---道路环境---高速 检验规格: 包含高精地图信息 主车行驶区域road级别type为motorway 道路---道路环境---城市快速路 检验规格: 包含高精地图信息 主车行驶
Resim作业(回放仿真) 作业输入输出规范 示例镜像制作 父主题: 算子示例
Octopus开发基本流程? Octopus是一站式自动驾驶开发平台,从数据收集上云,到自动化处理数据,自动或手动标注数据,创建并增量更新数据集,并将数据集用于模型训练,以及基于特定场景的在线仿真,用户都可以在Octopus平台上完成。 图1 Octopus开发流程 采集数据 指
示例镜像制作 Octopus平台依赖算子镜像内的/bin/bash、stdbuf、tee软件,请确保基础镜像内包含上述软件且能通过PATH找到。 Dockerfile示例 启动命令: bash /home/Octopus/run.sh 镜像构建: docker build -f Dockerfile
获取轨迹统计 功能介绍 获取轨迹统计 URI GET /v1.0/{project_id}/data/mileage-statistics 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目id,获取方法请参见获取项目ID 表2 Query参数
创建算子 在左侧菜单栏中,单击“数据处理 > 数据处理”。 选择“算子管理”页签,单击“新建算子”。 图1 新建算子 表1 新建算子参数 参数 说明 名称 算子名称,不得超过64个字符。支持中英文、数字、“-”、“_”,不支持特殊字符。 描述 算子内容、用途等的简要描述,不包含“@#$%^&*<
作业输入输出规范 运行resim容器时,Octopus平台向容器中注入以下环境变量: rosbag_path: 作为输入的rosbag存放路径,例如/tmp/data/20220620.bag output_dir: resim作业的运行结果输出的目录,例如/tmp/output
消息topic格式规范 Vehicle 对于车辆自身基本数据录制的消息格式,需遵循一定规范,其中部分字段为必选,其他请根据实际需要自由选取。 表1 vehicle消息格式规范 格式名称 说明 VehicleInfo 车辆信息 消息格式中部分参数为必选,如使用该数据类型,则不可缺少
消息topic格式示例 Vehicle Vehicle格式示例: vehicle_info { stamp_secs: 1604996332 stamp_nsecs: 847945211 autonomy_status: 0 gear_value: 4 vehicle_speed:
删除导入任务 功能介绍 删除导入任务 URI DELETE /v1.0/{project_id}/data/import-records/{id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目id,获取方法请参见获取项目ID id 是
环境变量使用说明 镜像运行时,会向运行环境注入部分默认文件配置: 表1 环境变量说明 任务名称 文件名 环境变量 数据集任务 数据集待筛选数据目录 OCTPS_DATASET_DIR 数据集筛选结果数据目录 TARGET_RESULT_DIR="/tmp/…/result/data"
基本概念 抽帧 抽帧是将解压后的Rosbag数据,抽出单幅画面,生成图片数据或者视频数据。 自动驾驶汽车在进行测试时会产生大量数据,车企需要对这些数据高效处理与分析,因此在进行自动驾驶研究时需要对这些原始数据有选择性、针对性地进行提取和分析,抽帧便是一种筛选数据的方式。针对数据类