自动驾驶云服务 OCTOPUS-数据脱敏作业:作业输入输出规范

时间：2024-05-11 16:52:38

自动驾驶云服务 OCTOPUS 算子示例

作业输入输出规范

用户完成自定义脱敏算子创建，运行作业容器时Octopus平台向其中注入以下环境变量：

input_file：待脱敏的文件路径
raw_dir：抽取的image，gnss，lidar数据存放路径
desensitized_dir：脱敏后的image，gnss，lidar数据存放路径
output_dir：脱敏后的文件存放路径

用户根据需要可以自定义环境变量，以rosbag文件为例，可以定义如下环境变量：

rosbag_version：robag版本
image_topics：图像数据topic列表
gnss_topic：gnss数据topic
lidar_topics：lidar数据topic列表

用户作业容器需要将input_file中的image，gnss，lidar数据抽取到raw_dir，待系统内置算子脱敏完成，并将脱敏后的数据存放到desensitized_dir后，用户算子根据input_file和desensitized_dir中的脱敏数据生成新的数据文件存放到output_dir。

文件结构如下：

-raw
--image
---topic0
----timestamp1.jpg
----timestamp2.jpg
---topic1
----timestamp1.jpg
--gnss
---gnss_topic.json
--lidar
---pcd_topic0
----timestamp0.pcd
----timestamp1.pcd
--SUC CES S
-desensitized
--image
---topic0
----timestamp1.jpg
----timestamp2.jpg
---topic1
----timestamp1.jpg
--gnss
---gnss_topic.json
--lidar
---pcd_topic0
----timestamp0.pcd
----timestamp1.pcd
--SUCCESS
-output
--test.bag
--SUCCESS

其中，“SUCCESS”文件为标识文件，标识所在阶段的任务结束。

上一篇：自动驾驶云服务 OCTOPUS-数据脱敏作业:构建镜像

下一篇：自动驾驶云服务 OCTOPUS-数据脱敏作业:构建镜像