检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据处理简介 数据处理可对自动驾驶过程中采集到的数据进行处理、解析，处理的结果可以用于回访定位问题，并可根据不同功能的算子生成不同的数据处理作业。数据处理操作引导如下： 数据批导：创建数据导入任务，收集采集车辆原始数据。 数据处理：支持根据自定义数据服务算子，对数据包进行处理，创建不同类型的作业
数据处理 创建算子 批导数据 处理数据 父主题： 自动驾驶云服务全流程开发
数据处理 作业总览 作业队列 算子管理 算子示例 父主题： 数据处理
数据处理 数据处理简介 数据批导 数据处理 回放仿真
处理数据 在作业总览中平台支持创建数据标记，数据图表、数据回放、数据集等作业，数据包选择相对应的算子就可以触发相对应的作业。 数据回放类型的算子作业不需要选择输出仓库。 当选择数据集算子时，数据类型可支持选择通用存储。 创建作业 在左侧菜单栏中，单击“数据处理 > 数据处理”。 选择
数据提取作业（数据集） 作业输入输出规范 Input 平台会以环境变量的形式提供以下参数： rosbag_path： rosbag路径，以.bag结尾。 output_dir：最终输出数据集路径。 tmp_dir：供用户存储临时文件的目录。 task_content_json：人工打标需要的标签信息
作业队列 平台为算子作业、内部作业和脱敏作业提供作业队列的功能，用户可在此查看任务队列，同时支持对任务优先级的调整。 其他租户的队列作业不允许操作。 在左侧菜单栏中单击“数据服务 > 数据处理”。 选择“作业队列”页签，可根据作业类型（算子作业或内部作业）查看作业。 数据处理作业队列相关操作
算子管理 平台支持自定义创建不同类型的算子，用于不同的数据处理作业。 新建算子 在左侧菜单栏中，单击“数据处理 > 数据处理”。 选择“算子管理”页签，单击“新建算子”。 表1 新建算子参数 参数 说明 名称 算子名称，不得超过64个字符。支持中英文、数字、“-”、“_”，不支持特殊字符
算子示例 Rosbag转OpenData作业（数据回放） 场景挖掘作业（数据标记） 数据提取作业（数据集） Resim作业（回放仿真） 父主题： 数据处理
作业总览 在作业总览中平台支持创建数据标记，数据图表、数据回放、数据集等作业，数据包选择相对应的算子就可以触发相对应的作业。 数据回放类型的算子作业不需要选择输出仓库。 当选择数据集算子时，数据类型可支持选择通用存储和数据场景。 创建作业（数据包） 在左侧菜单栏中，选择“数据处理
场景挖掘作业（数据标记） 作业输入输出规范 用户完成自定义场景挖掘镜像上传后，在运行作业容器时，Octopus平台会向作业容器中注入以下环境变量： rosbag_path: 作为数据源的rosbag存放路径，例如/tmp/data/20220620.bag output_dir:
作业队列 平台为回放仿真任务提供作业队列的功能，用户可在此查看任务队列，同时支持对任务优先级的调整。 其他租户的队列作业不允许操作。 在左侧菜单栏中单击“数据处理 > 回放仿真”。 选择“作业队列”页签，查看作业。 回放仿真作业队列相关操作 在“作业队列”页签，还可以进行以下操作。
Resim作业（回放仿真） 作业输入输出规范 运行resim容器时，Octopus平台向容器中注入以下环境变量： rosbag_path: 作为输入的rosbag存放路径，例如/tmp/data/20220620.bag output_dir: resim作业的运行结果输出的目录，
数据批导简介 在使用平台进行自动驾驶开发时，首先需要用户把原始数据上传至Octopus平台，即数据上云。下文介绍了通过对象存储导入数据的方式，帮助用户把车载平台输出的数据上传至Octopus平台上。 对象存储导入数据：用户需先将数据包上传至对象存储桶（可自定义）中，再导入到Octopus
Rosbag转OpenData作业（数据回放） 作业输入输出规范 用户完成自定义Rosbag转OpenData算子创建，运行作业容器时Octopus平台向其中注入以下环境变量： rosbag_path: 作为数据源的rosbag存放路径，例如/tmp/data/20220620.bag
数据批导 数据批导简介 数据导入 数据包格式 父主题： 数据处理
任务管理 回放仿真功能支持创建回放仿真作业，数据包选择回放仿真算子就可以触发相对应的作业。 创建作业 在左侧菜单栏中，单击“数据处理 > 回放仿真”。 选择“作业总览”页签，单击“创建作业”。 处理算子：根据需要选择回放仿真算子。 资源规格：当前项目中可用的资源规格，资源配置需要平台管理员在集群纳管中创建
数据导入 对象存储导入数据 把原始数据上传至平台前，可将数据包上传至对象存储中，从对象存储导入平台。操作步骤如下： 在左侧菜单栏中，选择“数据处理 > 数据批导”。 在“数据导入”页签单击“导入”，填写具体信息。 选择目标数据包所在的对象存储路径，平台将自动扫描该目录下所有子目录。
数据包格式 上传数据格式 转换后数据格式 消息topic格式规范 消息topic格式示例 父主题： 数据批导
回放仿真 任务管理 作业队列 父主题： 数据处理
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
