上传数据格式 在使用Octopus平台收集数据前,请仔细阅读本章节,确保上传数据格式符合平台要求,有助于用户更快速地完成数据收集以及数据格式转换。 上传数据格式:单包上传大小小于200GB。 转换后数据格式:OpenData格式。 使用场景 Octopus平台接收数据包(数据包至
转换后数据格式 Octopus平台支持将上传的Rosbag格式转换为OpenData格式。 数据类型 Octopus平台对数据有以下要求: 数据类型:包括各传感器数据、车辆数据、目标推理数据、自车坐标姿态以及标签记录数据等。 数据格式:Octopus OpenData格式。其中相机采集数据文件后缀为“
上传数据格式 在使用Octopus平台收集数据前,请仔细阅读本章节,确保上传数据格式符合平台要求,有助于用户更快速地完成数据收集以及数据格式转换。 上传数据格式:单包上传大小小于200GB。 转换后数据格式:OpenData格式。 使用场景 Octopus平台接收数据包(数据包至
数据包格式 上传数据格式 转换后数据格式 消息topic格式规范 消息topic格式示例 父主题: 源数据包
数据包格式 上传数据格式 转换后数据格式 消息topic格式规范 消息topic格式示例 父主题: 数据批导
数据处理简介 数据处理可对自动驾驶过程中采集到的数据进行处理、解析,处理的结果可以用于回访定位问题,并可根据不同功能的算子生成不同的数据处理作业。数据处理操作引导如下: 数据批导:创建数据导入任务,收集采集车辆原始数据。 数据处理:支持根据自定义数据服务算子,对数据包进行处理,创建不同类型的作业。
数据批导简介 在使用平台进行自动驾驶开发时,首先需要用户把原始数据上传至Octopus平台,即数据上云。下文介绍了通过对象存储导入数据的方式,帮助用户把车载平台输出的数据上传至Octopus平台上。 对象存储导入数据:用户需先将数据包上传至对象存储桶(可自定义)中,再导入到Oct
源数据包 数据包格式 查看源数据包 场景挖掘 数据回放 回收站 父主题: 数据资产
数据资产简介 在自动驾驶产品的开发过程中,海量的数据存储和管理是当前自动驾驶平台面临的业务挑战之一。 Octopus平台的数据服务模块提供了海量数据采集、存储以及数据并行处理等功能,供后续服务进行统一使用。数据服务开发流程如下: 图1 数据服务开发流程 地图管理:支持上传高精地图数据,可用于数据回放、仿真场景等功能。
在“数据集”列表,选择操作栏的“添加数据”,填写数据信息,单击“创建”。 在数据集详情页,也可以单击 “添加数据” ,为数据集添加数据。 新添加的数据会先进入待发布区。添加数据时,需要设置数据集输出模式及目标路径(仅数据集数据格式不为OCTOPUS时可设置),其他参数可参考4: 模式: 全量替换
是 String 数据集形式 枚举值: DATASET(数据集) SUBSET(子集) source_dataset_id 否 String 子集的源数据集id,当dataset_form取值为SUBSET时必填 data_source 是 String 数据集来源 枚举值: LABEL(标注任务)
难例数据集 可选择“全部数据集”、“仅难例数据集”、“非仅难例数据集”。 数据来源:OBS 表3 数据来源为OBS的数据集 参数 说明 数据来源 选择数据来源,此处选择“OBS”。 数据类型 选择数据类型,可选择“图片”、“3D点云”、“音频”和“文本”。 数据格式 选择数据格式,
数据合规简介 数据合规服务是自动驾驶云服务为用户提供数据硬盘递送、数据监管服务。 支持对上传合规服务的数据包进行脱敏处理,提供合规脱敏能力,支持将数据包中人脸、车牌、点云脱敏。 支持用户使用合规服务创建脱敏算子、下发脱敏任务。 在使用数据合规服务之前,需要先购买合规服务和数据服务。如何购买服务?
数据集版本 获取数据集版本列表 创建数据集版本 获取数据集版本详情 删除数据集版本 父主题: API
数据集版本 表1 数据集版本权限 权限 对应API接口 授权项(Action) IAM项目 (Project) 企业项目 (Enterprise Project) 获取数据集版本列表 GET /v1.0/{project_id}/common/datasets/{dataset_id}/versions
验,打通孤岛工具链,以实车数据驱动算法迭代模型和仿真评价。Octopus分别提供以下功能: 数据服务 以数据为核心。 提供数据批导、源数据包、数据处理、数据缓存、数据集管理。 数据结构化:处理车载硬件平台上输出的传感器数据,详细统计各类传感器信息。 数据集治理:支持PB级海量存储。
数据脱敏作业 作业输入输出规范 用户完成自定义脱敏算子创建,运行作业容器时Octopus平台向其中注入以下环境变量: input_file:待脱敏的文件路径 raw_dir:抽取的image,gnss,lidar数据存放路径 desensitized_dir:脱敏后的image,gnss,lidar数据存放路径
查看源数据包 原始数据包含车辆采集的各类传感器数据信息,数据导入任务创建完毕后,平台对数据包进行扫描,此模块展示导入成功的数据包。 数据包列表 在左侧菜单栏中,选择“数据资产 > 源数据包”。 在“数据包”页签,默认显示数据包列表。 单击列表右上角,可切换至图片视图。 表1 图表视图相关操作
获取数据包topic回放数据临时链接 功能介绍 获取数据包topic回放数据临时链接 URI GET /v1.0/{project_id}/data/packages/{id}/replay-data 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String
制作镜像(数据集) Dockerfile示例 环境变量使用说明 父主题: 镜像仓库
您即将访问非华为云网站,请注意账号财产安全