检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据服务常见问题 标定文件上传失败的原因? 平台对接数据格式有哪些要求?
上传数据格式 在使用Octopus平台收集数据前,请仔细阅读本章节,确保上传数据格式符合平台要求,有助于用户更快速的完成数据收集以及数据格式转换。 上传数据格式:Rosbag包+与数据包同名的yaml文件,单包上传大小小于100G。 转换后数据格式:OpenData格式(内必含O
枚举值: DATA_MARK(数据标记) OPEN_DATA(数据回放) DATA_SET(数据集) REPLAY_SIM(回放仿真) PLOT_DATA(数据图表) DATA_DESENSITIZATION(数据脱敏) PACKAGE_IMPORT(数据包导入) PACKAGE_DELETE(数据包删除)
转换后数据格式 Octopus平台支持将上传的Rosbag格式转换为OpenData格式。 数据类型 Octopus平台对数据有以下要求: 数据类型:包括各传感器数据、车辆数据、目标推理数据、自车坐标姿态以及标签记录数据等。 数据格式:Octopus OpenData格式。其中相机采集数据文件后缀为“
数据准备 创建算子 批导数据 处理数据 父主题: 自动驾驶云服务全流程开发
路面”,控制高精地图路面显示或者隐藏。 数据图表 在数据回放过程中,数据图表以曲线的形式显示各个数据指标值变化情况。 选择“数据图表”页签,单击“添加图表”。 选择配置。 单击“确认”,左侧数据图表侧以曲线的形式展示数据。 对比回放源 数据回放页面,单击左侧“回放图层”下的“对比回放源”。
地图管理:支持上传高精地图数据,可用于数据回放、仿真场景等功能。 标定管理:支持车辆、车辆传感器标定的配置,方便即时管理车辆以及标定信息。 源数据包:此模块展示导入成功的数据包,支持对源数据包的查看,回放等功能。 数据场景:平台处理完原始采集数据后,平台支持内置和自定义场景挖掘算法,可自动提取对应场景行为的片段,展示在此模块中。
数据处理简介 数据处理可对自动驾驶过程中采集到的数据进行处理、解析,处理的结果可以用于回访定位问题,并可根据不同功能的算子生成不同的数据处理作业。数据处理操作引导如下: 数据批导:创建数据导入任务,收集采集车辆原始数据。 数据处理:支持根据自定义数据服务算子,对数据包进行处理,创建不同类型的作业。
单击“确认”新建一个数据合规订单并查看订单号。 上传数据包 获取传输配置。 在订单的“操作”列单击“获取传输配置”,获取传输配置,包括目标桶、导入目录、访问密钥 (AK)和私有访问密钥 (SK)。 准备待脱敏的数据包。 图商采集的数据在上传至八爪鱼平台前,需要对数据包中的文件夹梳理,
数据导入 对象存储导入数据 把原始数据上传至平台前,可将数据包上传至对象存储中,从对象存储导入平台。操作步骤如下: 在左侧菜单栏中,选择“数据处理 > 数据批导”。 在“数据导入”页签单击“导入”,填写具体信息。 选择目标数据包所在的对象存储路径,平台将自动扫描该目录下所有子目录
数据合规简介 数据合规服务是自动驾驶云服务为用户提供数据硬盘递送、数据监管服务。 支持对上传合规服务的数据包进行脱敏处理,提供合规脱敏能力,支持将数据包中人脸、车牌、点云脱敏。 支持用户使用合规服务创建脱敏算子、下发脱敏任务。 在使用数据合规服务之前,需要先购买合规服务和数据服务。如何购买服务?
数据导入 获取导入任务列表 创建数据包导入任务 获取导入任务详情 删除导入任务 启动数据导入任务 父主题: API
处理数据 在作业总览中平台支持创建数据标记,数据图表、数据回放、数据集等作业,数据包选择相对应的算子就可以触发相对应的作业。 数据回放类型的算子作业不需要选择输出仓库。 当选择数据集算子时,数据类型可支持选择通用存储。 创建作业 在左侧菜单栏中,选择“数据处理 > 数据处理”。
查看源数据包 原始数据包含车辆采集的各类传感器数据信息,数据导入任务创建完毕后,平台对数据包进行扫描,此模块展示导入成功的数据包。 数据包列表 在左侧菜单栏中,选择“数据资产 > 源数据包”。 在“数据包”页签,默认显示数据包列表。 单击列表右上角,可切换至图片视图。 表1 图表视图相关操作
数据场景 场景展示 标签管理 父主题: 数据资产
数据总览 在数据总览页面可查看平台数据服务的统计数据,帮助用户快速了解各项数据关键指标和业务的健康情况。 进入总览数据页面: 登录Octopus服务平台,在左侧菜单栏中单击“数据资产 > 数据总览”。 图1 数据总览 表1 总览页面说明 序号 区域名称 说明 1 采集数据统计 平
数据缓存 用户购买自动驾驶数据管理缓存扩容包后,可使用数据缓存功能提供专用高速文件存储,加速训练和评测读取数据集的速度。需确保待缓存的数据集中的所有数据均已发布成功。 确认待缓存数据集中是否存在未发布的数据。 在数据集列表(数据资产 > 数据集)中,单击数据集名称,查看“数据详情
数据提取作业(数据集) 作业输入输出规范 Input 平台会以环境变量的形式提供以下参数: rosbag_path: rosbag路径,以.bag结尾。 output_dir:最终输出数据集路径。 tmp_dir:供用户存储临时文件的目录。 task_content_json:人
一个trigger图标,鼠标悬浮上去,会在右上角列出所有trigger的内容。 数据图表 单击“数据源”,选择“添加数据源”。 选择数据源后,数据图表显示选择的评测对象。 当3D回放在播放的同时,数据图表中会有标准线跟随时间轴同时移动。 感知物体类型 由于各类仿真器对交通参与物类
数据回放 获取数据片段统计 获取数据片段列表 数据片段详情 获取数据包topic回放索引 获取数据包topic回放数据临时链接 创建回放转仿真场景作业 查询回放转仿真场景作业状态 父主题: API