检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
平台对接数据格式有哪些要求? 上传数据格式 转换后数据格式 消息topic格式规范 消息topic格式示例 父主题: 数据服务常见问题
可缓存数据集至“数据缓存”模块。 数据集详情 在“数据集”列表,单击数据集名称,进入数据集详情界面。 查看数据详情。 数据详情页签展示了数据集ID、名称、描述、数据来源、数据集类型等信息。 同时包含“待发布区”、“版本管理”和“子集管理”三个模块。 查看数据预览。 数据预览页签
数据资产简介 在自动驾驶产品的开发过程中,海量的数据存储和管理是当前自动驾驶平台面临的业务挑战之一。 Octopus平台的数据服务模块提供了海量数据采集、存储以及数据并行处理等功能,供后续服务进行统一使用。数据服务开发流程如下: 图1 数据服务开发流程 地图管理:支持上传高精地图数据,可用于数据回放、仿真场景等功能。
数据批导简介 在使用平台进行自动驾驶开发时,首先需要用户把原始数据上传至Octopus平台,即数据上云。下文介绍了通过对象存储导入数据的方式,帮助用户把车载平台输出的数据上传至Octopus平台上。 对象存储导入数据:用户需先将数据包上传至对象存储桶(可自定义)中,再导入到Oct
数据总览 在数据总览页面可查看平台数据服务的统计数据,帮助用户快速了解各项数据关键指标和业务的健康情况。 进入总览数据页面: 登录Octopus服务平台,在左侧菜单栏中单击“数据资产 > 数据总览”。 图1 数据总览 表1 总览页面说明 序号 区域名称 说明 1 采集数据统计 平
数据递送 数据递送流程如下: 图1 数据递送流程图 新建订单 在左侧菜单栏中,单击“数据合规”。 选择“数据递送”页签,单击“新建订单”。 数据盘个数:设置数据盘个数,输入值必须在1到12之间。 备注:简要描述订单信息。 勾选“我已阅读并同意《八爪鱼自动驾驶云服务声明》”。 单击
数据导入 对象存储导入数据 把原始数据上传至平台前,可将数据包上传至对象存储中,从对象存储导入平台。操作步骤如下: 在左侧菜单栏中,选择“数据处理 > 数据批导”。 在“数据导入”页签单击“导入”,填写具体信息。 选择目标数据包所在的对象存储路径,平台将自动扫描该目录下所有子目录
数据提取作业(数据集) 作业输入输出规范 Input 平台会以环境变量的形式提供以下参数: rosbag_path: rosbag路径,以.bag结尾。 output_dir:最终输出数据集路径。 tmp_dir:供用户存储临时文件的目录。 task_content_json:人
处理数据 在作业总览中平台支持创建数据标记,数据图表、数据回放、数据集等作业,数据包选择相对应的算子就可以触发相对应的作业。 数据回放类型的算子作业不需要选择输出仓库。 当选择数据集算子时,数据类型可支持选择通用存储。 创建作业 在左侧菜单栏中,单击“数据处理 > 数据处理”。
上传数据格式 在使用Octopus平台收集数据前,请仔细阅读本章节,确保上传数据格式符合平台要求,有助于用户更快速的完成数据收集以及数据格式转换。 上传数据格式:Rosbag包+与数据包同名的yaml文件,单包上传大小小于100G。 转换后数据格式:OpenData格式(内必含O
标签管理 标签管理中的标签分为平台内置标签和用户自定义标签。 平台内置标签详情请查看表1 内置标签列表。用户还可根据实际需求,自定义设置需要的标签。 当前支持两种方式添加标签:手动在线创建和导入标签。 表1 内置标签列表 场景分类 子类 标签 道路 道路环境 高速 城市快速路 城市主干道
批导数据 原始数据采集完毕之后,需要将原始数据转换成适合Octopus平台的数据格式,以便于更快速地完成数据处理。 创建数据导入任务 在左侧菜单栏中,单击“数据处理 > 数据批导”。 选择“数据导入”页签,单击“导入”。 选择“对象存储导入”页签,填写具体信息。 选择目标数据包所
数据缓存 用户购买自动驾驶数据管理缓存扩容包后,可使用数据缓存功能提供专用高速文件存储,加速训练和评测读取数据集的速度。需确保待缓存的数据集中的所有数据均已发布成功。 确认待缓存数据集中是否存在未发布的数据。 在数据集列表(数据资产 > 数据集)中,单击数据集名称,查看“数据详情
、100Mbps带宽。 查看数据回放 数据回放页面详细说明如下: 图1 数据回放详情页 表1 数据回放页面详细说明 序号 区域名称 说明 1 主车运行状态数据 自动驾驶和人工接管的相关数据信息。如加速度、速度和方向盘数据,数据随着采集车辆的行驶动态变化。 2 数据列表 回放图层参考回放图层信息。
上传数据格式 在使用Octopus平台收集数据前,请仔细阅读本章节,确保上传数据格式符合平台要求,有助于用户更快速地完成数据收集以及数据格式转换。 上传数据格式:单包上传大小小于200GB。 转换后数据格式:OpenData格式。 使用场景 Octopus平台接收数据包(数据包至
上传数据格式 在使用Octopus平台收集数据前,请仔细阅读本章节,确保上传数据格式符合平台要求,有助于用户更快速地完成数据收集以及数据格式转换。 上传数据格式:单包上传大小小于200GB。 转换后数据格式:OpenData格式。 使用场景 Octopus平台接收数据包(数据包至
转换后数据格式 Octopus平台支持将上传的Rosbag格式转换为OpenData格式。 数据类型 Octopus平台对数据有以下要求: 数据类型:包括各传感器数据、车辆数据、目标推理数据、自车坐标姿态以及标签记录数据等。 数据格式:Octopus OpenData格式。其中相机采集数据文件后缀为“
输出类型 可选择“数据标记”,“数据集”,“数据回放”,“回放仿真”,“数据图表”和“数据脱敏”。 数据标记:用于场景挖掘作业(Rosbag to场景片段)。 数据回放:输出结果是OpenData格式(Rosbag to OpenData)。 数据集:用于数据抽取作业,输出至通用存储(Rosbag
转换后数据格式 Octopus平台支持将上传的Rosbag格式转换为OpenData格式。 数据类型 Octopus平台对数据有以下要求: 数据类型:包括各传感器数据、车辆数据、目标推理数据、自车坐标姿态以及标签记录数据等。 数据格式:Octopus OpenData格式。其中相机采集数据文件后缀为“
转换后数据格式 Octopus平台支持将上传的Rosbag格式转换为OpenData格式。 数据类型 Octopus平台对数据有以下要求: 数据类型:包括各传感器数据、车辆数据、目标推理数据、自车坐标姿态以及标签记录数据等。 数据格式:Octopus OpenData格式。其中相机采集数据文件后缀为“