检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何查看Octopus与OBS桶是否在同一区域? 在使用Octopus各功能时,如创建训练作业、创建数据集等,涉及到需要指定OBS目录时,都需要保证此OBS桶与Octopus在同一区域。 查看OBS桶与Octopus是否在同一区域 查看创建的OBS桶所在区域。 登录OBS管理控制台。
处理数据 在作业总览中平台支持创建数据标记,数据图表、数据回放、数据集等作业,数据包选择相对应的算子就可以触发相对应的作业。 数据回放类型的算子作业不需要选择输出仓库。 当选择数据集算子时,数据类型可支持选择通用存储。 创建作业 在左侧菜单栏中,单击“数据处理 > 数据处理”。
数据缓存 提供专用高速文件存储功能,加速训练和评测读取数据集的速度。 在数据集列表(数据资产 > 数据集)中,单击操作栏中的“缓存加速”。 在数据缓存界面出现缓存的数据。 父主题: 数据资产
} Camera 采集的camera数据通过转换工具可以保存为“.jpg”图片数据。 Lidar 采集的点云数据通过转换工具可以保存为标准的pcd格式数据。 Gnss 对于卫星导航系统数据录制的消息格式,需遵循一定规范,其中部分字段为必选,其他请根据实际需要自由选取。 表2 gnss消息格式规范
} Camera 采集的camera数据通过转换工具可以保存为“.jpg”图片数据。 Lidar 采集的点云数据通过转换工具可以保存为标准的pcd格式数据。 Gnss 对于卫星导航系统数据录制的消息格式,需遵循一定规范,其中部分字段为必选,其他请根据实际需要自由选取。 表2 gnss消息格式规范
算子示例 数据脱敏作业 父主题: 数据脱敏
算子示例 Rosbag转OpenData作业(数据回放) 场景挖掘作业(数据标记) 数据提取作业(数据集) Resim作业(回放仿真) 父主题: 数据处理
场景挖掘 场景挖掘 内置场景挖掘规则 父主题: 源数据包
如何调用API 构造请求 认证鉴权 返回结果
数据资产简介 在自动驾驶产品的开发过程中,海量的数据存储和管理是当前自动驾驶平台面临的业务挑战之一。 Octopus平台的数据服务模块提供了海量数据采集、存储以及数据并行处理等功能,供后续服务进行统一使用。数据服务开发流程如下: 图1 数据服务开发流程 地图管理:支持上传高精地图数据,可用于数据回放、仿真场景等功能。
false:无效标注帧, 该参数不传:全部标注帧(数据集来源为标注时选填参数) hard_mining 否 Boolean true:仅难例数据集,false:非难例数据集,该参数不传:全部数据集(数据集来源为标注时选填参数) status 否 String 状态,数据集来源(data_source)为标注(LABEL)时必填
获取数据包topic回放数据临时链接 功能介绍 获取数据包topic回放数据临时链接 URI GET /v1.0/{project_id}/data/packages/{id}/replay-data 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String
上传数据格式 在使用Octopus平台收集数据前,请仔细阅读本章节,确保上传数据格式符合平台要求,有助于用户更快速地完成数据收集以及数据格式转换。 上传数据格式:单包上传大小小于100G。 转换后数据格式:OpenData格式。 使用场景 Octopus平台接收Rosbag格式数
上传数据格式 在使用Octopus平台收集数据前,请仔细阅读本章节,确保上传数据格式符合平台要求,有助于用户更快速地完成数据收集以及数据格式转换。 上传数据格式:单包上传大小小于100G。 转换后数据格式:OpenData格式。 使用场景 Octopus平台接收Rosbag格式数
Resim作业(回放仿真) 作业输入输出规范 示例镜像制作 父主题: 算子示例
数据批导简介 在使用平台进行自动驾驶开发时,首先需要用户把原始数据上传至Octopus平台,即数据上云。下文介绍了通过对象存储导入数据的方式,帮助用户把车载平台输出的数据上传至Octopus平台上。 对象存储导入数据:用户需先将数据包上传至对象存储桶(可自定义)中,再导入到Oct
数据集管理 数据集建成后,在“数据集”列表,可对数据集进行以下操作。 表1 数据集列表相关操作 任务 操作步骤 查找数据集 在搜索输入框中输入搜索条件,按回车键即可查询。 查看数据集详情 在“数据集”列表,单击目标数据集名称,查看数据集详情、数据预览、版本管理,详情请参考数据集详情。
获取数据仓库的数据列表 功能介绍 获取数据仓库的数据列表 URI POST /v1.0/{project_id}/common/warehouses/{data_warehouse_id}/data 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String
查看用户拥有的OBS服务权限,可参考如何查看用户拥有的权限? 单击“确认”,等待数据集导出。 查看导出的数据集。 单击“导出任务”页面,即可看到导出任务,可对任务进行删除操作。 在指定的OBS桶中(如“Octopus-beijing1”)可以看到下载的数据集文件夹目录,将包含该数据集的全部文件。 图2
} Camera 采集的camera数据通过转换工具可以保存为”.jpg”图片数据。 Lidar 采集的点云数据通过转换工具可以保存为标准的pcd格式数据。 Gnss 对于卫星导航系统数据录制的消息格式,需遵循一定规范,其中部分字段为必选,其他请根据实际需要自由选取。 表2 gnss消息格式规范