检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据缓存 用户购买自动驾驶数据管理缓存扩容包后,可使用数据缓存功能提供专用高速文件存储,加速训练和评测读取数据集的速度。需确保待缓存的数据集中的所有数据均已发布成功。 确认待缓存数据集中是否存在未发布的数据。 在数据集列表(数据资产 > 数据集)中,单击数据集名称,查看“数据详情
数据集版本 获取数据集版本列表 创建数据集版本 获取数据集版本详情 删除数据集版本 父主题: API
上传数据格式 在使用Octopus平台收集数据前,请仔细阅读本章节,确保上传数据格式符合平台要求,有助于用户更快速地完成数据收集以及数据格式转换。 上传数据格式:单包上传大小小于200GB。 转换后数据格式:OpenData格式。 使用场景 Octopus平台接收数据包(数据包至
数据集版本 表1 数据集版本权限 权限 对应API接口 授权项(Action) IAM项目 (Project) 企业项目 (Enterprise Project) 获取数据集版本列表 GET /v1.0/{project_id}/common/datasets/{dataset_id}/versions
上传数据格式 在使用Octopus平台收集数据前,请仔细阅读本章节,确保上传数据格式符合平台要求,有助于用户更快速地完成数据收集以及数据格式转换。 上传数据格式:单包上传大小小于200GB。 转换后数据格式:OpenData格式。 使用场景 Octopus平台接收数据包(数据包至
AB类均匀权重(Average)评分方案 该方案同样分为AB两类指标,其中A类总分为60分,B类总分为40分,A类指标按均匀权重扣分,B类指标同样按均匀权重扣分。 AB类均匀权重评分原则(Principle) A类60分,各A类指标得分权重相同。 B类40分,各B类指标得分权重相同。
payload String 删除数据 meta_info MetaInfo object 元数据 表4 MetaInfo 参数 参数类型 描述 current_time String 请求时间,UTC时间格式,时间为UTC标准时间 请求示例 删除数据集 DELETE https://{endpoint}/v1
String 子集的源数据集ID latest_version Integer 最新版本 data_source String 数据来源 枚举值: LABEL(标注) LOCAL(本地) OBS HOUSE(数据仓库) DATASET(数据集) owner String 数据集类型 枚举值:
false:无效标注帧, 该参数不传:全部标注帧(数据集来源为标注时选填参数) hard_mining 否 Boolean true:仅难例数据集,false:非难例数据集,该参数不传:全部数据集(数据集来源为标注时选填参数) status 否 String 状态,数据集来源(data_source)为标注(LABEL)时必填
数据资产简介 在自动驾驶产品的开发过程中,海量的数据存储和管理是当前自动驾驶平台面临的业务挑战之一。 Octopus平台的数据服务模块提供了海量数据采集、存储以及数据并行处理等功能,供后续服务进行统一使用。数据服务开发流程如下: 图1 数据服务开发流程 地图管理:支持上传高精地图数据,可用于数据回放、仿真场景等功能。
转换后数据格式 Octopus平台支持将上传的Rosbag格式转换为OpenData格式。 数据类型 Octopus平台对数据有以下要求: 数据类型:包括各传感器数据、车辆数据、目标推理数据、自车坐标姿态以及标签记录数据等。 数据格式:Octopus OpenData格式。其中相机采集数据文件后缀为“
转换后数据格式 Octopus平台支持将上传的Rosbag格式转换为OpenData格式。 数据类型 Octopus平台对数据有以下要求: 数据类型:包括各传感器数据、车辆数据、目标推理数据、自车坐标姿态以及标签记录数据等。 数据格式:Octopus OpenData格式。其中相机采集数据文件后缀为“
text2.json #该文本文件的所有标注信息 标注数据.json文件说明 数据集中必含“.json”文件,用于集合该文本文件的所有标注数据信息,包括该文本所在的项目id、数据包id、文本上所有标注信息等。上传数据集前请保证“.json”文件内容正确。“.json”文件编写的参考样例如下:
audio2.json #该音频文件的所有标注信息 标注数据.json文件说明 数据集中必含“.json”文件,用于集合该音频文件的所有标注数据信息,包括该音频所在的项目id、数据包id、音频上所有标注信息等。上传数据集前请保证“.json”文件内容正确。“.json”文件编写的参考样例如下:
制作镜像(数据集) Dockerfile示例 环境变量使用说明 父主题: 镜像仓库
vehicle_info = 1。 } Camera 采集的camera数据通过转换工具可以保存为”.jpg”图片数据。 Lidar 采集的点云数据通过转换工具可以保存为标准的pcd格式数据。 Gnss 对于卫星导航系统数据录制的消息格式,需遵循一定规范,其中部分字段为必选,其他请根据实际需要自由选取。
模型数据集支持 目标检测2D 目标检测3D 目标追踪2D 目标追踪3D 语义分割2D 语义分割3D 车道线检测 分类 父主题: 模型评测
获取数据集版本详情 功能介绍 获取数据集版本详情 URI GET /v1.0/{project_id}/common/datasets/{dataset_id}/versions/{version_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String
payload String 删除数据 meta_info MetaInfo object 元数据 表4 MetaInfo 参数 参数类型 描述 current_time String 请求时间,UTC时间格式,时间为UTC标准时间 请求示例 删除数据集版本 DELETE https://{endpoint}/v1
数据脱敏作业 作业输入输出规范 用户完成自定义脱敏算子创建,运行作业容器时Octopus平台向其中注入以下环境变量: input_file:待脱敏的文件路径 raw_dir:抽取的image,gnss,lidar数据存放路径 desensitized_dir:脱敏后的image,gnss,lidar数据存放路径