检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在作业总览中平台支持创建数据标记,数据图表、数据回放、数据集等作业,数据包选择相对应的算子就可以触发相对应的作业。 数据回放类型的算子作业不需要选择输出仓库。 状态是待脱敏或者脱敏中的数据包不能运行数据回放类型的作业。 数据包类型必须是Rosbag类型。 当选择数据集算子时,数据类型可支持选择通用存储和数据场景。
获取数据仓库列表信息 功能介绍 获取数据仓库列表 URI GET /v1.0/{project_id}/common/warehouses 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目id,获取方法请参见获取项目ID 表2 Query参数
项目id,获取方法请参见获取项目ID dataset_id 是 String 数据集id 表2 Query参数 参数 是否必选 参数类型 描述 name 否 String 根据名称模糊查询 最小长度:1 最大长度:64 statuses 否 Array 根据数据集版本状态筛选 枚举值: CREATING(创建中)
启动数据导入任务 功能介绍 启动数据导入任务 URI POST /v1.0/{project_id}/data/import-records/{id}/import 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目id,获取方法请参见获取项目ID
作业队列 平台为脱敏作业提供作业队列的功能,用户可在此查看任务队列,同时支持对任务优先级的调整。 其他租户的队列作业不允许操作。 在左侧菜单栏中单击“数据合规”。 选择“数据脱敏 > 作业队列”页签,可查看作业。 图1 作业队列 父主题: 数据脱敏
用户完成自定义Rosbag转OpenData算子创建,运行作业容器时Octopus平台向其中注入以下环境变量: rosbag_path: 作为数据源的rosbag存放路径,例如/tmp/data/20220620.bag yaml_path: 启动数据收集任务的yaml文件路径,例如/tmp/Octopus_data_collections
运行完成并上传的挖掘结果可以在“数据场景”模块进行检索、查看。选中一个场景片段后可以通过“回放”按键跳转到数据包的对应时间点进行回放,长度在10秒到99秒之间的场景片段可以生成仿真场景。选中片段后的预览样本图根据挖掘片段所对应的传感器类型选择相应的传感器样本来进行展示。 父主题: 场景挖掘作业(数据标记)
Octopus平台支持用户删除数据包,执行删除操作的数据包将暂存回收站,等待用户可根据项目情况及时恢复或永久删除。具体操作参考如下: 在“数据包”页签,单击指定数据包操作栏内的“删除”。 确认后单击“确认删除”,删除后的数据包将放入回收站。 图1 删除数据包 查看数据包状态。 单击
pus平台前的准备工作。当前支持使用Rosbag数据格式收集采集数据。 上传数据 原始数据采集完毕后,在平台上创建数据收集任务,通过多种方式上传数据文件至Octopus平台。 数据处理 通过用户自定义算子对Rosbag数据包进行处理,最终将原始数据结构化,解析出各种不同传感器详细
false:无效标注帧, 该参数不传:全部标注帧(数据集来源为标注时选填参数) hard_mining 否 Boolean true:仅难例数据集,false:非难例数据集,该参数不传:全部数据集(数据集来源为标注时选填参数) status 否 String 状态,数据集来源(data_source)为标注(LABEL)时必填
数据缓存 提供专用高速文件存储功能,加速训练和评测读取数据集的速度。 在数据集列表(数据资产 > 数据集)中,单击操作栏中的“缓存加速”。 在数据缓存界面出现缓存的数据。 父主题: 数据资产
set.py --topic pandar --type pcd” 完成后在${HOME}/tmp/output目录查看运行结果文件: 父主题: 数据提取作业(数据集)
作业队列 平台为算子作业、内部作业和脱敏作业提供作业队列的功能,用户可在此查看任务队列,同时支持对任务优先级的调整。 其他租户的队列作业不允许操作。 在左侧菜单栏中单击“数据服务 > 数据处理”。 选择“作业队列”页签,可根据作业类型(算子作业或内部作业)查看作业。 图1 作业队列
查询回放转仿真场景作业状态 功能介绍 查询回放转仿真场景作业状态 URI GET /v1.0/{project_id}/data/episodes/scenarios/{id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目id,获取方法请参见获取项目ID
数据提取作业(数据集) 作业输入输出规范 示例代码 构建镜像 父主题: 算子示例
audio2.json #该音频文件的所有标注信息 标注数据.json文件说明 数据集中必含“.json”文件,用于集合该音频文件的所有标注数据信息,包括该音频所在的项目id、数据包id、音频上所有标注信息等。上传数据集前请保证“.json”文件内容正确。“.json”文件编写的参考样例如下:
vehicle_info = 1。 } Camera 采集的camera数据通过转换工具可以保存为“.jpg”图片数据。 Lidar 采集的点云数据通过转换工具可以保存为标准的pcd格式数据。 Gnss 对于卫星导航系统数据录制的消息格式,需遵循一定规范,其中部分字段为必选,其他请根据实际需要自由选取。
text2.json #该文本文件的所有标注信息 标注数据.json文件说明 数据集中必含“.json”文件,用于集合该文本文件的所有标注数据信息,包括该文本所在的项目id、数据包id、文本上所有标注信息等。上传数据集前请保证“.json”文件内容正确。“.json”文件编写的参考样例如下:
数据服务常见问题 标定文件上传失败的原因? 平台对接数据格式有哪些要求?
vehicle_info = 1。 } Camera 采集的camera数据通过转换工具可以保存为“.jpg”图片数据。 Lidar 采集的点云数据通过转换工具可以保存为标准的pcd格式数据。 Gnss 对于卫星导航系统数据录制的消息格式,需遵循一定规范,其中部分字段为必选,其他请根据实际需要自由选取。