检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
示单击“立即下载”,下载密钥。 密钥文件会直接保存到浏览器默认的下载文件夹中。打开名称为“credentials.csv”的文件,即可查看访问密钥(Access Key Id和Secret Access Key)。 父主题: 其他常见问题
上传数据格式 在使用Octopus平台收集数据前,请仔细阅读本章节,确保上传数据格式符合平台要求,有助于用户更快速地完成数据收集以及数据格式转换。 上传数据格式:单包上传大小小于200GB。 转换后数据格式:OpenData格式。 使用场景 Octopus平台接收数据包(数据包至
OpenData数据包内文件大小限制如下: “.yaml”文件小于10kb。 “.jpg”文件小于2MB。 “.pcd”文件小于10MB。 “.pb”文件小于50MB。 MP4命名大小不可超过128位,不可有特殊字符。MP4的时间需要和Rosbag包中的时间匹配。 数据名称仅包含中文
处理数据 在作业总览中平台支持创建数据标记,数据图表、数据回放、数据集等作业,数据包选择相对应的算子就可以触发相对应的作业。 数据回放类型的算子作业不需要选择输出仓库。 当选择数据集算子时,数据类型可支持选择通用存储。 创建作业 在左侧菜单栏中,单击“数据处理 > 数据处理”。
导出任务 导出数据集 单击数据集列表操作栏的“导出”,选择数据目的地。 数据目的地:默认选择OBS。 访问密钥:请输入访问密钥(AK)。 私有访问密钥:请输入私有访问密钥(SK)。 OBS目录:请指定数据集导出后存放的目录。 访问密钥ID(AK)和私有访问密钥(SK),在导入数据时,通过
单击“确认”新建一个数据合规订单并查看订单号。 上传数据包 获取传输配置。 在订单的“操作”列单击“获取传输配置”,获取传输配置,包括目标桶、导入目录、访问密钥 (AK)和私有访问密钥 (SK)。 准备待脱敏的数据包。 图商采集的数据在上传至八爪鱼平台前,需要对数据包中的文件夹梳理,便于
批导数据 原始数据采集完毕之后,需要将原始数据转换成适合Octopus平台的数据格式,以便于更快速地完成数据处理。 创建数据导入任务 在左侧菜单栏中,单击“数据处理 > 数据批导”。 选择“数据导入”页签,单击“导入”。 选择“对象存储导入”页签,填写具体信息。 选择目标数据包所
每个传感器提取的数据保存在单独的文件夹,其中camera和lidar传感器提取的样本文件必须以时间戳命名。任务结束标志文件,_SUCEESS或_FAILURE分别代表任务成功或失败。opendata_to_platform.yaml文件以yaml格式记录该OpenData数据包的元数据,格式如下:
在作业总览中平台支持创建数据标记,数据图表、数据回放、数据集等作业,数据包选择相对应的算子就可以触发相对应的作业。 数据回放类型的算子作业不需要选择输出仓库。 当选择数据集算子时,数据类型可支持选择通用存储和数据场景。 创建作业(数据包) 在左侧菜单栏中,选择“数据处理 > 数据处理”。 选择“作业总览”页签,单击“创建作业”。
将此文件夹下的子目录都识别为有效数据包,可导入。上传数据前,请确保原始数据包含必要的有效文件,具体可参考上传数据格式。 表1 数据导入参数说明 参数 说明 对象存储访问密钥(AK) 对象存储私有访问密钥(SK) 包含访问密钥ID(AK)和私有访问密钥(SK)两部分,导入数据时,通
yaml 输出描述文件,详情见下文 |--- _SUCCESS 作业完成后输出的标识文件,内容可为空 |--- planning 以下各文件夹为resim算法输出内容,按
数据处理简介 数据处理可对自动驾驶过程中采集到的数据进行处理、解析,处理的结果可以用于回访定位问题,并可根据不同功能的算子生成不同的数据处理作业。数据处理操作引导如下: 数据批导:创建数据导入任务,收集采集车辆原始数据。 数据处理:支持根据自定义数据服务算子,对数据包进行处理,创建不同类型的作业。
数据处理 作业总览 作业队列 算子管理 算子示例 父主题: 数据处理
算子示例 Rosbag转OpenData作业(数据回放) 场景挖掘作业(数据标记) 数据提取作业(数据集) Resim作业(回放仿真) 父主题: 数据处理
数据处理 创建算子 批导数据 处理数据 父主题: 自动驾驶云服务全流程开发
数据处理 数据处理简介 数据批导 数据处理 回放仿真
输出类型 可选择“数据标记”,“数据集”,“数据回放”,“回放仿真”,“数据图表”和“数据脱敏”。 数据标记:用于场景挖掘作业(Rosbag to场景片段)。 数据回放:输出结果是OpenData格式(Rosbag to OpenData)。 数据集:用于数据抽取作业,输出至通用存储(Rosbag
必须有output_dir/dataset目录,存储数据集文件。数据集文件有格式要求(Octopus、PascalVOC...)。 必须有_SUCCESS或 _FAILURE文件,标志用户镜像任务完成(或失败)。 可选有output_dir/auxiliary目录,用于存储附加文件。对格式没有限制。 图1 output_dir的格式
指定的目录,并以“segments.csv”作为文件名,文件完整路径示例:/tmp/output/segments.csv。 图1 csv文件内容示例 Csv文件表头固定为“tag_name,start,end”,指定该表的四列数据分别为“标签名”、“开始时间戳”、“结束时间戳”。
列,同时支持对任务优先级的调整。 其他租户的队列作业不允许操作。 在左侧菜单栏中单击“数据服务 > 数据处理”。 选择“作业队列”页签,可根据作业类型(算子作业或内部作业)查看作业。 数据处理作业队列相关操作 在“作业队列”页签,还可以进行以下操作。 表1 作业队列相关操作 任务