检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何上传数据至OBS? 使用Octopus进行自动驾驶开发时,您需要将数据上传至对象存储服务(OBS)桶中。 您可以登录OBS管理控制台创建OBS桶,并在您创建的OBS桶中创建文件夹,然后再进行数据的上传。 OBS上传数据的详细操作请参见《对象存储服务快速入门》。
通用存储详情 在左侧菜单栏中,选择“数据资产 > 通用存储”。 在“通用存储”页签,单击存储目录名称,进入通用存储详情页。 存储数据:显示在此通用存储中所有的数据。 支持按照数据索引和目录树两种方式显示数据。
通用存储 通用存储 自定义属性 父主题: 数据资产
数据缓存:提供专用高速文件存储功能,加速训练和评测读取数据集的速度。 模型管理:负责对模型仓库和模型版本进行各种操作,模型仓库可包含多个模型版本,支持上传符合平台规范的模型用于标注或训练任务。 通用存储:支持创建通用存储,用于数据存储。 父主题: 数据资产
数据抽帧作业 表3 数据抽帧参数 参数 说明 任务类型 数据抽帧。 开始时间 不得超过视频开始时间。 片段时长 10-99秒,并做校验。 抽帧间隔 片段不得超过10秒。 抽帧topic 选择数据包的所有camera和lidar类的topic。 存储目录 选择存储目录。
数据导入 对象存储导入数据 把原始数据上传至平台前,可将数据包上传至对象存储中,从对象存储导入平台。操作步骤如下: 在左侧菜单栏中,选择“数据处理 > 数据批导”。 在“数据导入”页签单击“导入”,填写具体信息。
数据保护技术 Octopus通过多种数据保护手段和特性,保障存储在Octopus中的数据安全可靠。 表1 表1 多种数据保护手段 数据保护手段 简要说明 传输加密(HTTPS) 支持HTTP和HTTPS两种传输协议,为保证数据传输的安全性,推荐您使用更加安全的HTTPS协议。
数据资产 数据资产简介 数据总览 地图管理 标定管理 源数据包 数据场景 数据集 数据缓存 模型管理 通用存储
数据缓存 用户购买自动驾驶数据管理缓存扩容包后,可使用数据缓存功能提供专用高速文件存储,加速训练和评测读取数据集的速度。需确保待缓存的数据集中的所有数据均已发布成功。 确认待缓存数据集中是否存在未发布的数据。
脱敏任务完成后平台存储的原始数据和脱敏后数据路径如下: 原始数据:data/import-expresses/24/packge-1-bak 脱敏后数据:data/import-expresses/24/packge-1 上传待脱敏的数据包。
对象存储导入数据:用户需先将数据包上传至对象存储桶(可自定义)中,再导入到Octopus平台。上传速率快,适合上传大数据量(超过2G)的数据包。 单个数据包时长均不可超过10分钟。 目前MP4文件只支持对象存储导入。
数据总览 在数据总览页面可查看平台数据服务的统计数据,帮助用户快速了解各项数据关键指标和业务的健康情况。 进入总览数据页面: 登录Octopus服务平台,在左侧菜单栏中单击“数据资产 > 数据总览”。
数据提取作业(数据集) 作业输入输出规范 Input 平台会以环境变量的形式提供以下参数: rosbag_path: rosbag路径,以.bag结尾。 output_dir:最终输出数据集路径。 tmp_dir:供用户存储临时文件的目录。
数据类型:选择“数据包”。 选择数据:选择需要操作的数据包中的数据。 输出目录:选择可输出的通用存储的目录。 单击“创建”, 在作业总览页面可查看创建好的作业。 父主题: 数据处理
数据回放 获取数据片段统计 获取数据片段列表 数据片段详情 获取数据包topic回放索引 获取数据包topic回放数据临时链接 创建回放转仿真场景作业 查询回放转仿真场景作业状态 父主题: API
数据来源:通用存储 表4 数据来源为通用存储的数据集 参数 说明 数据来源 选择数据来源,此处选择“通用存储”。 数据类型 选择数据类型,可选择“图片”、“3D点云”、“音频”、“文本”和“视频”。
对象存储目录* 建议对象存储目录选择包含“Rosbag包和与数据包同名yaml”文件夹的上一级目录。 数据包筛选* 数据包需包含符合平台要求的传感器数据文件。详细请参考上传数据格式。平台最多支持不超过10个有效数据包。
数据场景 场景展示 标签管理 父主题: 数据资产
数据场景 获取数据场景片段列表 创建数据场景片段 删除数据场景片段 父主题: API
数据导入 获取导入任务列表 创建数据包导入任务 获取导入任务详情 删除导入任务 启动数据导入任务 父主题: API