检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在自动驾驶产品的开发过程中,海量的数据存储和管理是当前自动驾驶平台面临的业务挑战之一。 Octopus平台的数据服务模块提供了海量数据采集、存储以及数据并行处理等功能,供后续服务进行统一使用。数据服务开发流程如下: 图1 数据服务开发流程 地图管理:支持上传高精地图数据,可用于数据回放、仿真场景等功能。
导入ID:单击导入ID,页面跳转至导入任务详情。 数据包详情 数据目录、数据类型、标定项ID、数据格式、数据量。 数据处理 可查看此数据包关联的数据处理作业,单击作业ID,可跳转至作业处理界面。 收集信息 车辆名称、标定ID、驾驶模式、采集站点、驾驶路线、采集时间、和总数据量以及各类传感器采集的数据量。
在搜索框中输入任务ID,即可查询。 删除数据处理任务 选择单个数据处理任务,单击操作栏的“ 删除”,删除单个数据处理任务。 勾选多个数据处理任务,单击列表上方的“删除”,可删除多个数据处理任务。 查看任务的数据详情 单击操作栏内的“数据详情”,页面可跳转至仓库数据,可查看此任务包含的数据详情。
算法的数据。 处理每帧数据,不断更新评测结果。 仿真结束时,将最后一帧的评测结果作为最终的评测结果,通过EVA_PATH环境变量获取评测pb路径,经评测结果写入到评测pb文件中。 延时评测 图2 延时评测 如上图所示,延时评测以仿真pb文件作为输入,进行评测逻辑处理后,将评测结果写成评测pb。
Octopus自动驾驶云服务提供了REST(Representational State Transfer)风格API,支持您通过HTTPS请求调用,调用方法请参见如何调用API。 调用API时,需要用户网络可以访问公网。 同时Octopus自动驾驶云服务还提供多种编程语言的SDK供您使用,SDK的使用方法请参见SDK概述。
抽帧是将解压后的Rosbag数据,抽出单幅画面,生成图片数据或者视频数据。 自动驾驶汽车在进行测试时会产生大量数据,车企需要对这些数据高效处理与分析,因此在进行自动驾驶研究时需要对这些原始数据有选择性、针对性地进行提取和分析,抽帧便是一种筛选数据的方式。针对数据类型,Octopus将抽帧任务分为图片抽帧和点云抽帧。
为子用户共同使用自动驾驶云服务的情况。请确保您的子用户是可控和可信任的。 计算资源:您在自动驾驶云服务中订购的通用处理节点、AI处理节点。 容器化处理作业:数据处理任务、标注任务、训练任务、推理任务、并行仿真、场景泛化、智驾模型训练、智驾模型推理等。 父主题: 安全
单击操作栏中的“导出任务列表”项目名称,可按需选择导出项,导出单个批次任务中拆分的任务。 拆分批次任务 单击操作栏中的“拆分”,即可对任务做拆分处理。具体步骤参考批次任务列表。 查看批次任务日志 单击操作栏中的“日志”,即可查看批次任务日志。 删除批次任务 选择批次任务单击“删除批次任务”,即可删除批次任务。
申请公测 介绍用户如何对有公测活动的产品或者服务申请公测。 当前自动驾驶云服务仅支持专属区域“华北-汽车一”,如果您需要使用自动驾驶云服务,可以参考提交工单尝试申请专属区域“华北-汽车一”访问权限。 自动驾驶云服务在区域“华南-广州”提供了OpenAPI,您也可以通过调用API,
访问密钥ID(AK)和私有访问密钥(SK),在导入数据时,通过AK识别访问用户的身份,通过SK对请求数据进行签名验证,用于确保请求的机密性、完整性和请求者身份的正确性。如何获取访问密钥AK/SK? 输入的访问密钥和私有访问密钥需要具有OBS服务如下权限: obs:object:GetObject obs:object:PutObject
查看审计日志 在您开启了云审计服务后,系统会记录Octopus的相关操作,且控制台保存最近7天的操作记录。本节介绍如何在云审计服务管理控制台查看最近7天的操作记录。 操作步骤 登录云审计服务管理控制台。 在管理控制台左上角单击图标,选择区域。 在左侧导航栏中,单击“事件列表”,进入“事件列表”页面。
raw_data_ids Array of strings 原始数据包ID data_process_task_ids Array of strings 处理任务ID 表8 PageInfo 参数 参数类型 描述 total Long 资源总数 offset Long 查询偏移量 limit Long
updateDataWarehouse 批量删除通用存储 octopus deleteDataWarehouses 批量删除某个通用存储中的多个数据处理任务 octopus deleteDataWarehouseTasks 创建通用存储数据 octopus createDataWarehouseData
其他常见问题 如何上传数据至OBS? 如何查看账号ID和IAM用户ID? 如何获取访问密钥AK/SK? 提示“上传的AK/SK不可用”,如何解决? 如何查看Octopus与OBS桶是否在同一区域? 如何查看用户拥有的权限?
由于请求的实体过大,服务器无法处理,因此拒绝请求。为防止客户端的连续请求,服务器可能会关闭连接。如果只是服务器暂时无法处理,则会包含一个Retry-After的响应信息。 414 Request-URI Too Large 请求的URI过长(URI通常为网址),服务器无法处理。 415 Unsupported
仿真服务常见问题 如何一键恢复在线仿真功能? 如何解决不小心释放在线仿真机器的问题? 仿真场景终止条件有几种? 同一个任务配置运行多次仿真任务都可以改变什么? 采样方式有几种?
数据服务 以数据为核心。 提供数据批导、源数据包、数据处理、数据缓存、数据集管理。 数据结构化:处理车载硬件平台上输出的传感器数据,详细统计各类传感器信息。 数据集治理:支持PB级海量存储。 提供通用存储、模型仓库,方便集中处理数据以及模型信息。 标注服务 以标注为核心。 平台提供点云和图片的人工标注和预标注。
创建算子 基于您的业务数据,您可以在Octopus中创建数据处理的算子。 创建算子 数据批导 向Octopus平台导入原始数据包。 批导数据 数据处理 数据导入后,根据不同用途,选择不同算子,对数据包进行数据处理。 处理数据 标注数据 设置团队 Octopus标注服务提供团队管理
更新合规订单状态 √ x 获取合规数据包列表 √ x 推送合规数据包 √ x 合规处理模板 创建合规处理模板 √ x 查询合规处理模板列表 √ x 查询合规处理模板详情 √ x 更新合规处理模板 √ x 删除合规处理模板 √ x 合规作业 查询合规作业列表 √ x 查询合规作业详情 √ x
自动驾驶数据管理存储扩容包 使用对象存储服务(OBS)存储数据和模型,产生的费用。 通用处理节点 octopus计算型CPU(16u32g)专属实例 增强计算性能,产生的费用。 octopus计算型CPU(64u128g)专属实例 AI处理节点 octopus计算型GPU(ant0324g24u96g)专属实例