检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何上传数据至OBS? 使用Octopus进行自动驾驶开发时,您需要将数据上传至对象存储服务(OBS)桶中。 您可以登录OBS管理控制台创建OBS桶,并在您创建的OBS桶中创建文件夹,然后再进行数据的上传。 OBS上传数据的详细操作请参见《对象存储服务快速入门》。 父主题: 其他常见问题
数据批导简介 在使用平台进行自动驾驶开发时,首先需要用户把原始数据上传至Octopus平台,即数据上云。下文介绍了通过对象存储导入数据的方式,帮助用户把车载平台输出的数据上传至Octopus平台上。 对象存储导入数据:用户需先将数据包上传至对象存储桶(可自定义)中,再导入到Oct
数据提取作业(数据集) 作业输入输出规范 Input 平台会以环境变量的形式提供以下参数: rosbag_path: rosbag路径,以.bag结尾。 output_dir:最终输出数据集路径。 tmp_dir:供用户存储临时文件的目录。 task_content_json:人
数据合规简介 数据合规服务是自动驾驶云服务为用户提供数据硬盘递送、数据监管服务。 支持对上传合规服务的数据包进行脱敏处理,提供合规脱敏能力,支持将数据包中人脸、车牌、点云脱敏。 支持用户使用合规服务创建脱敏算子、下发脱敏任务。 在使用数据合规服务之前,需要先购买合规服务和数据服务。如何购买服务?
查看源数据包 原始数据包含车辆采集的各类传感器数据信息,数据导入任务创建完毕后,平台对数据包进行扫描,此模块展示导入成功的数据包。 数据包列表 在左侧菜单栏中,选择“数据资产 > 源数据包”。 在“数据包”页签,默认显示数据包列表。 单击列表右上角,可切换至图片视图。 表1 图表视图相关操作
数据缓存 用户购买自动驾驶数据管理缓存扩容包后,可使用数据缓存功能提供专用高速文件存储,加速训练和评测读取数据集的速度。需确保待缓存的数据集中的所有数据均已发布成功。 确认待缓存数据集中是否存在未发布的数据。 在数据集列表(数据资产 > 数据集)中,单击数据集名称,查看“数据详情
获取数据仓库的数据列表 功能介绍 获取数据仓库的数据列表 URI POST /v1.0/{project_id}/common/warehouses/{data_warehouse_id}/data 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String
数据处理简介 数据处理可对自动驾驶过程中采集到的数据进行处理、解析,处理的结果可以用于回访定位问题,并可根据不同功能的算子生成不同的数据处理作业。数据处理操作引导如下: 数据批导:创建数据导入任务,收集采集车辆原始数据。 数据处理:支持根据自定义数据服务算子,对数据包进行处理,创建不同类型的作业。
问用户的身份,通过SK对请求数据进行签名验证,用于确保请求的机密性、完整性和请求者身份的正确性。如何获取访问密钥AK/SK? 对象存储目录 建议对象存储目录选择包含“Rosbag包和与数据包同名yaml”文件夹的上一级目录。 数据包筛选 数据包需包含符合平台要求的传感器数据文件。详细请参考上传数据格式。
RE”的标识文件,用于通知系统作业已失败。 运行完成并上传的挖掘结果可以在“数据场景”模块进行检索、查看。选中一个场景片段后可以通过“回放”按键跳转到数据包的对应时间点进行回放,长度在10秒到99秒之间的场景片段可以生成仿真场景。选中片段后的预览样本图根据挖掘片段所对应的传感器类型选择相应的传感器样本来进行展示。
难例数据集 可选择“全部数据集”、“仅难例数据集”、“非仅难例数据集”。 数据来源:OBS 表3 数据来源为OBS的数据集 参数 说明 数据来源 选择数据来源,此处选择“OBS”。 数据类型 选择数据类型,可选择“图片”、“3D点云”、“音频”和“文本”。 数据格式 选择数据格式,
在“数据集”列表,选择操作栏的“添加数据”,填写数据信息,单击“创建”。 在数据集详情页,也可以单击 “添加数据” ,为数据集添加数据。 新添加的数据会先进入待发布区。添加数据时,需要设置数据集输出模式及目标路径(仅数据集数据格式不为OCTOPUS时可设置),其他参数可参考4: 模式: 全量替换
单击“确认”新建一个数据合规订单并查看订单号。 上传数据包 获取传输配置。 在订单的“操作”列单击“获取传输配置”,获取传输配置,包括目标桶、导入目录、访问密钥 (AK)和私有访问密钥 (SK)。 准备待脱敏的数据包。 图商采集的数据在上传至八爪鱼平台前,需要对数据包中的文件夹梳理,便
、UHD620的gpu 、16G内存 、100Mbps带宽。 查看数据回放 数据回放页面详细说明如下: 图1 数据回放详情页 表1 数据回放页面详细说明 序号 区域名称 说明 1 主车运行状态数据 自动驾驶和人工接管的相关数据信息。如加速度、速度和方向盘数据,数据随着采集车辆的行驶动态变化。
数据导入 表1 数据导入权限 权限 对应API接口 授权项(Action) IAM项目 (Project) 企业项目 (Enterprise Project) 获取导入任务列表 GET /v1.0/{project_id}/data/import-records octopus:
拥有的权限? 数据处理。 可选择数据是否进行OpenData转换,并且选用相对应的数据服务算子(数据回放)以及资源规格。 图2 数据处理 如果yaml和算子中有相同的信息,算子上传后,会覆盖yaml中的信息。 没有进行OpenData转换的数据,只能作为算子作业的输入使用。 勾选
数据资产简介 在自动驾驶产品的开发过程中,海量的数据存储和管理是当前自动驾驶平台面临的业务挑战之一。 Octopus平台的数据服务模块提供了海量数据采集、存储以及数据并行处理等功能,供后续服务进行统一使用。数据服务开发流程如下: 图1 数据服务开发流程 地图管理:支持上传高精地图数据,可用于数据回放、仿真场景等功能。
数据脱敏作业 作业输入输出规范 用户完成自定义脱敏算子创建,运行作业容器时Octopus平台向其中注入以下环境变量: input_file:待脱敏的文件路径 raw_dir:抽取的image,gnss,lidar数据存放路径 desensitized_dir:脱敏后的image,gnss,lidar数据存放路径
数据总览 在数据总览页面可查看平台数据服务的统计数据,帮助用户快速了解各项数据关键指标和业务的健康情况。 进入总览数据页面: 登录Octopus服务平台,在左侧菜单栏中单击“数据资产 > 数据总览”。 图1 数据总览 表1 总览页面说明 序号 区域名称 说明 1 采集数据统计 平
处理数据 在作业总览中平台支持创建数据标记,数据图表、数据回放、数据集等作业,数据包选择相对应的算子就可以触发相对应的作业。 数据回放类型的算子作业不需要选择输出仓库。 当选择数据集算子时,数据类型可支持选择通用存储。 创建作业 在左侧菜单栏中,单击“数据处理 > 数据处理”。