检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据保护技术 Octopus通过多种数据保护手段和特性,保障存储在Octopus中的数据安全可靠。 表1 表1 多种数据保护手段 数据保护手段 简要说明 传输加密(HTTPS) 支持HTTP和HTTPS两种传输协议,为保证数据传输的安全性,推荐您使用更加安全的HTTPS协议。 数据备份
数据集镜像Dockerfile示例 本章节介绍Dockerfile示例。 用户可使用命令行模式或Dockerfile模式进行构建。 以数据集自定义镜像为例,一般的镜像制作Dockerfile示例如下: 数据集镜像不支持调用GPU资源。 # 载入基础镜像,用户可手动制作或拉取官方镜像
、100Mbps带宽。 查看数据回放 数据回放页面详细说明如下: 图1 数据回放详情页 表1 数据回放页面详细说明 序号 区域名称 说明 1 主车运行状态数据 自动驾驶和人工接管的相关数据信息。如加速度、速度和方向盘数据,数据随着采集车辆的行驶动态变化。 2 数据列表 回放图层参考回放图层信息。
查看源数据包 原始数据包含车辆采集的各类传感器数据信息,数据导入任务创建完毕后,平台对数据包进行扫描,此模块展示导入成功的数据包。 数据包列表 在左侧菜单栏中,单击“数据资产 > 源数据包”。 选择“数据包”页签,默认显示数据包列表。 图1 数据包列表 表1 数据包列表相关操作 任务
数据缓存 提供专用高速文件存储功能,加速训练和评测读取数据集的速度。 在数据集列表(数据资产 > 数据集)中,单击操作栏中的“缓存加速”。 在数据缓存界面出现缓存的数据。 父主题: 数据资产
数据回放 获取数据片段统计 获取数据片段列表 数据片段详情 获取数据包topic回放索引 获取数据包topic回放数据临时链接 创建回放转仿真场景作业 查询回放转仿真场景作业状态 父主题: API
数据总览 在数据总览页面可查看平台数据服务的统计数据,帮助用户快速了解各项数据关键指标和业务的健康情况。 进入总览数据页面: 登录Octopus服务平台,在左侧菜单栏中单击“数据资产 > 数据总览”。 图1 数据总览 表1 总览页面说明 序号 区域名称 说明 1 采集数据统计 平
详情”,查看订单详情。在订单详情页面,选择数据包创建脱敏作业,对数据包进行脱敏操作。 订单推送 订单推送会将数据包推送到数据服务,您可以到“ 数据处理 > 数据批导”中查看导入任务进度。 查询订单号 在“数据合规”订单列表页面,在搜索输入框中输入搜索条件,按回车键即可查询订单号。 创建脱敏作业 查看数据递送订单详
为Octopus云服务本身目前没有数据存储的功能。在开发过程中的输入数据、输出数据、中间缓存数据都可以在OBS桶中进行存储、读取。 因此,在使用Octopus云服务之前您需要创建一个OBS桶,然后在OBS桶中创建文件夹用于存放数据。 图1 对象存储服务OBS 操作步骤 登录OBS
vehicle_info = 1。 } Camera 采集的camera数据通过转换工具可以保存为”.jpg”图片数据。 Lidar 采集的点云数据通过转换工具可以保存为标准的pcd格式数据。 Gnss 对于卫星导航系统数据录制的消息格式,需遵循一定规范,其中部分字段为必选,其他请根据实际需要自由选取。
数据导入 对象存储导入数据 把原始数据上传至平台前,可将数据包上传至对象存储中,从对象存储导入平台。操作步骤如下: 在左侧菜单栏中,单击“数据处理 > 数据批导”。 选择“数据导入”页签,单击“导入”。 选择“对象存储导入”页签,填写具体信息。 选择目标数据包所在的对象存储路径,
数据来源为数据集 根据数据来源不同,可分为以下四种形式创建数据集。 本地 在左侧菜单栏中单击“数据资产 > 数据集 ”。 选择“数据集”页签,单击“创建数据集”,填写数据集信息。 图1 创建数据集 名称:不得超过64个字符。支持中英文、数字、“-”、“_”,不支持特殊字符。 描述
资产识别 用户在数据资产包括用户上传的数据集以及用户提供的一些个人信息。 数据资产包括但不限于文本、图形、音频、视频、照片、图像、代码、算法、模型等。 资产管理 对于用户上传至Octopus的资产,Octopus会做统一的保存管理。 对于文件类型的资产,Octopus会将资产保存在Octopus官方的OBS桶内。
数据提取作业(数据集) 作业输入输出规范 示例代码 构建镜像 父主题: 算子示例
数据场景 Octopus平台处理完原始采集数据后,平台支持内置和自定义场景挖掘算法,可自动提取对应场景行为的片段,展示在数据场景模块中。用户可将其生成单个仿真场景片段,为后续仿真开发做准备。 数据场景依赖以下三个topic:ego_tf(主车定位)、 object_array_v
数据来源为数据集子集 当数据集形式为数据集子集时,创建步骤如下: 在左侧菜单栏中单击“数据资产 > 数据集”。 选择“数据集”页签,单击“创建数据集”,填写数据集信息。 图1 创建数据集子集 名称:不得超过64个字符。支持中英文、数字、“-”、“_”,不支持特殊字符。 描述:数据
处理数据 在作业总览中平台支持创建数据标记,数据图表、数据回放、数据集等作业,数据包选择相对应的算子就可以触发相对应的作业。 数据回放类型的算子作业不需要选择输出仓库。 当选择数据集算子时,数据类型可支持选择通用存储。 创建作业 在左侧菜单栏中,单击“数据处理 > 数据处理”。
vehicle_info = 1。 } Camera 采集的camera数据通过转换工具可以保存为“.jpg”图片数据。 Lidar 采集的点云数据通过转换工具可以保存为标准的pcd格式数据。 Gnss 对于卫星导航系统数据录制的消息格式,需遵循一定规范,其中部分字段为必选,其他请根据实际需要自由选取。
vehicle_info = 1。 } Camera 采集的camera数据通过转换工具可以保存为“.jpg”图片数据。 Lidar 采集的点云数据通过转换工具可以保存为标准的pcd格式数据。 Gnss 对于卫星导航系统数据录制的消息格式,需遵循一定规范,其中部分字段为必选,其他请根据实际需要自由选取。
标注镜像Dockerfile示例 一般情况下,引擎主要包含预标注算法或预审核算法运行所需要的基本依赖环境,用户也可将预标注算法或预审核算法包内置在AI引擎中。 用户可使用命令行模式或Dockerfile模式进行构建。 以预标注自定义镜像为例,一般的镜像制作Dockerfile示例如下(xxx替换为实际路径):