检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
务,跟上瞬息多变的市场节奏。 海量数据 平台可支持PB级数据存储和亿级数据秒级检索。 软硬件加速 感知算法训练和仿真需要使用大量算力资源,Octopus依托华为自研软硬件能力提供的强大算力支持,满足每天百万公里仿真测试和算法训练。 自动化标注 自动驾驶算法的持续提升依托于持续增加
务,跟上瞬息多变的市场节奏。 海量数据 平台可支持PB级数据存储和亿级数据秒级检索。 软硬件加速 感知算法训练和仿真需要使用大量算力资源,Octopus依托华为自研软硬件能力提供的强大算力支持,满足每天百万公里仿真测试和算法训练。 自动化标注 自动驾驶算法的持续提升依托于持续增加
通用存储 创建存储目录 在左侧菜单栏中,单击“数据资产 > 通用存储”。 选择“通用存储”页签,单击“创建存储目录”,填写基本信息。 图1 创建存储目录 单击“确定”,通用存储列表可查看新建通用存储。 通用存储相关操作 在“通用存储”列表,还可以完成以下操作。 表1 通用存储相关操作
通用存储 通用存储 自定义属性 父主题: 数据资产
数据。 OBS简介 对象存储服务OBS是一个基于对象的海量存储服务,为客户提供海量、安全、高可靠、低成本的数据存储能力。对象存储服务OBS的基本组成是桶和对象。桶是OBS中存储对象的容器,每个桶都有自己的存储类别、访问权限、所属区域等属性,用户在互联网上通过桶的访问域名来定位桶。对象是OBS中数据存储的基本单位。
高精地图上传后存储在OBS中。 标定管理 传感器标定上传的标定文件存储在OBS中。 数据场景 场景挖掘后切出的rosbag片段存储在OBS中。 数据集 数据集存储在OBS中。 数据集的标注信息存储在OBS中。 模型管理 模型文件存储在OBS中。 通用存储 支持数据导出存储在OBS中。
Octopus通过多种数据保护手段和特性,保障存储在Octopus中的数据安全可靠。 表1 表1 多种数据保护手段 数据保护手段 简要说明 传输加密(HTTPS) 支持HTTP和HTTPS两种传输协议,为保证数据传输的安全性,推荐您使用更加安全的HTTPS协议。 数据备份 支持设置数据库的备份和恢复,来保障数据的可靠性。
在使用平台进行自动驾驶开发时,首先需要用户把原始数据上传至Octopus平台,即数据上云。下文介绍了通过对象存储导入数据的方式,帮助用户把车载平台输出的数据上传至Octopus平台上。 对象存储导入数据:用户需先将数据包上传至对象存储桶(可自定义)中,再导入到Octopus平台。上传速率快,适合上传大数据量(超过2G)的数据包。
数据资产简介 在自动驾驶产品的开发过程中,海量的数据存储和管理是当前自动驾驶平台面临的业务挑战之一。 Octopus平台的数据服务模块提供了海量数据采集、存储以及数据并行处理等功能,供后续服务进行统一使用。数据服务开发流程如下: 图1 数据服务开发流程 地图管理:支持上传高精地图数据,可用于数据回放、仿真场景等功能。
配额说明 本服务应用的基础设施是对象存储服务。 关于如何查看配额,如何申请扩大配额,请参考关于配额。
数据缓存 提供专用高速文件存储功能,加速训练和评测读取数据集的速度。 在数据集列表(数据资产 > 数据集)中,单击操作栏中的“缓存加速”。 在数据缓存界面出现缓存的数据。 父主题: 数据资产
使用Octopus进行自动驾驶开发时,您需要将数据上传至对象存储服务(OBS)桶中。 您可以登录OBS管理控制台创建OBS桶,并在您创建的OBS桶中创建文件夹,然后再进行数据的上传。 OBS上传数据的详细操作请参见《对象存储服务快速入门》。 父主题: 其他常见问题
Service,CTS),是华为云安全解决方案中专业的日志审计服务,提供对各种云资源操作记录的收集、存储和查询功能,可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 用户开通云审计服务后,CTS可记录八爪鱼的管理事件用于审计。 CTS的详细介绍和开通配置方法,请参见CTS快速入门。
多模态检索 存储费用 存储费用是指使用Octopus时,在对象存储服务(OBS)存储数据产生的费用。 表6 存储计费项说明 计费项 计费模式 计费说明 计费公式 对象存储(OBS) 包年/包月、按需计费 Octopus使用OBS存储数据,产生的费用。 具体费用可参见对象存储价格详情。
情况。 OBS存储:包括购买基础包中的OBS存储资源和扩展资源包中的OBS存储资源。 SFS存储:包括购买基础包中的SFS存储资源和扩展资源包中的SFS存储资源。 资源列表:展示购买的所有扩展资源包、状态等信息。 续费管理:用户可以根据实际使用情况对资源进行续费和退订操作。 图5
仿真器输出的仿真过程数据会按照OSI的GroundTruth格式存储为pb文件,根据创建任务配置时是否选择使用datahub,该仿真pb有两种格式: 使用datahub时,该仿真pb的每帧数据是GroundTruth结构,然后按照OSI标准推荐的存储格式,先按小端顺序存储4个字节,该4个字节表示下一帧Gro
自定义属性 数据处理只能识别带有标签的文件数据,进入通用存储后,用户可以给通用存储中的文件添加key-value映射关系的自定义属性。 创建自定义属性 在左侧菜单栏中,单击“数据资产 > 通用存储 ”。 选择“自定义属性”页签,单击“创建自定义属性”,填写基本信息。 图1 创建自定义属性
数据导入 对象存储导入数据 把原始数据上传至平台前,可将数据包上传至对象存储中,从对象存储导入平台。操作步骤如下: 在左侧菜单栏中,单击“数据处理 > 数据批导”。 选择“数据导入”页签,单击“导入”。 选择“对象存储导入”页签,填写具体信息。 选择目标数据包所在的对象存储路径,平台
续费和退订 购买的服务和扩容包支持续费和退订操作。 续费 如需续费,请在服务和资源右侧的“续费管理”处进行续费操作。您还可以设置到期自动续费(请确认服务是否支持设置到期自动续费)。续费相关操作请参考续费管理。 图1 续费 退订 如需退订,请在服务和资源右侧的“续费管理”处进行退订
权限和授权项 权限及授权项说明 镜像仓库 镜像版本 数据集 数据集版本 数据仓库 数据仓库自定义属性 集群信息管理 数据总览 数据包 数据导入 数据回放 作业管理 算子管理 作业队列 内部作业 数据场景 标签管理 仿真场景 场景地图