检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通用存储 创建存储目录 在左侧菜单栏中,单击“数据资产 > 通用存储”。 选择“通用存储”页签,单击“创建存储目录”,填写基本信息。 图1 创建存储目录 单击“确定”,通用存储列表可查看新建通用存储。 通用存储相关操作 在“通用存储”列表,还可以完成以下操作。 表1 通用存储相关操作
通用存储 通用存储 自定义属性 父主题: 数据资产
数据。 OBS简介 对象存储服务OBS是一个基于对象的海量存储服务,为客户提供海量、安全、高可靠、低成本的数据存储能力。对象存储服务OBS的基本组成是桶和对象。桶是OBS中存储对象的容器,每个桶都有自己的存储类别、访问权限、所属区域等属性,用户在互联网上通过桶的访问域名来定位桶。对象是OBS中数据存储的基本单位。
自定义属性 数据处理只能识别带有标签的文件数据,进入通用存储后,用户可以给通用存储中的文件添加key-value映射关系的自定义属性。 创建自定义属性 在左侧菜单栏中,单击“数据资产 > 通用存储 ”。 选择“自定义属性”页签,单击“创建自定义属性”,填写基本信息。 图1 创建自定义属性
什么是Octopus 自动驾驶云服务(Octopus)是面向车企、研究所的全托管平台,在华为云上提供自动驾驶数据云服务、自动驾驶标注云服务、自动驾驶训练云服务、自动驾驶仿真云服务、自动驾驶大模型云服务、配置管理服务,帮助车企以及研究所快速开发自动驾驶产品。 “一站式”是指自动驾驶
什么是Octopus 自动驾驶云服务(Octopus)是面向车企、研究所的全托管平台,在华为云上提供自动驾驶数据云服务、自动驾驶标注云服务、自动驾驶训练云服务、自动驾驶仿真云服务、自动驾驶大模型云服务、配置管理服务,帮助车企以及研究所快速开发自动驾驶产品。 “一站式”是指自动驾驶
配额说明 本服务应用的基础设施是对象存储服务。 关于如何查看配额,如何申请扩大配额,请参考关于配额。
仿真器输出的仿真过程数据会按照OSI的GroundTruth格式存储为pb文件,根据创建任务配置时是否选择使用datahub,该仿真pb有两种格式: 使用datahub时,该仿真pb的每帧数据是GroundTruth结构,然后按照OSI标准推荐的存储格式,先按小端顺序存储4个字节,该4个字节表示下一帧Gro
数据导入 对象存储导入数据 把原始数据上传至平台前,可将数据包上传至对象存储中,从对象存储导入平台。操作步骤如下: 在左侧菜单栏中,单击“数据处理 > 数据批导”。 选择“数据导入”页签,单击“导入”。 选择“对象存储导入”页签,填写具体信息。 选择目标数据包所在的对象存储路径,平台
S桶中。 数据缓存:提供专用高速文件存储功能,加速训练和评测读取数据集的速度。 模型管理:负责对模型仓库和模型版本进行各种操作,模型仓库可包含多个模型版本,支持上传符合平台规范的模型用于标注或训练任务。 通用存储:支持创建通用存储,用于数据存储。 父主题: 数据资产
数据缓存 提供专用高速文件存储功能,加速训练和评测读取数据集的速度。 在数据集列表(数据资产 > 数据集)中,单击操作栏中的“缓存加速”。 在数据缓存界面出现缓存的数据。 父主题: 数据资产
同时在线用户数扩容包 支持20个在线标注用户数。 存储扩容包 自动驾驶数据管理缓存扩容包 当SFS存储剩余容量不足时,购买自动驾驶数据管理缓存扩容包增加SFS存储容量。 自动驾驶数据管理存储扩容包 当OBS存储剩余容量不足时,购买自动驾驶数据管理缓存扩容包增加OBS存储容量。 通用处理节点 octo
在使用平台进行自动驾驶开发时,首先需要用户把原始数据上传至Octopus平台,即数据上云。下文介绍了通过对象存储导入数据的方式,帮助用户把车载平台输出的数据上传至Octopus平台上。 对象存储导入数据:用户需先将数据包上传至对象存储桶(可自定义)中,再导入到Octopus平台。上传速率快,适合上传大数据量(超过2G)的数据包。
数据保护技术 Octopus通过多种数据保护手段和特性,保障存储在Octopus中的数据安全可靠。 表1 表1 多种数据保护手段 数据保护手段 简要说明 传输加密(HTTPS) 支持HTTP和HTTPS两种传输协议,为保证数据传输的安全性,推荐您使用更加安全的HTTPS协议。 数据备份
高精地图上传后存储在OBS中。 标定管理 传感器标定上传的标定文件存储在OBS中。 数据场景 场景挖掘后切出的rosbag片段存储在OBS中。 数据集 数据集存储在OBS中。 数据集的标注信息存储在OBS中。 模型管理 模型文件存储在OBS中。 通用存储 支持数据导出存储在OBS中。
使用Octopus进行自动驾驶开发时,您需要将数据上传至对象存储服务(OBS)桶中。 您可以登录OBS管理控制台创建OBS桶,并在您创建的OBS桶中创建文件夹,然后再进行数据的上传。 OBS上传数据的详细操作请参见《对象存储服务快速入门》。 父主题: 其他常见问题
ss/fail标准比较复杂,需要对一些评测函数的细节进行介绍。 point_type:是一个PointType的枚举类型,表示该子类指标发生特殊状态(一般是指发生异常)时的时刻点用哪种形式存储起来。目前Octopus使用的PointType共有以下4种类型: 表1 PointType类型
多模态检索 存储费用 存储费用是指使用Octopus时,在对象存储服务(OBS)存储数据产生的费用。 表6 存储计费项说明 计费项 计费模式 计费说明 计费公式 对象存储(OBS) 包年/包月、按需计费 Octopus使用OBS存储数据,产生的费用。 具体费用可参见对象存储价格详情。
优先级:设定任务的优先级,数值取[-50,50]的整数,数字越大,优先级越高。 数据类型:选择“通用存储”。 选择存储目录:选择需要操作的通用存储中的数据。 输出目录:选择可输出的通用存储的目录。 单击“创建”, 在作业总览页面可查看创建好的作业。 创建作业(数据场景) 在左侧菜单栏中,单击“数据处理
选择“数据导入”页签,单击“导入”。 选择“对象存储导入”页签,填写具体信息。 选择目标数据包所在的对象存储路径,平台将自动扫描该目录下所有子目录。将此文件夹下的子目录都识别为有效数据包,可导入。上传数据前,请确保原始数据包含必要的有效文件,具体可参考上传数据格式。 图1 对象存储导入 表1 数据导入参数说明(含*为必填项)