检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通用存储 创建存储目录 在左侧菜单栏中,单击“数据资产 > 通用存储”。 选择“通用存储”页签,单击“创建存储目录”,填写基本信息。 图1 创建存储目录 单击“确定”,通用存储列表可查看新建通用存储。 通用存储相关操作 在“通用存储”列表,还可以完成以下操作。 表1 通用存储相关操作
同时在线用户数扩容包 支持20个在线标注用户数。 存储扩容包 自动驾驶数据管理缓存扩容包 当SFS存储剩余容量不足时,购买自动驾驶数据管理缓存扩容包增加SFS存储容量。 自动驾驶数据管理存储扩容包 当OBS存储剩余容量不足时,购买自动驾驶数据管理缓存扩容包增加OBS存储容量。 通用处理节点 octo
仿真器输出的仿真过程数据会按照OSI的GroundTruth格式存储为pb文件,根据创建任务配置时是否选择使用datahub,该仿真pb有两种格式: 使用datahub时,该仿真pb的每帧数据是GroundTruth结构,然后按照OSI标准推荐的存储格式,先按小端顺序存储4个字节,该4个字节表示下一帧Gro
多模态检索 存储费用 存储费用是指使用Octopus时,在对象存储服务(OBS)存储数据产生的费用。 表6 存储计费项说明 计费项 计费模式 计费说明 计费公式 对象存储(OBS) 包年/包月、按需计费 Octopus使用OBS存储数据,产生的费用。 具体费用可参见对象存储价格详情。
高精地图上传后存储在OBS中。 标定管理 传感器标定上传的标定文件存储在OBS中。 数据场景 场景挖掘后切出的rosbag片段存储在OBS中。 数据集 数据集存储在OBS中。 数据集的标注信息存储在OBS中。 模型管理 模型文件存储在OBS中。 通用存储 支持数据导出存储在OBS中。
通用存储 通用存储 自定义属性 父主题: 数据资产
S桶中。 数据缓存:提供专用高速文件存储功能,加速训练和评测读取数据集的速度。 模型管理:负责对模型仓库和模型版本进行各种操作,模型仓库可包含多个模型版本,支持上传符合平台规范的模型用于标注或训练任务。 通用存储:支持创建通用存储,用于数据存储。 父主题: 数据资产
数据导入 对象存储导入数据 把原始数据上传至平台前,可将数据包上传至对象存储中,从对象存储导入平台。操作步骤如下: 在左侧菜单栏中,单击“数据处理 > 数据批导”。 选择“数据导入”页签,单击“导入”。 选择“对象存储导入”页签,填写具体信息。 选择目标数据包所在的对象存储路径,平台
标计算,则需满足以下条件: 自定义模型包中必须包含推理启动文件以及自定义模型文件,其中推理启动文件需要根据Octopus数据格式对推理结果存储为json进行适配,除此之外还可以包含一些其他必要的自定义脚本、自定义库、自定义算子库等。模型包文件目录结构可参考如下: . ├─ model
数据。 OBS简介 对象存储服务OBS是一个基于对象的海量存储服务,为客户提供海量、安全、高可靠、低成本的数据存储能力。对象存储服务OBS的基本组成是桶和对象。桶是OBS中存储对象的容器,每个桶都有自己的存储类别、访问权限、所属区域等属性,用户在互联网上通过桶的访问域名来定位桶。对象是OBS中数据存储的基本单位。
自定义属性 数据处理只能识别带有标签的文件数据,进入通用存储后,用户可以给通用存储中的文件添加key-value映射关系的自定义属性。 创建自定义属性 在左侧菜单栏中,单击“数据资产 > 通用存储 ”。 选择“自定义属性”页签,单击“创建自定义属性”,填写基本信息。 图1 创建自定义属性
S桶中。 数据缓存:提供专用高速文件存储功能,加速训练和评测读取数据集的速度。 模型管理:负责对模型仓库和模型版本进行各种操作,模型仓库可包含多个模型版本,支持上传符合平台规范的模型用于标注或训练任务。 通用存储:支持创建通用存储,用于数据存储。 地图管理 在地图管理中上传的高精
提供数据批导、源数据包、数据处理、数据缓存、数据集管理。 数据结构化:处理车载硬件平台上输出的传感器数据,详细统计各类传感器信息。 数据集治理:支持PB级海量存储。 提供通用存储、模型仓库,方便集中处理数据以及模型信息。 标注服务 以标注为核心。 平台提供点云和图片的人工标注和预标注。 支持数据预标注功能,节省大量人力成本。
数据批导 数据集 通用存储 数据合规递送 收集的个人数据项 路采数据包(含有人像的2D图片,音频或视频) 自定义数据集(含有人像的2D图片,音频或视频) 路采数据包(含有人像的2D图片,音频或视频) 个人数据收集的来源和方式 对象存储导入 本地 标注 OBS 通用存储 数据递送 使用个人数据的目的以及安全保护措施
选择“数据导入”页签,单击“导入”。 选择“对象存储导入”页签,填写具体信息。 选择目标数据包所在的对象存储路径,平台将自动扫描该目录下所有子目录。将此文件夹下的子目录都识别为有效数据包,可导入。上传数据前,请确保原始数据包含必要的有效文件,具体可参考上传数据格式。 图1 对象存储导入 表1 数据导入参数说明(含*为必填项)
过程中,您需要用到账号、用户和密码等信息。 区域(Region) 从地理位置和网络时延维度划分,同一个Region内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。Region分为通用Region和专属Region,通用Region指面向公共租户提供通用
编辑仿真场景信息。 图6 生成仿真场景 任务类型:仿真场景生成。 仿真器:可选择仿真器A和仿真器B。 生成路径:可选仿真场景库和通用存储。此处选择通用存储。 目录名称:下拉选择目录名称。 场景片段名称:格式为“车辆名称_场景标签_该场景片段ID”,也可以在此处再次选择场景片段。 信息编辑结束后,单击“确认”。
提供海量仿真场景。自定义逻辑场景的可以进行修改、删除操作,并支持仿真器B。 逻辑场景中场景是完全独立存储与使用的,在逻辑场景生成的泛化场景非常多,其中有价值的场景比例低,如果存储到场景中会对场景模块造成冲击,当前如果认为逻辑场景中保存的个别场景价值高,可以采用下载场景文件到本地再上传到场景模块的方式保留该逻辑场景。
10-99秒,并做校验。 抽帧间隔 片段不得超过10秒。 抽帧topic 选择数据包的所有camera和lidar类的topic。 存储目录 选择存储目录。 抽帧结果是否生成数据集 可根据需要,选择抽帧结果是否生成数据集。 名称 简要描述场景,只能包含数字、英文、中文、下划线、中划线。
录制所有场景,用户可以下载仿真pb文件。仿真pb文件以osi标准存储了仿真器在整个仿真过程中的数据,用户可以利用该仿真pb进行数据分析。 评测pb下载:任务运行成功后,用户可以下载评测pb文件。评测pb文件用于存储评测输出的结果,支持用户自定义评测指标输出为Octopus的评测pb格式,从而在前端进行展示。