检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据集治理:支持PB级海量存储。 提供通用存储、模型仓库,方便集中处理数据以及模型信息。 标注服务 以标注为核心。 平台提供点云和图片的人工标注和预标注。 支持数据预标注功能,节省大量人力成本。 训练服务 以模型为核心。
进入“对象存储”界面,可在桶列表的“桶名称”列查找,或在右上方的搜索框中输入已经创建的桶名称搜索,找到您创建的OBS桶。 在“区域”列可查看创建的OBS桶的所在区域。 查看Octopus所在区域。 登录Octopus控制台,在控制台左上角可查看Octopus所在区域。
数据缓存 用户购买自动驾驶数据管理缓存扩容包后,可使用数据缓存功能提供专用高速文件存储,加速训练和评测读取数据集的速度。需确保待缓存的数据集中的所有数据均已发布成功。 确认待缓存数据集中是否存在未发布的数据。
输出目录:选择可输出的通用存储的目录。 单击“创建”, 在作业总览页面可查看创建好的作业。 父主题: 数据处理
/result_frame.json Json文件内容示例: 通用存储: /tmp/data-warehouse/warehouse-dataset/ 注:通用存储可能存在多个索引json文件,需遍历。
展示拓展资源类型、名称、版本、挂载位置(所选资源所对应的OBS存储或SFS存储在开发环境容器中的实际挂载路径)信息。 支持单击资源名称跳转到对应的资源详情。 支持编辑、添加、删除处于“排队中”或“已停止”状态的开发环境的资源挂载和缓存挂载。
逻辑场景中场景是完全独立存储与使用的,在逻辑场景生成的泛化场景非常多,其中有价值的场景比例低,如果存储到场景中会对场景模块造成冲击,当前如果认为逻辑场景中保存的个别场景价值高,可以采用下载场景文件到本地再上传到场景模块的方式保留该逻辑场景。 逻辑场景 泛化场景 父主题: 场景管理
模型仓库 模型文件说明(标注) 模型文件说明(训练) 通用存储 在通用存储中平台支持通用存储的创建,可用于所有服务的数据存储,方便数据的集中管理。
OBS:支持从对象存储服务(OBS)中导入数据集。 需提前将数据集上传至OBS,并获取对应的访问密钥、私有访问密钥和OBS地址。 通用存储:可以从八爪鱼通用存储服务导入数据集。 数据集:基于现有数据集,创建子集。
表1 个人数据说明 使用个人数据的场景 数据批导 数据集 通用存储 数据合规递送 收集的个人数据项 路采数据包(含有人像的2D图片,音频或视频) 自定义数据集(含有人像的2D图片,音频或视频) 路采数据包(含有人像的2D图片,音频或视频) 个人数据收集的来源和方式 对象存储导入 本地
未使用datahub时,该仿真pb按照sim_osi.proto定义的格式进行存储,所有仿真数据帧GroundTruth存储到一个列表字段“frames”中。
区域(Region) 从地理位置和网络时延维度划分,同一个Region内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。
单击仿真场景名称,页面自动跳转至“数据资产 > 通用存储 >目录名称(创建作业时选择的)> 数据处理任务”,在此可对其进行查看和删除等操作。详情请参考通用存储详情。 如果该场景片段需要重新生成仿真场景,则需在仿真服务模块删除该场景片段生成的仿真场景。
创建通用存储数据 octopus createDataWarehouseData 更新通用存储的指定数据 octopus updateDataWarehouseData 创建通用存储中视频文件分片 octopus createDataWarehouseVideoSlice 删除通用存储中指定数据
数据资产 数据资产简介 数据总览 地图管理 标定管理 源数据包 数据场景 数据集 数据缓存 模型管理 通用存储
准备工作 注册华为账号并开通华为云 创建用户并授权使用服务 创建对象存储服务 申请公测 购买开通Octopus服务
仿真pb文件以osi标准存储了仿真器在整个仿真过程中的数据,用户可以利用该仿真pb进行数据分析。 评测pb下载:任务运行成功后,用户可以下载评测pb文件。评测pb文件用于存储评测输出的结果,支持用户自定义评测指标输出为Octopus的评测pb格式,从而在前端进行展示。
仿真pb文件以osi标准存储了仿真器在整个仿真过程中的数据,用户可以利用该仿真pb进行数据分析。 评测pb下载:任务运行成功后,用户可以下载评测pb文件。评测pb文件用于存储评测输出的结果,支持用户自定义评测指标输出为Octopus的评测pb格式,从而在前端进行展示。
point_type:是一个PointType的枚举类型,表示该子类指标发生特殊状态(一般是指发生异常)时的时刻点用哪种形式存储起来。 其中PointType共有5种类型,参考PointType。
更新时间降序) 枚举值: CREATE_AT_ASC(导入时间升序) CREATE_AT_DESC(导入时间降序) UPDATE_AT_ASC(更新时间升序) UPDATE_AT_DESC(更新时间降序) source_type 否 String 传输方式 枚举值: OBS(对象存储