检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据缓存 提供专用高速文件存储功能,加速训练和评测读取数据集的速度。 在数据集列表(数据资产 > 数据集)中,单击操作栏中的“缓存加速”。 在数据缓存界面出现缓存的数据。 父主题: 数据资产
在使用平台进行自动驾驶开发时,首先需要用户把原始数据上传至Octopus平台,即数据上云。下文介绍了通过对象存储导入数据的方式,帮助用户把车载平台输出的数据上传至Octopus平台上。 对象存储导入数据:用户需先将数据包上传至对象存储桶(可自定义)中,再导入到Octopus平台。上传速率快,适合上传大数据量(超过2G)的数据包。
数据保护技术 Octopus通过多种数据保护手段和特性,保障存储在Octopus中的数据安全可靠。 表1 表1 多种数据保护手段 数据保护手段 简要说明 传输加密(HTTPS) 支持HTTP和HTTPS两种传输协议,为保证数据传输的安全性,推荐您使用更加安全的HTTPS协议。 数据备份
高精地图上传后存储在OBS中。 标定管理 传感器标定上传的标定文件存储在OBS中。 数据场景 场景挖掘后切出的rosbag片段存储在OBS中。 数据集 数据集存储在OBS中。 数据集的标注信息存储在OBS中。 模型管理 模型文件存储在OBS中。 通用存储 支持数据导出存储在OBS中。
使用Octopus进行自动驾驶开发时,您需要将数据上传至对象存储服务(OBS)桶中。 您可以登录OBS管理控制台创建OBS桶,并在您创建的OBS桶中创建文件夹,然后再进行数据的上传。 OBS上传数据的详细操作请参见《对象存储服务快速入门》。 父主题: 其他常见问题
提供数据批导、源数据包、数据处理、数据缓存、数据集管理。 数据结构化:处理车载硬件平台上输出的传感器数据,详细统计各类传感器信息。 数据集治理:支持PB级海量存储。 提供通用存储、模型仓库,方便集中处理数据以及模型信息。 标注服务 以标注为核心。 平台提供点云和图片的人工标注和预标注。 支持数据预标注功能,节省大量人力成本。
配额说明 本服务应用的基础设施是对象存储服务。 关于如何查看配额,如何申请扩大配额,请参考关于配额。
时发现合规风险,对威胁告警及时响应。 Octopus对存放关键数据的数据库部署了数据库安全服务。 云服务防抖动和遭受攻击后的应急响应/恢复策略 Octopus服务具备租户资源隔离能力,避免单租户资源被攻击导致爆炸半径大,影响其他租户。 Octopus服务具备资源池和隔离能力,避免单租户资源被攻击导致爆炸半径过大风险。
S桶中。 数据缓存:提供专用高速文件存储功能,加速训练和评测读取数据集的速度。 模型管理:负责对模型仓库和模型版本进行各种操作,模型仓库可包含多个模型版本,支持上传符合平台规范的模型用于标注或训练任务。 通用存储:支持创建通用存储,用于数据存储。 父主题: 数据资产
00]。 重复次数 同一个场景在一个任务中多次运行指定次数。重复次数选择范围[1,1000000]。 录制策略 回放场景直观查看主车在仿真场景中的运行情况。目前支持的录制策略:不录制、录制所有场景。 说明: 录制所有场景,录制的是一个回放文件,保存时间为永久。删除任务时,同步删除回放文件。
多模态检索 存储费用 存储费用是指使用Octopus时,在对象存储服务(OBS)存储数据产生的费用。 表6 存储计费项说明 计费项 计费模式 计费说明 计费公式 对象存储(OBS) 包年/包月、按需计费 Octopus使用OBS存储数据,产生的费用。 具体费用可参见对象存储价格详情。
00]。 重复次数 同一个场景在一个任务中多次运行指定次数。重复次数选择范围[1,1000000]。 录制策略 回放场景直观查看主车在仿真场景中的运行情况。目前支持的录制策略:不录制、录制所有场景。 说明: 录制所有场景,录制的是一个回放文件,保存时间为永久。删除任务时,同步删除回放文件。
opus支持的系统权限,请参见:Octopus权限管理。如果您需要对除Octopus之外的其它服务授权,IAM支持服务的所有权限请参见权限策略。 示例流程 图1 为用户授权流程图 创建用户组并授权 在IAM控制台创建用户组,并授予Octopus服务Octopus FullAccess、BSS
选择“数据导入”页签,单击“导入”。 选择“对象存储导入”页签,填写具体信息。 选择目标数据包所在的对象存储路径,平台将自动扫描该目录下所有子目录。将此文件夹下的子目录都识别为有效数据包,可导入。上传数据前,请确保原始数据包含必要的有效文件,具体可参考上传数据格式。 图1 对象存储导入 表1 数据导入参数说明(含*为必填项)
授权对象:请选择需要授权的对象。当创建的IAM子用户没有IAM管理权限时,无法选择授权对象,推荐为IAM子用户添加IAM ReadOnlyAccess策略。 单击“创建”,在工作空间列表查看创建好的工作空间。 工作空间相关操作 表1 工作空间相关操作 任务 操作步骤 编辑工作空间 单击操作栏
00]。 重复次数 同一个场景在一个任务中多次运行指定次数。重复次数选择范围[1,1000000]。 录制策略 回放场景直观查看主车在仿真场景中的运行情况。目前支持的录制策略:不录制、录制所有场景。 说明: 录制所有场景,录制的是一个回放文件,保存时间为永久。删除任务时,同步删除回放文件。
tmp_dir:供用户存储临时文件的目录。 task_content_json:人工打标需要的标签信息,详细参考“人工打标支持”。(如果没有人工打标,不需要此参数)。 Output 对于output_dir的格式限定如下: 必须有output_dir/dataset目录,存储数据集文件。数
采样方式介绍 蒙特卡洛采样 蒙特卡洛采样是一种简单的随机抽样,根据概率分布进行采样,如对样本服从µ=0,δ=1的正态分布,通过蒙特卡洛采样进行采样,采样得到的点能满足正态分布要求,如下图所示,采样得到的点会集中µ=0附近,要想采样得到更边界的点,需要进行大量采样。 图1 蒙特卡洛采样
采样方式有几种? 蒙特卡洛采样 蒙特卡洛采样是一种简单的随机抽样,根据概率分布进行采样,如对样本服从µ=0,δ=1的正态分布,通过通过蒙特卡洛采样进行采样,采样得到的点能满足正态分布要求,但如下图所示,采样得到的点会集中µ=0附近,要想采样得到更边界的点,需要进行大量采样。 图1
road_aids_type 匝道类型,用于静态场景的split场景和merge场景。 road_aids_type list ENUM_ROAD_AIDS_TYPE = ("DType-1", "DType-2", "PType") DType-1(直接式1): DType-1