检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据导入 对象存储导入数据 把原始数据上传至平台前,可将数据包上传至对象存储中,从对象存储导入平台。操作步骤如下: 在左侧菜单栏中,单击“数据处理 > 数据批导”。 选择“数据导入”页签,单击“导入”。 选择“对象存储导入”页签,填写具体信息。 选择目标数据包所在的对象存储路径,
数据缓存 提供专用高速文件存储功能,加速训练和评测读取数据集的速度。 在数据集列表(数据资产 > 数据集)中,单击操作栏中的“缓存加速”。 在数据缓存界面出现缓存的数据。 父主题: 数据资产
数据批导简介 在使用平台进行自动驾驶开发时,首先需要用户把原始数据上传至Octopus平台,即数据上云。下文介绍了通过对象存储导入数据的方式,帮助用户把车载平台输出的数据上传至Octopus平台上。 对象存储导入数据:用户需先将数据包上传至对象存储桶(可自定义)中,再导入到Oct
当通用存储中存在数据处理任务时,不可删除通用存储,需先删除完数据处理任务才可删除通用存储。 编辑通用存储 单击操作栏内的“编辑”,可编辑通用存储。 通用存储详情 在左侧菜单栏中,单击“数据存储 > 通用存储”。 选择“通用存储”页签,单击目录名称,进入通用存储详情页。 存储数据:显示在此仓库中所有的数据。
数据保护技术 Octopus通过多种数据保护手段和特性,保障存储在Octopus中的数据安全可靠。 表1 表1 多种数据保护手段 数据保护手段 简要说明 传输加密(HTTPS) 支持HTTP和HTTPS两种传输协议,为保证数据传输的安全性,推荐您使用更加安全的HTTPS协议。 数据备份
批导数据 原始数据采集完毕之后,需要将原始数据转换成适合Octopus平台的数据格式,以便于更快速地完成数据处理。 创建数据导入任务 在左侧菜单栏中,单击“数据处理 > 数据批导”。 选择“数据导入”页签,单击“导入”。 选择“对象存储导入”页签,填写具体信息。 选择目标数据包所
数据资产简介 在自动驾驶产品的开发过程中,海量的数据存储和管理是当前自动驾驶平台面临的业务挑战之一。 Octopus平台的数据服务模块提供了海量数据采集、存储以及数据并行处理等功能,供后续服务进行统一使用。数据服务开发流程如下: 图1 数据服务开发流程 地图管理:支持上传高精地图数据,可用于数据回放、仿真场景等功能。
处理数据 在作业总览中平台支持创建数据标记,数据图表、数据回放、数据集等作业,数据包选择相对应的算子就可以触发相对应的作业。 数据回放类型的算子作业不需要选择输出仓库。 当选择数据集算子时,数据类型可支持选择通用存储。 创建作业 在左侧菜单栏中,单击“数据处理 > 数据处理”。
数据来源为数据集 根据数据来源不同,可分为以下四种形式创建数据集。 本地 在左侧菜单栏中单击“数据资产 > 数据集 ”。 选择“数据集”页签,单击“创建数据集”,填写数据集信息。 图1 创建数据集 名称:不得超过64个字符。支持中英文、数字、“-”、“_”,不支持特殊字符。 描述
通用存储 通用存储 自定义属性 父主题: 数据资产
如何上传数据至OBS? 使用Octopus进行自动驾驶开发时,您需要将数据上传至对象存储服务(OBS)桶中。 您可以登录OBS管理控制台创建OBS桶,并在您创建的OBS桶中创建文件夹,然后再进行数据的上传。 OBS上传数据的详细操作请参见《对象存储服务快速入门》。 父主题: 其他常见问题
生成精度更高的新模型。同常规训练不同的是需要额外选择输入模型和版本。 选择数据集。 用户从数据资产中的数据集和数据缓存中选择数据集,最多支持添加5个数据集。 图5 选择数据集 单击“创建”,在任务列表或分组可查看新建训练任务。 训练任务相关操作 在“训练任务”列表,可对训练任务进行以下操作:
自定义属性 数据处理只能识别带有标签的文件数据,进入通用存储后,用户可以给通用存储中的文件添加key-value映射关系的自定义属性。 创建自定义属性 在左侧菜单栏中,单击“数据资产 > 通用存储 ”。 选择“自定义属性”页签,单击“创建自定义属性”,填写基本信息。 图1 创建自定义属性
、100Mbps带宽。 查看数据回放 数据回放页面详细说明如下: 图1 数据回放详情页 表1 数据回放页面详细说明 序号 区域名称 说明 1 主车运行状态数据 自动驾驶和人工接管的相关数据信息。如加速度、速度和方向盘数据,数据随着采集车辆的行驶动态变化。 2 数据列表 回放图层参考回放图层信息。
</ModelMetaData> 标注数据.json文件说明 数据集中必含“.json”文件,用于集合该时间戳已标注点云的所有标注数据信息,包括该点云所在的项目id、数据包id、图片上所有标注框信息等。上传数据集前请保证“.json”文件内容正确。“.json”文件编写的参考样例如下: 3D立方体框数据: 该文
数据资产 数据资产简介 数据总览 地图管理 标定管理 源数据包 数据场景 数据集 数据缓存 模型管理 通用存储
数据集管理 数据集建成后,在“数据集”列表,可对数据集进行以下操作。 表1 数据集列表相关操作 任务 操作步骤 查找数据集 在搜索输入框中输入搜索条件,按回车键即可查询。 查看数据集详情 在“数据集”列表,单击目标数据集名称,查看数据集详情、数据预览、版本管理,详情请参考数据集详情。
数据合规简介 数据合规服务是自动驾驶云服务为用户提供合规监管服务,包含合规室管理、数据流监管、账号管理、权限管理、日志审计服务能力。支持对上传合规服务的数据包进行脱敏处理,提供合规脱敏能力,支持将数据包中人脸、车牌、点云脱敏。支持用户使用合规服务创建脱敏算子、下发脱敏任务。 在使
表1 个人数据说明 使用个人数据的场景 数据批导 数据集 通用存储 数据合规递送 收集的个人数据项 路采数据包(含有人像的2D图片,音频或视频) 自定义数据集(含有人像的2D图片,音频或视频) 路采数据包(含有人像的2D图片,音频或视频) 个人数据收集的来源和方式 对象存储导入 本地
audio2.json #该音频文件的所有标注信息 标注数据.json文件说明 数据集中必含“.json”文件,用于集合该音频文件的所有标注数据信息,包括该音频所在的项目id、数据包id、音频上所有标注信息等。上传数据集前请保证“.json”文件内容正确。“.json”文件编写的参考样例如下: