检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
获取数据仓库的数据列表 功能介绍 获取数据仓库的数据列表 URI POST /v1.0/{project_id}/common/warehouses/{data_warehouse_id}/data 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String
数据批导简介 在使用平台进行自动驾驶开发时,首先需要用户把原始数据上传至Octopus平台,即数据上云。下文介绍了数据导入任务的三种方式,帮助用户把车载平台输出的数据上传至Octopus平台上。 对象存储导入数据:用户需先将数据包上传至对象存储桶(可自定义)中,再导入到Octop
数据来源为数据集 根据数据来源不同,可分为以下四种形式创建数据集。 本地 在左侧菜单栏中单击“数据资产 > 数据集 ”。 选择“数据集”页签,单击“创建数据集”,填写数据集信息。 图1 创建数据集 名称:不得超过64个字符。支持中英文、数字、“-”、“_”,不支持特殊字符。 描述
拥有的权限? 数据处理。 可选择数据是否进行OpenData转换,并且选用相对应的数据服务算子(数据回放)以及资源规格。 图2 数据处理 如果yaml和算子中有相同的信息,算子上传后,会覆盖yaml中的信息。 没有进行OpenData转换的数据,只能作为算子作业的输入使用。 勾选
数据来源为数据集子集 当数据集形式为数据集子集时,创建步骤如下: 在左侧菜单栏中单击“数据资产 > 数据集”。 选择“数据集”页签,单击“创建数据集”,填写数据集信息。 图1 创建数据集子集 名称:不得超过64个字符。支持中英文、数字、“-”、“_”,不支持特殊字符。 描述:数据
数据总览 在数据总览页面可查看平台数据服务的统计数据,帮助用户快速了解各项数据关键指标和业务的健康情况。 进入总览数据页面: 登录Octopus服务平台,在左侧菜单栏中单击“数据资产 > 数据总览”。 图1 数据总览 表1 总览页面说明 序号 区域名称 说明 1 采集数据统计 平
处理数据 在作业总览中平台支持创建数据标记,数据图表、数据回放、数据集等作业,数据包选择相对应的算子就可以触发相对应的作业。 数据回放类型的算子作业不需要选择输出仓库。 当选择数据集算子时,数据类型可支持选择通用存储。 创建作业 在左侧菜单栏中,单击“数据处理 > 数据处理”。
</ModelMetaData> 标注数据.json文件说明 数据集中必含“.json”文件,用于集合该时间戳已标注点云的所有标注数据信息,包括该点云所在的项目id、数据包id、图片上所有标注框信息等。上传数据集前请保证“.json”文件内容正确。“.json”文件编写的参考样例如下: 3D立方体框数据: 该文
、UHD620的gpu 、16G内存 、100Mbps带宽。 查看数据回放 数据回放页面详细说明如下: 图1 数据回放详情页 表1 数据回放页面详细说明 序号 区域名称 说明 1 主车运行状态数据 自动驾驶和人工接管的相关数据信息。如加速度、速度和方向盘数据,数据随着采集车辆的行驶动态变化。
查看订单详情 单击操作栏中的“更多 > 详情”,查看订单详情。在订单详情页面,选择数据包创建脱敏作业,对数据包进行脱敏操作。 订单推送 订单推送会将数据包推送到数据服务,您可以到“ 数据处理 > 数据批导”中查看导入任务进度。 查询订单号 在“数据合规”订单列表页面,在搜索输入
数据缓存 提供专用高速文件存储功能,加速训练和评测读取数据集的速度。 在数据集列表(数据资产 > 数据集)中,单击操作栏中的“缓存加速”。 在数据缓存界面出现缓存的数据。 父主题: 数据资产
说明: 数据集详情页也可以单击 “添加版本” 增量更新数据集。 点云数据集因在线渲染点云图像,故会出现短暂“加载中”过程,请用户耐心等待。 删除数据集 选择单个数据集,单击操作栏的“删除”,删除数据集。 添加数据 在“数据集”列表,单击操作栏的“添加数据”,填写数据信息,单击“确定”。
数据合规简介 数据合规服务是自动驾驶云服务为用户提供合规监管服务,包含合规室管理、数据流监管、账号管理、权限管理、日志审计服务能力。支持对上传合规服务的数据包进行脱敏处理,提供合规脱敏能力,支持将数据包中人脸、车牌、点云脱敏。支持用户使用合规服务创建脱敏算子、下发脱敏任务。 在使
批导数据 原始数据采集完毕之后,需要将原始数据转换成适合Octopus平台的数据格式,以便于更快速地完成数据处理。 创建数据导入任务 在左侧菜单栏中,单击“数据处理 > 数据批导”。 选择“数据导入”页签,单击“导入”。 选择“对象存储导入”页签,填写具体信息。 选择目标数据包所
数据处理简介 数据处理可对自动驾驶过程中采集到的数据进行处理、解析,处理的结果可以用于回访定位问题,并可根据不同功能的算子生成不同的数据处理作业。数据处理操作引导如下: 数据批导:创建数据导入任务,收集采集车辆原始数据。 数据处理:支持根据自定义数据服务算子,对数据包进行处理,创建不同类型的作业。
是 String 数据集名称 最小长度:1 最大长度:64 data_type 是 String 数据集数据类型 枚举值: IMAGE(图片) POINT_CLOUD(点云) TEXT(文本) VIDEO(视频) dataset_form 是 String 数据集形式 枚举值: DATASET(数据集)
层、应用层、网络层和数据层的安全入侵行为。 Octopus服务涉及对互联网开放的Web应用,采用了统一推荐的Web安全组件防范Web安全风险,并且通过WAF进行安全防护。 所有承载Octopus服务的主机部署了主机安全防护和容器安全产品。包括不限于华为自研HSS/CGS或计算安全平台CSP。
数据脱敏作业 作业输入输出规范 用户完成自定义脱敏算子创建,运行作业容器时Octopus平台向其中注入以下环境变量: input_file:待脱敏的文件路径 raw_dir:抽取的image,gnss,lidar数据存放路径 desensitized_dir:脱敏后的image,gnss,lidar数据存放路径
数据保护技术 Octopus通过多种数据保护手段和特性,保障存储在Octopus中的数据安全可靠。 表1 表1 多种数据保护手段 数据保护手段 简要说明 传输加密(HTTPS) 支持HTTP和HTTPS两种传输协议,为保证数据传输的安全性,推荐您使用更加安全的HTTPS协议。 数据备份
数据资产简介 在自动驾驶产品的开发过程中,海量的数据存储和管理是当前自动驾驶平台面临的业务挑战之一。 Octopus平台的数据服务模块提供了海量数据采集、存储以及数据并行处理等功能,供后续服务进行统一使用。数据服务开发流程如下: 图1 数据服务开发流程 地图管理:支持上传高精地图数据,可用于数据回放、仿真场景等功能。