检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查看源数据包 原始数据包含车辆采集的各类传感器数据信息,数据导入任务创建完毕后,平台对数据包进行扫描,此模块展示导入成功的数据包。 数据包列表 在左侧菜单栏中,单击“数据资产 > 源数据包”。 选择“数据包”页签,默认显示数据包列表。 图1 数据包列表 表1 数据包列表相关操作 任务
算子管理 平台支持自定义创建不同类型的算子,用于不同的数据处理作业。 新建算子 在左侧菜单栏中,单击“数据处理 > 数据处理”。 选择“算子管理”页签,单击“新建算子”。 图1 新建算子 表1 新建算子参数 参数 说明 名称 算子名称,不得超过64个字符。支持中英文、数字、“-”、“_”,不支持特殊字符。
处理数据 在作业总览中平台支持创建数据标记,数据图表、数据回放、数据集等作业,数据包选择相对应的算子就可以触发相对应的作业。 数据回放类型的算子作业不需要选择输出仓库。 当选择数据集算子时,数据类型可支持选择通用存储。 创建作业 在左侧菜单栏中,单击“数据处理 > 数据处理”。
通用存储 创建存储目录 在左侧菜单栏中,单击“数据资产 > 通用存储”。 选择“通用存储”页签,单击“创建存储目录”,填写基本信息。 图1 创建存储目录 单击“确定”,通用存储列表可查看新建通用存储。 通用存储相关操作 在“通用存储”列表,还可以完成以下操作。 表1 通用存储相关操作
如何查看Octopus与OBS桶是否在同一区域? 在使用Octopus各功能时,如创建训练作业、创建数据集等,涉及到需要指定OBS目录时,都需要保证此OBS桶与Octopus在同一区域。 查看OBS桶与Octopus是否在同一区域 查看创建的OBS桶所在区域。 登录OBS管理控制台。
作业总览 在作业总览中平台支持创建数据标记,数据图表、数据回放、数据集等作业,数据包选择相对应的算子就可以触发相对应的作业。 数据回放类型的算子作业不需要选择输出仓库。 状态是待脱敏或者脱敏中的数据包不能运行数据回放类型的作业。 数据包类型必须是Rosbag类型。 当选择数据集算
故障恢复 Octopus全球基础设施围绕华为云区域和可用区构建。华为云区域提供多个在物理上独立且隔离的可用区,这些可用区通过延迟低、吞吐量高且冗余性高的网络连接在一起。利用可用区,您可以设计和操作在可用区之间无中断地自动实现故障转移的应用程序和数据库。与传统的单个或多个数据中心基
自定义评测镜像制作 延时评测 仿真器输出的仿真过程数据会按照OSI的GroundTruth格式存储为pb文件,根据创建任务配置时是否选择使用datahub,该仿真pb有两种格式: 使用datahub时,该仿真pb的每帧数据是GroundTruth结构,然后按照OSI标准推荐的存储
支持云审计的关键操作 通过云审计服务,您可以记录与Octopus相关的操作事件,便于日后的查询、审计和回溯。 前提条件 已开通云审计服务。 支持审计的关键操作列表 表1 云审计服务支持的公共服务关键操作列表 操作名称 资源类型 事件名称 新增纳管集群 octopus addCluster
模型文件基本要求 模型文件通常包括模型图和模型权重文件,具体内容视用户算法决定,无其他要求。如果需要使用内置指标计算,则需满足以下条件: 自定义模型包中必须包含推理启动文件以及自定义模型文件,其中推理启动文件需要根据Octopus数据格式对推理结果存储为json进行适配,除此之外
数据保护技术 Octopus通过多种数据保护手段和特性,保障存储在Octopus中的数据安全可靠。 表1 表1 多种数据保护手段 数据保护手段 简要说明 传输加密(HTTPS) 支持HTTP和HTTPS两种传输协议,为保证数据传输的安全性,推荐您使用更加安全的HTTPS协议。 数据备份
预标注模型文件 预标注模型完成对数据的推理,并将推理结果按照规定格式放在指定路径中。 模型文件基本要求 自定义模型包通过环境变量获取数据集路径和推理结果存放路径,将每帧数据的推理结果按照规定格式存入规定路径的json文件中。 自定义模型包中必须包含启动文件。除此之外,还可包含一些
预审核模型文件 预审核模型完成对已标数据的审核,并将审核结果和审核所用的审核规则按照规定格式放在指定路径中。 模型文件基本要求 自定义模型包通过环境变量获取数据集路径和推理结果存放路径,将每帧数据的审核结果按照规定格式存入规定路径的json文件中。 自定义模型包中必须包含启动文件
场景管理分类设计使用逻辑 场景管理提供所有仿真场景、测试用例和泛化场景的管理功能,用户可上传符合平台规范的自定义场景,也可将场景下载至本地开发。Octopus平台自研场景标签分类体系,从多维度深层次科学分类场景。仿真场景库可自建仿真场景库,集合相同场景格式的不同条件仿真场景,检验在特定条件下仿真算法控制质量。
资产识别与管理 资产识别 用户在数据资产包括用户上传的数据集以及用户提供的一些个人信息。 数据资产包括但不限于文本、图形、音频、视频、照片、图像、代码、算法、模型等。 资产管理 对于用户上传至Octopus的资产,Octopus会做统一的保存管理。 对于文件类型的资产,Octop
场景库管理 仿真场景库模块提供场景库管理功能,支持对场景库的增删改查功能。自建场景库将场景格式相同的多个仿真场景集合,便于用户进行开发。 创建场景库 在左侧菜单栏中单击“仿真服务 > 场景管理”。 选择“场景库”页签,单击“场景库分类”后的“新增一级分类”,输入场景库分类名称,用户将新建一个场景库分类。
模型仓库 Octopus平台支持上传符合平台规范的模型用于标注或训练任务。对智驾模型进行模型微调后,调优后的模型会自动保存到模型仓库中。 上传模型需包含以下内容: 模型文件。 推理脚本,推理脚本命名为:customer_auto_label.py。 推理脚本所需依赖库。 新建模型仓库
服务韧性 韧性特指安全韧性,即云服务受攻击后的韧性,不含可靠性、可用性。本章主要阐述Octopus服务受入侵的检测响应能力、防抖动的能力、域名合理使用、内容安全检测等能力。 安全防护套件覆盖和使用堡垒机,增强入侵检测和防御能力 Octopus服务部署主机层、应用层、网络层和数据层
逻辑场景库管理 逻辑场景库模块提供逻辑场景库管理功能,支持对逻辑场景库的增删改查功能。 创建逻辑场景库 在左侧菜单栏中单击“仿真服务 > 场景管理”。 选择“逻辑场景库”页签,单击“逻辑场景库分类”后的“新增一级分类”,输入逻辑场景库分类名称,用户将新建一个逻辑场景库分类,目前逻辑场景库分类层级支持四层。
场景展示 前提条件 符合以下两种条件中的其中之一,即可在此模块查看数据场景片段。 选择自定义挖掘算子(数据标记类型)的作业正常运行完毕(自定义场景片段)。 在源数据包详情界面,手动触发“场景挖掘”按钮,并完成数据场景挖掘作业(内置场景片段)。 生成仿真场景 生成仿真场景必须同时依