检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
处理数据 在作业总览中平台支持创建数据标记,数据图表、数据回放、数据集等作业,数据包选择相对应的算子就可以触发相对应的作业。 数据回放类型的算子作业不需要选择输出仓库。 当选择数据集算子时,数据类型可支持选择通用存储。 创建作业 在左侧菜单栏中,单击“数据处理 > 数据处理”。
查看集群纳管 运维配置提供集群纳管,由平台管理员账号进行管理和配置。集群提供多种节点的混合部署,基于高性能网络模型提供全方位、多场景、安全稳定的容器运行环境,平台可以将集群统一纳管,更方便查看节点资源使用量和修改节点用途,以及设置资源规格。其中,cce-user-job集群需强制
场景挖掘 平台支持基于内置场景挖掘算法和场景识别大模型挖掘的能力,对数据包进行场景挖掘。具体操作步骤如下: 在左侧菜单栏中,单击“数据资产 > 源数据包”。 选择“数据包”页签,单击操作栏中的“详情”,进入数据包详情页。 单击数据包信息的“场景挖掘”,后台会自动进行内置场景挖掘。
原始数据采集完毕之后,需要将原始数据转换成适合Octopus平台的数据格式,以便于更快速地完成数据处理。 创建数据导入任务 在左侧菜单栏中,单击“数据处理 > 数据批导”。 选择“数据导入”页签,单击“导入”。 选择“对象存储导入”页签,填写具体信息。 选择目标数据包所在的对象存储路径,平台将自动扫描该目录下所有子
其他权限 团队管理员的其他管理权限步骤与平台管理员一致,具体请参考以下: 标注物管理请参考标注管理。 标注模板管理请参考模板管理。 标注脚本管理请参考脚本管理。 父主题: 团队管理员
批次子任务 批次任务可以拆分为多个子任务,方便多人进行操作。 前提条件 批次任务被拆分为批次子任务。 拆分批次任务 当样本数量庞大时,平台可对批次任务做拆分处理,具体步骤如下: 在左侧菜单栏中单击“标注服务 > 项目管理”。 选择“标注项目”页签,单击项目名称,进入项目内任务列表。
开箱即用,全托管的自动驾驶云服务,用户无需从零搭建一套复杂的自动驾驶大数据平台、AI平台、仿真平台、标注平台等多个工具平台,只需聚焦于核心价值(自动驾驶算法、标注数据、仿真场景),快速开展自动驾驶业务,跟上瞬息多变的市场节奏。 海量数据 平台可支持PB级数据存储和亿级数据秒级检索。 软硬件加速 感
构建镜像 Octopus平台依赖算子镜像内的/bin/bash、stdbuf、tee软件,请确保基础镜像内包含上述软件且能通过PATH找到。 Dockerfile示例 FROM ros:noetic COPY ros_hard_mining.py /home/main/ # 算法启动示例:
开箱即用,全托管的自动驾驶云服务,用户无需从零搭建一套复杂的自动驾驶大数据平台、AI平台、仿真平台、标注平台等多个工具平台,只需聚焦于核心价值(自动驾驶算法、标注数据、仿真场景),快速开展自动驾驶业务,跟上瞬息多变的市场节奏。 海量数据 平台可支持PB级数据存储和亿级数据秒级检索。 软硬件加速 感
作业总览”页签,单击“创建作业”。 完成创建作业任务信息。 图1 创建作业 处理算子:根据需要选择脱敏算子。 资源规格:当前项目中可用的资源规格,资源配置需要平台管理员在集群纳管中创建。 优先级:设定任务的优先级,数值取[-50,50]的整数,数字越大,优先级越高。 环境变量:配置算子的环境变量。允许添加的环境变量个数不超过10个。
镜像仓库 Octopus平台各服务均提供用户自定义镜像功能,镜像仓库管理模块对镜像提供了统一管理。 创建镜像仓库 用平台管理员账号登录Octopus平台。 在左侧菜单栏中,单击“镜像仓库 ”。 单击“新建”,填写基本信息。 图1 创建镜像仓库 名称:输入镜像仓库的名称,只能包含数字、英文、中文、下划线、中划线。
选择“作业总览”页签,单击“创建作业”。 图1 创建作业 处理算子:根据需要选择回放仿真算子。 资源规格:当前项目中可用的资源规格,资源配置需要平台管理员在集群纳管中创建。 优先级:设定任务的优先级,数值取[-50,50]的整数,数字越大,优先级越高。 数据类型:选择“数据包”。 选择数据:选择需要操作的数据包中的数据。
作业队列 平台为回放仿真任务提供作业队列的功能,用户可在此查看任务队列,同时支持对任务优先级的调整。 其他租户的队列作业不允许操作。 在左侧菜单栏中单击“数据处理 > 回放仿真”。 选择“作业队列”页签,查看作业。 图1 作业队列 回放仿真作业队列相关操作 在“作业队列”页签,还可以进行以下操作。
分布式训练任务 八爪鱼自动驾驶平台的多机分布式训练功能可以帮助用户加快模型训练速度,提高训练效率,并支持更大规模的深度学习任务。通过多机分布式训练,用户可以将训练任务分配到多台计算机或服务器上并行进行,充分利用硬件资源,加快模型收敛速度,提高训练效果。平台支持多种深度学习框架,如Te
构建镜像 Octopus平台依赖算子镜像内的/bin/bash、stdbuf、tee软件,请确保基础镜像内包含上述软件且能通过PATH找到。 Dockerfile示例 FROM ros:noetic COPY ros_to_dataset.py /home/main/ # 算法启动示例:
作业输入输出规范 用户完成自定义Rosbag转OpenData算子创建,运行作业容器时Octopus平台向其中注入以下环境变量: rosbag_path: 作为数据源的rosbag存放路径,例如/tmp/data/20220620.bag yaml_path: 启动数据收集任务的
示例镜像制作 Octopus平台依赖算子镜像内的/bin/bash、stdbuf、tee软件,请确保基础镜像内包含上述软件且能通过PATH找到。 Dockerfile示例 启动命令: bash /home/Octopus/run.sh 镜像构建: docker build -f Dockerfile
作业队列 平台为算子作业、内部作业和脱敏作业提供作业队列的功能,用户可在此查看任务队列,同时支持对任务优先级的调整。 其他租户的队列作业不允许操作。 在左侧菜单栏中单击“数据服务 > 数据处理”。 选择“作业队列”页签,可根据作业类型(算子作业或内部作业)查看作业。 图1 作业队列
构建镜像 Octopus平台依赖算子镜像内的/bin/bash、stdbuf、tee软件,请确保基础镜像内包含上述软件且能通过PATH找到。 Dockerfile示例 启动命令: python3 /home/main/ros2opendata.py --lidar_calibration_id
创建场景文件 功能介绍 本接口用于创建仿真场景文件。平台会根据文件sha256值判断场景文件是否已存在,如果场景文件不存在,则返回预签链接用于上传场景文件。 URI POST /v2/{project_id}/sim/sm/scenarios/{parent_lookup_id}/files