检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
训练服务简介 训练服务模块上承接数据服务和标注服务两大模块,为自动驾驶研发提供方便易用的模型训练和评测平台,让用户无需过多关注底层资源,聚焦算法和模型开发。用户可上传符合Octopus平台规范的训练算法,将成熟的算法创建训练任务生成训练模型。此外,训练服务提供多种模型评测指标,从
数据缓存 提供专用高速文件存储功能,加速训练和评测读取数据集的速度。 在数据集列表(数据资产 > 数据集)中,单击操作栏中的“缓存加速”。 在数据缓存界面出现缓存的数据。 父主题: 数据资产
采样方式介绍 蒙特卡洛采样 蒙特卡洛采样是一种简单的随机抽样,根据概率分布进行采样,如对样本服从µ=0,δ=1的正态分布,通过蒙特卡洛采样进行采样,采样得到的点能满足正态分布要求,如下图所示,采样得到的点会集中µ=0附近,要想采样得到更边界的点,需要进行大量采样。 图1 蒙特卡洛采样
数据场景 Octopus平台处理完原始采集数据后,平台支持内置和自定义场景挖掘算法,可自动提取对应场景行为的片段,展示在数据场景模块中。用户可将其生成单个仿真场景片段,为后续仿真开发做准备。 数据场景依赖以下三个topic:ego_tf(主车定位)、 object_array_v
流程进行裁剪: 图2 标注任务全流程 项目管理:通过对项目内的任务以及项目内的标注物管理,用户可根据业务需求不同,创建不同类型的项目。 用户管理:可为任务提供角色分配,对所有团队下普通用户进行管理。 团队管理:为标注团队进行人员职能的分配。未分配到标注项目的团队不可查看该项目信息,确保标注任务的安全性。
务的接口。 数据回放 包括获取数据片段统计、获取数据片段列表、数据片段详情、获取数据包topic回放索引、获取数据包topic回放数据临时链接、创建回放转仿真场景作业、查询回放转仿真场景作业状态的接口。 作业管理 包括查询作业列表、创建作业、批量更新作业、批量删除作业、查询作业详
数据集 创建数据集 数据集管理 导出任务 Octopus数据集格式说明 父主题: 数据资产
py”,文本框内只需输入“xxx”。 如果启动文件“xxx.py”位于脚本的二级目录下,则路径为“xxx/xxx.py”,文本框内只需输入“xxx/xxx”。 用户无需输入启动文件路径的后缀“.py”,平台会自动添加。 当前只支持.py类型的启动文件。 文件路径只能包含数字、英文、下划线、中划线、点、斜杠和空格,且不能超过256字符。
镜像制作(标注) Octopus平台依赖算子镜像内的/bin/bash、stdbuf、tee软件,请确保基础镜像内包含上述软件且能通过PATH找到。 标注镜像Dockerfile示例 环境变量使用说明 父主题: 镜像仓库
场景识别 单帧识别 多帧识别 父主题: 智驾模型服务
评测任务 创建任务 评测结果 父主题: 模型评测
数据脱敏 作业总览 作业队列 算子管理 算子示例 父主题: 数据合规
标签管理 新增标签 标签筛选 父主题: 场景管理
团队管理员 管理团队 管理项目 其他权限 父主题: 标注服务
标注类型:人工标注,该标注模板用于人工标注任务。 数据类型:根据模板包含的样本类型选择图片、3D点云、音频或文本。 标注:从下拉框中选择符合用户业务所需的标注物。用户可自定义添加标注物以满足业务所需。 图3 预标注 标注类型:预标注,该标注模板用于预标注任务。 数据类型:根据模板包含的样本类型选择图片、3D点云、音频或文本。
标注管理 标注管理主要提供可视化的标注物管理,支持自定义创建多种标注物的形状和颜色,可用于预标注和人工标注指定物体,或自定义算法模型中关联特定标注物。如果在创建标注模板时,没有找到满足当前所需的标注物,则可以通过标注物管理添加新标注物。 不同标注物可依靠标注物名称以及标注物描述区分。
19,如果算法占用15核,那么当前集群是无法满足调度的,需要提升集群节点配置。 图1 创建仿真算法 并行仿真任务资源利用说明 当前批量仿真任务同一用户仅允许同时运行一个批量仿真任务。假设有一个4节点的集群,某个任务只有一个场景,那么仿真会创建一个子任务,此时,任务只会被调度到一个节点上,示意图如图2所示。
Octopus仿真服务平台定义了一些proto接口,用于支持用户自定义评测等功能。这些自定义功能通常以镜像的形式上传到云仿真平台,然后参与到业务运行流程中。 本文档对常见业务功能的镜像制作进行指导说明。 自定义评测镜像涉及的样例代码,如有需要,请联系相关人员。 算法镜像和评测镜像cmd以用户创建项目时输入的运行命令
数据处理 作业总览 作业队列 算子管理 算子示例 父主题: 数据处理
行所需要的基本依赖环境。用户可使用命令行模式或Dockerfile模式进行构建。以训练、评测镜像为例,一般的镜像制作Dockerfile示例如下(xxx替换为实际路径): # 载入基础镜像,训练或评测引擎一般需包含cuda/cudnn等算法基础环境。用户可手动制作或拉取官方镜像