检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据资产简介 在自动驾驶产品的开发过程中,海量的数据存储和管理是当前自动驾驶平台面临的业务挑战之一。 Octopus平台的数据服务模块提供了海量数据采集、存储以及数据并行处理等功能,供后续服务进行统一使用。数据服务开发流程如下: 图1 数据服务开发流程 地图管理:支持上传高精地图数据,可用于数据回放、仿真场景等功能。
获取镜像仓库版本列表 功能介绍 获取镜像仓库版本列表 URI GET /v1.0/{project_id}/common/image-registry/image-repos/{id}/versions 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String
模型管理 模型仓库 模型文件说明(标注) 模型文件说明(训练) 父主题: 数据资产
功能总览 功能总览 全部 功能架构 数据资产 数据合规 数据处理 标注服务 训练服务 仿真服务 智驾模型服务 镜像仓库 运维配置 工作空间 功能架构 自动驾驶云服务(Octopus)是一个一站式的开发平台,能够支撑开发者从数据收集到仿真应用的全流程开发过程。整体由数据资产、数据服
支持云审计的关键操作 通过云审计服务,您可以记录与Octopus相关的操作事件,便于日后的查询、审计和回溯。 前提条件 已开通云审计服务。 支持审计的关键操作列表 表1 云审计服务支持的公共服务关键操作列表 操作名称 资源类型 事件名称 新增纳管集群 octopus addCluster
资产识别与管理 资产识别 用户在数据资产包括用户上传的数据集以及用户提供的一些个人信息。 数据资产包括但不限于文本、图形、音频、视频、照片、图像、代码、算法、模型等。 资产管理 对于用户上传至Octopus的资产,Octopus会做统一的保存管理。 对于文件类型的资产,Octop
创建镜像仓库版本操作账号 功能介绍 创建镜像仓库版本操作账号。 使用说明:假设发送请求后得到用户名cn-north-1@XXXXXXXXXX、密码YYYYYYYYYYY、镜像版本路径 swr.cn-north-1.myhuaweicloud.com/octopus-087679f
查询算子详情 功能介绍 查询算子详情 URI GET /v1.0/{project_id}/data/processors/{id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目id,获取方法请参见获取项目ID id 是 Long 算子id
创建算子 在左侧菜单栏中,单击“数据处理 > 数据处理”。 选择“算子管理”页签,单击“新建算子”。 图1 新建算子 表1 新建算子参数 参数 说明 名称 算子名称,不得超过64个字符。支持中英文、数字、“-”、“_”,不支持特殊字符。 描述 算子内容、用途等的简要描述,不包含“@#$%^&*<
查询算子列表 功能介绍 查询算子列表 URI GET /v1.0/{project_id}/data/processors 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目id,获取方法请参见获取项目ID 表2 Query参数 参数 是否必选
算子管理 新建算子 在左侧菜单栏中单击“数据合规”。 选择“数据脱敏 > 算子管理”页签,单击“新建算子”。 完成新建算子相关信息。 图1 新建算子 名称:算子名称,不得超过64个字符。支持中英文、数字、“-”、“_”,不支持特殊字符。 描述:算子内容、用途等的简要描述,不包含“@#$%^&*<
环境变量使用说明 镜像运行时,会向运行环境注入部分默认文件配置: 表1 环境变量说明 任务名称 文件名 环境变量 预标注任务 待标注数据集目录 OCTPS_DATASET_DIR="/tmp/…/data" 模型仓库中的模型算法目录(非内置) OCTPS_MODEL_DIR="/
算子管理 平台支持自定义创建不同类型的算子,用于不同的数据处理作业。 新建算子 在左侧菜单栏中,单击“数据处理 > 数据处理”。 选择“算子管理”页签,单击“新建算子”。 图1 新建算子 表1 新建算子参数 参数 说明 名称 算子名称,不得超过64个字符。支持中英文、数字、“-”、“_”,不支持特殊字符。
绘制共边对象:通过键盘上“X”键实现两对象共边。 全局标注:选中一标注对象,单击左侧工具栏“全局标注物”按钮,或通过键盘快捷键“i”复制该对象到图层中,选中该对象可应用到本图或者下一张图中。该步骤可用于有相同对象的图片,或者有覆盖类型的标注中。 图4 全局标注 删除对象:选中一对象,通过
功能介绍 自动驾驶行业的关键开发工具对自动驾驶汽车开发和量产有着重要的推动作用。然而,自动驾驶面临许多问题,如海量的数据存储、模型迭代资源耗费、人工标注高成本、孤岛工具链等,开环验证和闭环仿真都很难快速迭代起来。为解决这个问题,Octopus自动驾驶云服务覆盖自动驾驶数据、模型、
训练任务 Octopus平台为用户提供训练任务管理(支持分布式训练),任务实时日志,产物(模型)管理等多种功能。 创建训练任务 在左侧菜单栏中单击“训练服务 > 训练任务”。 单击“新建训练任务”,填写基本信息。 图1 新建训练任务 名称:任务组名称,包含中英文、数字、“_”“-”,不得超过32个字符。
镜像制作(训练) Octopus平台依赖算子镜像内的/bin/bash、stdbuf、tee软件,请确保基础镜像内包含上述软件且能通过PATH找到。 一般情况下,训练与评测定义为同一个引擎,主要包括算法或评测脚本运行所需要的基本依赖环境。用户可使用命令行模式或Dockerfile
添加批次任务 在左侧菜单栏中单击“标注服务 > 项目管理”。 选择“标注项目”页签,单击操作栏中的“添加批次任务”,填写任务信息。 图1 添加批次任务 任务名称:由“项目需求方-项目类型-备注”组成,项目需求方-项目类型不可修改,备注信息可自定义。 规范:可根据需求选择规范,也单
模型微调 模型微调是在不依赖训练服务的情况下对模型进行二次训练,达到二次调优的效果。调优后的迭代模型可以在智驾模型管理列表中查看。 前提条件 完成OBS授权委托,具体操作步骤请参考授权操作步骤。 在服务控制台“总览”>“模型微调”,开通“智驾模型微调”服务,具体操作步骤请参考开通智驾模型微调服务。
创建评测任务 评测任务与评测参数和数据集有关。具体步骤如下: 在左侧菜单栏中单击“训练服务 > 模型评测”。 选择“评测任务”页签,单击“新建评测任务”,填写基本信息。 图1 新建评测任务 名称:任务组名称,包含中英文、数字、“_”“-”,不得超过32个字符。 描述:简要描述任务