检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据资产简介 在自动驾驶产品的开发过程中,海量的数据存储和管理是当前自动驾驶平台面临的业务挑战之一。 Octopus平台的数据服务模块提供了海量数据采集、存储以及数据并行处理等功能,供后续服务进行统一使用。数据服务开发流程如下: 图1 数据服务开发流程 地图管理:支持上传高精地图数据,可用于数据回放、仿真场景等功能。
故障恢复 Octopus全球基础设施围绕华为云区域和可用区构建。华为云区域提供多个在物理上独立且隔离的可用区,这些可用区通过延迟低、吞吐量高且冗余性高的网络连接在一起。利用可用区,您可以设计和操作在可用区之间无中断地自动实现故障转移的应用程序和数据库。与传统的单个或多个数据中心基
查询算子详情 功能介绍 查询算子详情 URI GET /v1.0/{project_id}/data/processors/{id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目id,获取方法请参见获取项目ID id 是 Long 算子id
编译镜像 编译镜像可以将训练模型转换为特定芯片支持的可识别的文件,编译镜像模块支持对编译镜像的增加、查询、删除以及编辑。 创建编译镜像 在左侧菜单栏中选择“训练服务 > 编译管理”。 选择“编译镜像”页签,单击“新建编译镜像”,填写如下信息。 表1 新建编译镜像 参数 描述 名称
算法创建 在左侧菜单栏中单击“仿真服务 > 算法管理”。 单击“新建算法”,填写算法基本信息。 算法类型:固定为“容器镜像”。 算法名称:只能包含数字、英文、中文、下划线、中划线,不得超过64个字符。 算法描述:不得包含“@#$%^&*< > \”特殊字符,不得超过255个字符。
创建作业 功能介绍 创建作业 URI POST /v1.0/{project_id}/data/jobs 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目id,获取方法请参见获取项目ID 请求参数 表2 请求Header参数 参数 是否必选
训练算法 平台支持算法创建。用户可通过指定算法的运行镜像和上传符合平台规范的算法文件来完成算法的创建,创建的算法可用于训练任务中。创建训练算法时可根据算法类型单独上传训练文件或将训练文件放置在镜像中,通过选择对应镜像时获取算法文件。 添加算法 准备数据。 准备用途为“训练/评测”的镜像和版本,详情可参考镜像仓库。
删除作业 功能介绍 删除作业 URI DELETE /v1.0/{project_id}/data/jobs/{id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目id,获取方法请参见获取项目ID id 是 Long 作业ID 最小值:1
编译任务 训练产生的模型版本,不可直接被车载芯片识别,需要经过编译工具,将训练产生的模型编译成车载芯片识别的模型。 创建编译任务 在左侧菜单栏中选择“训练服务 > 编译管理”。 选择“编译任务”页签,单击“新建编译任务”,填写如下信息。 表1 新建编译任务 参数 描述 名称 设置
算法详情 基本详情 单击指定算法名称,可以查看算法的基本信息、算法详情、任务配置以及镜像版本等信息。 任务配置 当创建任务配置时,如果关联了算法配置,则在算法详情页,会展示此算法关联的批量仿真的任务配置信息,在此模块还可进行以下操作。 表1 任务配置相关操作 任务 操作步骤 搜索任务配置
获取标签导入模板 功能介绍 获取标签导入模板文件 URI GET /v1.0/{project_id}/data/tags/template 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目id,获取方法请参见获取项目ID 请求参数 表2
模型仓库 模型仓库介绍 模型管理模块支持以模型仓库的方式对模型进行纳管和归档,每个模型仓库中又可以创建若干个模型版本,方便对同类模型统一管理。 模型包含镜像和文件两部分。其中镜像与模型仓库绑定,也就是说同一个模型仓库的版本共享一个镜像;文件存储在对象存储(OBS)中, 各个版本的文件一般不同。
查询作业详情 功能介绍 查询作业详情 URI GET /v1.0/{project_id}/data/jobs/{id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目id,获取方法请参见获取项目ID id 是 Long 作业id 最小值:1
批量删除作业 功能介绍 批量删除作业 URI DELETE /v1.0/{project_id}/data/jobs 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目id,获取方法请参见获取项目ID 表2 Query参数 参数 是否必选
更新作业 功能介绍 更新作业 URI PUT /v1.0/{project_id}/data/jobs/{id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目id,获取方法请参见获取项目ID id 是 Long 作业ID 最小值:1
所有任务 平台管理员可在所有任务列表页查看所有项目中的子任务。 所有任务相关操作 在“所有任务”列表,还可以进行以下操作。 表1 所有任务相关操作 任务 操作步骤 查询任务 在搜索输入框中输入搜索条件,按回车键即可查询。 查看任务详情 单击任务名称,界面跳转至任务详情,可查看任务详情信息。
查询算子列表 功能介绍 查询算子列表 URI GET /v1.0/{project_id}/data/processors 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目id,获取方法请参见获取项目ID 表2 Query参数 参数 是否必选
任务队列 标注批次任务在创建之后,可在此查看任务队列,同时支持对任务优先级的调整。 在左侧菜单栏中选择“标注服务 > 项目管理”。 选择“任务队列”页签,可根据标注类型(预标注或人工标注)查看标注任务。 任务队列相关操作 在“任务队列”页签,还可以进行以下操作。 表1 任务队列相关操作
内置评测配置 创建内置评测配置 在左侧菜单栏中选择“仿真服务 > 评测管理”。 单击“新建评测”,填写基本信息。 评测名称:只能包含数字、英文、中文、下划线、中划线,不得超过64个字符。 评测描述:不得包含“@#$%^&*< > \”特殊字符,不得超过255个字符。 评测类型:分
算法文件说明 上传到Octopus平台的本地算法文件包需要满足Octopus平台要求,本章节介绍算法文件基本要求及相关环境变量说明。 算法文件基本要求 算法文件目录结构可参考如下,需要包括启动文件“xxx.py”(启动文件名可自定义),以及一些必要的训练文件。 启动文件(必选) 算法的启动文件,直接填写相对路径,如