检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
作业队列 平台为算子作业、内部作业和脱敏作业提供作业队列的功能,用户可在此查看任务队列,同时支持对任务优先级的调整。 其他租户的队列作业不允许操作。 在左侧菜单栏中单击“数据服务 > 数据处理”。 选择“作业队列”页签,可根据作业类型(算子作业或内部作业)查看作业。 图1 作业队列
镜像制作(训练) Octopus平台依赖算子镜像内的/bin/bash、stdbuf、tee软件,请确保基础镜像内包含上述软件且能通过PATH找到。 一般情况下,训练与评测定义为同一个引擎,主要包括算法或评测脚本运行所需要的基本依赖环境。用户可使用命令行模式或Dockerfile
log:Octopus平台提供的前置数据的准备日志。 compile-{id}-sidecar.log:Octopus平台提供的任务流程控制日志,包括日志同步、结果上传。 octopus-compile-{id}-supplemental.logs: Octopus平台任务异常退出或停
构建镜像 Octopus平台依赖算子镜像内的/bin/bash、stdbuf、tee软件,请确保基础镜像内包含上述软件且能通过PATH找到。 Dockerfile示例 启动命令: python3 /home/main/ros2opendata.py --lidar_calibration_id
片识别的模型。 编译任务 仿真任务 评测镜像 Octopus平台各服务均提供用户自定义镜像功能,此模块对镜像提供了统一管理。 仿真镜像 仿真场景 仿真场景模块支持对单个仿真场景的增删改查操作。用户可根据场景类型,依据平台提示,上传符合要求的场景文件。场景创建完毕后,用户可选择在线
镜像仓库 Octopus平台各服务均提供用户自定义镜像功能,镜像仓库管理模块对镜像提供了统一管理。 创建镜像仓库 用平台管理员账号登录Octopus平台。 在左侧菜单栏中,单击“镜像仓库 ”。 单击“新建”,填写基本信息。 图1 创建镜像仓库 名称:输入镜像仓库的名称,只能包含数字、英文、中文、下划线、中划线。
构建镜像 Octopus平台依赖算子镜像内的/bin/bash、stdbuf、tee软件,请确保基础镜像内包含上述软件且能通过PATH找到。 Dockerfile示例 FROM ros:noetic COPY ros_to_dataset.py /home/main/ # 算法启动示例:
创建场景文件 功能介绍 本接口用于创建仿真场景文件。平台会根据文件sha256值判断场景文件是否已存在,如果场景文件不存在,则返回预签链接用于上传场景文件。 URI POST /v2/{project_id}/sim/sm/scenarios/{parent_lookup_id}/files
作业输入输出规范 运行resim容器时,Octopus平台向容器中注入以下环境变量: rosbag_path: 作为输入的rosbag存放路径,例如/tmp/data/20220620.bag output_dir: resim作业的运行结果输出的目录,例如/tmp/output
示例镜像制作 Octopus平台依赖算子镜像内的/bin/bash、stdbuf、tee软件,请确保基础镜像内包含上述软件且能通过PATH找到。 Dockerfile示例 启动命令: bash /home/Octopus/run.sh 镜像构建: docker build -f Dockerfile
作业输入输出规范 用户完成自定义Rosbag转OpenData算子创建,运行作业容器时Octopus平台向其中注入以下环境变量: rosbag_path: 作为数据源的rosbag存放路径,例如/tmp/data/20220620.bag yaml_path: 启动数据收集任务的
作业输入输出规范 用户完成自定义场景挖掘镜像上传后,在运行作业容器时,Octopus平台会向作业容器中注入以下环境变量: rosbag_path: 作为数据源的rosbag存放路径,例如/tmp/data/20220620.bag output_dir: 场景挖掘作业运行结果输出目录,例如/tmp/output
另外,对于用户自研的评测算法的评测结果,也可以按照eva.proto,序列化成pb文件保存起来,这样Octopus的仿真平台前端能够展示用户自研评测算法的评测结果。 eva.proto的关键字段解释 在利用Octopus仿真平台进行批量仿真时,每个场景都会有一个评测结果,单个场景的评测结果全部保存在如数据类图所示的Evaluation类中。
评测脚本 Octopus平台提供评测脚本管理功能,支持用户创建、删除、编辑、在线编辑、查询评测脚本等功能。 创建评测脚本 添加评测脚本流程为“初始化评测脚本 > 选择评测脚本文件 > 上传评测脚本文件”。具体操作步骤如下: 在左侧菜单栏中单击“训练服务 > 模型评测”。 选择“评
数据脱敏作业 作业输入输出规范 用户完成自定义脱敏算子创建,运行作业容器时Octopus平台向其中注入以下环境变量: input_file:待脱敏的文件路径 raw_dir:抽取的image,gnss,lidar数据存放路径 desensitized_dir:脱敏后的image,gnss,lidar数据存放路径
作业输入输出规范 Input 平台会以环境变量的形式提供以下参数: rosbag_path: rosbag路径,以.bag结尾。 output_dir:最终输出数据集路径。 tmp_dir:供用户存储临时文件的目录。 task_content_json:人工打标需要的标签信息,详
) 个人数据收集的来源和方式 对象存储导入 本地 标注 OBS 通用存储 数据递送 使用个人数据的目的以及安全保护措施 路采数据导入平台转换为平台支持的opendata格式 用于数据转换,标注,训练,仿真服务 对数据包中的人脸、车牌、点云、高程进行脱敏 个人数据的存留期限与存留策略
Management,简称IAM)进行精细的权限管理。该服务提供用户身份认证、权限分配、访问控制等功能,可以帮助您安全的控制华为云资源的访问。 通过IAM,您可以在华为云账号中给员工创建IAM用户,并使用策略来控制IAM用户对华为云资源的访问范围,例如您的员工中有负责软件开发的人员,您希望他们拥有Octopus的使用
要将模型用于内置评测模板评测,除模型文件外,需另外包含推理启动文件: customer_inference.py 仅当需要使用内置评测指标计算时需要添加推理启动文件,文件名称可自定义,将该文件置于模型目录下。 为了显示以上文件的使用流程,可参考如下图示: 模型文件基本要求 父主题:
项目参与人数:标注员认领任务后,进行标注并保存任务进度,被平台视为参与该项目。同样,审核员认领审核任务进行审核并保存任务进度,被平台视为参与该项目。平台统计参与项目的标注员和审核员人数,并绘制成图表。 图5 项目参与人数 平均标注效率:标注平台实时统计项目标注速度变化情况,支持按帧数、框数或对象数查看。