检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
务优先级的调整。 其他租户的队列作业不允许操作。 在左侧菜单栏中单击“数据服务 > 数据处理”。 选择“作业队列”页签,可根据作业类型(算子作业或内部作业)查看作业。 图1 作业队列 数据处理作业队列相关操作 在“作业队列”页签,还可以进行以下操作。 表1 作业队列相关操作 任务
obs:bucket:ListBucket 查看用户拥有的OBS服务权限,可参考如何查看用户拥有的权限? 数据处理。 可选择数据是否进行OpenData转换,并且选用相对应的数据服务算子(数据回放)以及资源规格。 图2 数据处理 如果yaml和算子中有相同的信息,算子上传后,会覆盖yaml中的信息。
处理数据 在作业总览中平台支持创建数据标记,数据图表、数据回放、数据集等作业,数据包选择相对应的算子就可以触发相对应的作业。 数据回放类型的算子作业不需要选择输出仓库。 当选择数据集算子时,数据类型可支持选择通用存储。 创建作业 在左侧菜单栏中,单击“数据处理 > 数据处理”。
obs:bucket:ListBucket 查看用户拥有的OBS服务权限,可参考如何查看用户拥有的权限? 数据处理。 可选择数据是否进行OpenData转换,并且选用相对应的数据服务算子(数据回放)以及资源规格。 图2 数据处理 如果yaml和算子中有相同的信息,算子上传后,会覆盖yaml中的信息。
构建镜像 Octopus平台依赖算子镜像内的/bin/bash、stdbuf、tee软件,请确保基础镜像内包含上述软件且能通过PATH找到。 Dockerfile示例 FROM ros:noetic COPY ros_hard_mining.py /home/main/ # 算法启动示例:
构建镜像 运行命令: docker build -f dockerfile -t rosbag2opendata:0.1 . 本地调试 准备一个待处理的rosbag,如~/data/20220620.bag,一个示例Octopus_data_collections文件,如~/data/O
示例代码 作业输入输出规范示例代码如下图所示: 代码文件命名为ros_hard_mining.py。 父主题: 场景挖掘作业(数据标记)
构建镜像 运行命令 docker build -f Dockerfile -t ros-to-dataset:0.1 本地调试 准备一个待处理的rosbag,如~/data/20220620.bag,运行如下命令(基于上述示例镜像): docker run -v ${HOME}/data/20220620
示例代码 以下为主程序文件ros2opendata.py中截取的代码片段,分别运行不同的功能,详见注释。 运行前准备: 解析点云消息: 解析gnss消息: 写opendata_to_platform.yaml文件: 父主题: Rosbag转OpenData作业(数据回放)
示例代码 作业输入输出规范示例代码如下图所示: 父主题: 数据提取作业(数据集)
示例镜像制作 Octopus平台依赖算子镜像内的/bin/bash、stdbuf、tee软件,请确保基础镜像内包含上述软件且能通过PATH找到。 Dockerfile示例 启动命令: bash /home/Octopus/run.sh 镜像构建: docker build -f Dockerfile
作业输入输出规范 用户完成自定义场景挖掘镜像上传后,在运行作业容器时,Octopus平台会向作业容器中注入以下环境变量: rosbag_path: 作为数据源的rosbag存放路径,例如/tmp/data/20220620.bag output_dir: 场景挖掘作业运行结果输出目录,例如/tmp/output
作业输入输出规范 Input 平台会以环境变量的形式提供以下参数: rosbag_path: rosbag路径,以.bag结尾。 output_dir:最终输出数据集路径。 tmp_dir:供用户存储临时文件的目录。 task_content_json:人工打标需要的标签信息,详
作业输入输出规范 运行resim容器时,Octopus平台向容器中注入以下环境变量: rosbag_path: 作为输入的rosbag存放路径,例如/tmp/data/20220620.bag output_dir: resim作业的运行结果输出的目录,例如/tmp/output
作业输入输出规范 用户完成自定义Rosbag转OpenData算子创建,运行作业容器时Octopus平台向其中注入以下环境变量: rosbag_path: 作为数据源的rosbag存放路径,例如/tmp/data/20220620.bag yaml_path: 启动数据收集任务的
"error_code": "AS.0001" } 其中,error_code表示错误码,error_msg表示错误描述信息,具体请参见错误码。 父主题: 如何调用API
本节介绍Octopus API请求的组成,并以调用IAM服务的获取用户Token接口说明如何调用API,该API获取用户的Token,Token可以用于调用其他API时鉴权。 您还可以通过这个视频教程了解如何构造请求调用API:https://bbs.huaweicloud.com/videos/102987
Octopus可以为您提供数据资产、数据处理、标注服务、训练服务、仿真服务、智驾模型服务等应用工具,确保自动驾驶规模合规、安全、可度量,版本快速集成。 数据资产 地图管理 标定管理 源数据包 数据场景 数据集 数据缓存 模型管理 通用储存 数据合规 数据递送 数据脱敏 数据处理 数据批导 数据处理 回放仿真 标注服务
Content-Type: application/json X-Auth-Token: ABCDEFJ.... 您还可以通过这个视频教程了解如何使用Token认证:https://bbs.huaweicloud.com/videos/101333 。 AK/SK认证 AK/SK签名
回放仿真功能支持创建回放仿真作业,数据包选择回放仿真算子就可以触发相对应的作业。 创建作业 在左侧菜单栏中,单击“数据处理 > 回放仿真”。 选择“作业总览”页签,单击“创建作业”。 图1 创建作业 处理算子:根据需要选择回放仿真算子。 资源规格:当前项目中可用的资源规格,资源配置需要平台管理员在集群纳管中创建。