检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何获取访问密钥AK/SK? 使用IAM账号登录华为云。 在页面左上方单击“控制台”,进入华为云管理控制台。 在控制台右上角的账户名下方,单击“我的凭证”,进入“我的凭证”页面。 在“我的凭证”页面,选择“访问密钥 > 新增访问密钥”。 填写该密钥的描述说明,单击“确定”。根据提示单击“立即下载”,下载密钥。
如何查看用户拥有的权限? 使用账号登录华为云。 在页面左上方单击“控制台”,进入华为云管理控制台。 在控制台右上角的账户名下方,单击“统一身份认证”,进入“统一身份认证服务”页面。 查找用户。 单击用户名进入用户详情,查看用户所属用户组。 单击用户组,查看用户组授权记录。 单击权限(以Octopus
请根据实际需要自由选取。 表1 vehicle消息格式规范 格式名称 说明 VehicleInfo 车辆信息 消息格式中部分参数为必选,如使用该数据类型,则不可缺少该参数字段,否则会导致数据上传Octopus平台失败。 /***********************************
数据处理简介 数据处理可对自动驾驶过程中采集到的数据进行处理、解析,处理的结果可以用于回访定位问题,并可根据不同功能的算子生成不同的数据处理作业。数据处理操作引导如下: 数据批导:创建数据导入任务,收集采集车辆原始数据。 数据处理:支持根据自定义数据服务算子,对数据包进行处理,创建不同类型的作业。
过64个字符。 运行时间:设置在线服务运行时间,运行时间到期后,在线服务将自动停止。在线服务的最晚停止时间为模型套餐包的最晚失效时间。模型套餐包的最晚失效时间,可以在“总览”界面,“我的模型”区域查看。 描述:输入在线服务的简要描述,不包含“@^\#$%&*<>'|"/`”,不得超过500个字符。
算子管理 平台支持自定义创建不同类型的算子,用于不同的数据处理作业。 新建算子 在左侧菜单栏中,单击“数据处理 > 数据处理”。 选择“算子管理”页签,单击“新建算子”。 图1 新建算子 表1 新建算子参数 参数 说明 名称 算子名称,不得超过64个字符。支持中英文、数字、“-”、“_”,不支持特殊字符。
对于获取用户Token接口,返回如图1所示的消息头。 其中“x-subject-token”就是需要获取的用户Token。有了Token之后,您就可以使用Token认证调用其他API。 图1 获取用户Token响应消息头 响应消息体 响应消息体通常以结构化格式返回,与响应消息头中Conten
POST预签链接信息,用于上传文件。 put_url 是 String PUT预签链接地址,用于上传文件。优先使用POST方法上传。 get_url 是 String GET地址,用于下载文件。 expire 是 Integer 默认失效时间为600秒。 缺省值:600 ready 是 Boolean 文件状态。
如何查看Octopus与OBS桶是否在同一区域? 在使用Octopus各功能时,如创建训练作业、创建数据集等,涉及到需要指定OBS目录时,都需要保证此OBS桶与Octopus在同一区域。 查看OBS桶与Octopus是否在同一区域 查看创建的OBS桶所在区域。 登录OBS管理控制台。
当选择数据集算子时,数据类型可支持选择通用存储和数据场景。 创建作业(数据包) 在左侧菜单栏中,单击“数据处理 > 数据处理”。 选择“作业总览”页签,单击“创建作业”。 图1 创建作业 处理算子:根据需要选择算子。 资源规格:当前项目中可用的资源规格,资源配置需要平台管理员在集群纳管中创建。
务优先级的调整。 其他租户的队列作业不允许操作。 在左侧菜单栏中单击“数据服务 > 数据处理”。 选择“作业队列”页签,可根据作业类型(算子作业或内部作业)查看作业。 图1 作业队列 数据处理作业队列相关操作 在“作业队列”页签,还可以进行以下操作。 表1 作业队列相关操作 任务
数据集的标注信息存储在OBS中。 模型管理 模型文件存储在OBS中。 通用存储 支持数据导出存储在OBS中。 数据处理 数据批导 支持导入OBS存储数据,支持实时扫描数据在OBS客户端操作。 数据处理 数据处理后的结果存储在OBS中。 标注服务 项目管理 标注的图片、点云数据存储在OBS中。 标注信息数据、标注规范存储在OBS中。
处理数据 在作业总览中平台支持创建数据标记,数据图表、数据回放、数据集等作业,数据包选择相对应的算子就可以触发相对应的作业。 数据回放类型的算子作业不需要选择输出仓库。 当选择数据集算子时,数据类型可支持选择通用存储。 创建作业 在左侧菜单栏中,单击“数据处理 > 数据处理”。
构建镜像 Octopus平台依赖算子镜像内的/bin/bash、stdbuf、tee软件,请确保基础镜像内包含上述软件且能通过PATH找到。 Dockerfile示例 FROM ros:noetic COPY ros_hard_mining.py /home/main/ # 算法启动示例:
示例代码 作业输入输出规范示例代码如下图所示: 代码文件命名为ros_hard_mining.py。 父主题: 场景挖掘作业(数据标记)
构建镜像 运行命令 docker build -f Dockerfile -t ros-to-dataset:0.1 本地调试 准备一个待处理的rosbag,如~/data/20220620.bag,运行如下命令(基于上述示例镜像): docker run -v ${HOME}/data/20220620
工作。当前支持使用Rosbag数据格式收集采集数据。 上传数据 原始数据采集完毕后,在平台上创建数据收集任务,通过多种方式上传数据文件至Octopus平台。 数据处理 通过用户自定义算子对Rosbag数据包进行处理,最终将原始数据结构化,解析出各种不同传感器详细数据,如摄像头录制
示例代码 作业输入输出规范示例代码如下图所示: 父主题: 数据提取作业(数据集)
示例镜像制作 Octopus平台依赖算子镜像内的/bin/bash、stdbuf、tee软件,请确保基础镜像内包含上述软件且能通过PATH找到。 Dockerfile示例 启动命令: bash /home/Octopus/run.sh 镜像构建: docker build -f Dockerfile
构建镜像 运行命令: docker build -f dockerfile -t rosbag2opendata:0.1 . 本地调试 准备一个待处理的rosbag,如~/data/20220620.bag,一个示例Octopus_data_collections文件,如~/data/O