检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
start,end”,指定该表的四列数据分别为“标签名”、“开始时间戳”、“结束时间戳”。 tag_name:标签名对应Octopus平台标签管理模块内的标签,没有预先创建的标签会自动创建。 start,end:开始和结束时间戳指定该打标片段的时间范围。 folder:目录名指示
制作CCE集群训练镜像 Octopus平台依赖算子镜像内的/bin/bash、stdbuf、tee软件,请确保基础镜像内包含上述软件且能通过PATH找到。 一般情况下,训练与评测定义为同一个引擎,主要包括算法或评测脚本运行所需要的基本依赖环境。用户可使用命令行模式或Dockerfile模式进行构建。
、动作为pull,在本地一台安装了docker软件的计算机上输入"docker login -u cn-north-1@XXXXXXXXXX -p YYYYYYYYYYY swr.cn-north-1.myhuaweicloud.com"进行登录,然后输入"docker pull swr.cn-north-1
构建镜像。 运行命令: docker build -f Dockerfile -t ros-to-dataset:0.1 本地调试。 准备一个待处理的rosbag,如~/data/20220620.bag,运行如下命令(基于上述示例镜像): docker run -v ${HOME}/data/20220620
算法文件说明 上传到Octopus平台的本地算法文件包需要满足Octopus平台要求,本章节介绍算法文件基本要求及相关环境变量说明。 算法文件基本要求 算法文件目录结构可参考如下,需要包括启动文件“xxx.py”(启动文件名可自定义),以及一些必要的训练文件。 启动文件(必选) 算法的启动文件,直接填写相对路径,如
签名称。 修改标签 单击标签后的,可对标签的名称进行修改。 删除标签 单击标签后的,可对标签进行删除。 说明: 平台预置场景标签暂不支持编辑、删除。 父主题: 标签管理
度。 - - √ √ 提交中 训练任务已被系统调度,正在向平台提交。 √ - - - 提交失败 训练任务向平台提交失败。 - √ √ - 等待中 训练任务向平台提交成功,暂未运行。 √ - √ √ 运行中 训练任务向平台提交成功,处于运行中。 √ - - √ 运行异常 训练任务运行失败。
DE中进行交互式的算法或模型的开发和调试。 创建开发环境时可以通过挂载的方式,便捷的访问平台的对象,如算法、模型和数据集。同时支持访问同区域自己的对象存储或外网资源,进行测试数据的导入、开源代码的拉取、三方依赖的安装等操作。极大的提升了算法调试的效率,并保证了和训练任务所使用的的环境和算力的一致性。
Rosbag转OpenData作业(数据回放) 作业输入输出规范 用户完成自定义Rosbag转OpenData算子创建,运行作业容器时Octopus平台向其中注入以下环境变量: rosbag_path: 作为数据源的rosbag存放路径,例如/tmp/data/20220620.bag yaml_path:
Octopus平台依赖算子镜像内的/bin/bash、stdbuf、tee软件,请确保基础镜像内包含上述软件且能通过PATH找到。 Dockerfile示例。 图4 Dockerfile示例 启动命令: bash /home/Octopus/run.sh 镜像构建: docker build
> 数据处理”。 选择“作业总览”页签,单击“创建作业”。 处理算子:根据需要选择算子。 资源规格:当前项目中可用的资源规格,资源配置需要平台管理员在集群纳管中创建,支持选择带有GPU的资源规格。 优先级:设定任务的优先级,数值取[-50,50]的整数,数字越大,优先级越高。 环境
逻辑场景 创建逻辑场景 在左侧菜单栏中选择“仿真服务 > 场景管理”。 选择“逻辑场景”页签,单击“新增逻辑场景”。 逻辑场景名称:只能包含数字、英文、中文、下划线、中划线、点,且不支持以点结尾,不得超过256个字符。 描述(非必填):简单描述场景。 添加场景标签,标签数量不超过50个。
用户可根据敏感性分析结果,设置当前各项参数的数值。 泛化任务队列管理 用户可以对泛化任务进行优先级排序。 在左侧菜单栏中单击“仿真服务 > 场景管理”。 在界面的右上角,单击“泛化任务管理”,可对需要管理的任务进行上移,置顶等操作。 父主题: 逻辑场景管理
训练算法 平台支持算法创建。用户可通过指定算法的运行镜像和上传符合平台规范的算法文件来完成算法的创建,创建的算法可用于训练任务中。创建训练算法时可根据算法类型单独上传训练文件或将训练文件放置在镜像中,通过选择对应镜像时获取算法文件。 添加算法 准备数据。 准备用途为“训练/评测”的镜像和版本,详情可参考镜像仓库。
批次子任务 批次任务可以拆分为多个子任务,方便多人进行操作。 拆分批次任务 当样本数量庞大时,平台可对批次任务做拆分处理,具体步骤如下: 在左侧菜单栏中选择“标注服务 > 项目管理”。 选择“标注项目”页签,单击项目名称,进入项目内任务列表。 选择“批次任务列表”页签,单击操作栏中的“拆分”。
批次任务列表 一个项目可包含多个标注任务,标注平台支持批量创建任务。 添加批次任务 在左侧菜单栏中选择“标注服务 > 项目管理”。 选择“标注项目”页签,单击操作栏中的“添加批次任务”。 参考如下表格填写任务名称,备注和规范等信息。 表1 创建标注任务 参数 说明 任务名称 为当
Octopus标注服务提供团队管理,为不同团队分配不同项目。未分配到标注项目的团队不能查看该标注项目信息,保证标注任务的私密性及安全性。 前提条件 用户已根据开通账号并创建子账号。 管理员已添加用户,并分配标注平台完全控制权限。 新增人员 在左侧菜单栏中选择“标注服务 > 团队用户 > 用户管理”。 单击“新增人员”,填写人员信息。
install vim # 按需安装用户算法环境;如果需要修改~/.pip/pip.conf可替换;用户也可安装miniconda进行包管理 COPY /path/to/pip.conf /root/.pip/pip.conf COPY /path/to/requirements
项目相关数据图表统计:为便于管理员快速掌握项目进展情况,平台实时统计标注项目中相关重要数据量变化并将其制作成图表。管理者可通过图表中图形的变化了解当前项目进程。可设置时间范围,查询指定时间段内项目重要指标变化情况。目前为以下五种图表,图标的展示根据项目任务流程有所裁剪: 标注帧数统计:平台统计标注任
选择“作业总览”页签,单击“创建作业”。 处理算子:根据需要选择算子。 资源规格:当前项目中可用的资源规格,资源配置需要平台管理员在集群纳管中创建。 优先级:设定任务的优先级,数值取[-50,50]的整数,数字越大,优先级越高。 环境变量:配置算子的环境变量。允许添加的环境变量个数不超过10个。