检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
作业队列 平台为脱敏作业提供作业队列的功能,用户可在此查看任务队列,同时支持对任务优先级的调整。 其他租户的队列作业不允许操作。 在左侧菜单栏中单击“数据合规”。 选择“数据脱敏 > 作业队列”页签,可查看作业。 图1 作业队列 父主题: 数据脱敏
供用户存储作业临时文件的目录,例如/tmp/workspace 用户的作业容器需要解析rosbag,并将转换结果输出到output目录,结果示例如下: 每个传感器提取的数据保存在单独的文件夹,其中camera和lidar传感器提取的样本文件必须以时间戳命名。任务结束标志文件,_SUCE
yaml 输出描述文件,详情见下文 |--- _SUCCESS 作业完成后输出的标识文件,内容可为空 |--- planning 以下各文件夹为resim算法输出内容,按
批次任务可以拆分为多个子任务,方便多人进行操作。 前提条件 批次任务被拆分为批次子任务。 拆分批次任务 当样本数量庞大时,平台可对批次任务做拆分处理,具体步骤如下: 在左侧菜单栏中单击“标注服务 > 项目管理”。 选择“标注项目”页签,单击项目名称,进入项目内任务列表。 选择“批次任务列表”页签,单击操作栏中的“拆分”。
构建镜像 Octopus平台依赖算子镜像内的/bin/bash、stdbuf、tee软件,请确保基础镜像内包含上述软件且能通过PATH找到。 Dockerfile示例 启动命令: python3 /home/main/ros2opendata.py --lidar_calibration_id
处理数据 在作业总览中平台支持创建数据标记,数据图表、数据回放、数据集等作业,数据包选择相对应的算子就可以触发相对应的作业。 数据回放类型的算子作业不需要选择输出仓库。 当选择数据集算子时,数据类型可支持选择通用存储。 创建作业 在左侧菜单栏中,单击“数据处理 > 数据处理”。
其他权限 团队管理员的其他管理权限步骤与平台管理员一致,具体请参考以下: 标注物管理请参考标注管理。 标注模板管理请参考模板管理。 标注脚本管理请参考脚本管理。 父主题: 团队管理员
仿真场景等。平台支持OpenDRIVE格式的地图文件。 上传地图数据包 在左侧菜单栏中,单击“数据资产 > 地图管理”。 单击界面右侧“上传”。 图1 上传地图数据包 添加文件:选择本地“.xodr”格式文件,支持上传不超过20M的文件。 名称:默认显示上传的地图文件的名称,可以重新编辑。
键字,查找指定日志内容。 在日志服务页面中的日志列表部分详细展示了该训练任务包含的日志文件的大小以及最新写入时间。单击文件后的“查看”,算法训练的详细执行过程会在日志详情部分展示。用户也可在日志文件后的“操作”栏中,单击“下载”,即可将该日志文件下载到本地查看。 图6 CCE日志视图
展示了该编译任务包含的日志文件的大小以及最新写入时间。单击文件后的“查看”,该文件的详细执行过程则在日志详情部分展示。用户也可在日志文件后的“操作”栏中,单击“下载”,即可将该日志文件下载到本地查看。 图4 任务日志 资源占用情况 在任务运行中,资源占用情况模块显示任务占用的CP
\”,不超过255个字符。 上传文件。 仿真器B:动态场景描绘文件。上传场景文件需包含以下类型。 图2 仿真器B上传文件 场景文件版本:下拉选择对应的场景文件版本。 动态场景文件:动态场景描绘文件(文件格式为“.xosc”)。 地图文件:开放格式和实际上的公路网络在驾驶模拟应用程序中的描述标准(文件格式为“
算子管理 平台支持自定义创建不同类型的算子,用于不同的数据处理作业。 新建算子 在左侧菜单栏中,单击“数据处理 > 数据处理”。 选择“算子管理”页签,单击“新建算子”。 图1 新建算子 表1 新建算子参数 参数 说明 名称 算子名称,不得超过64个字符。支持中英文、数字、“-”、“_”,不支持特殊字符。
场景挖掘 平台支持基于内置场景挖掘算法和场景识别大模型挖掘的能力,对数据包进行场景挖掘。具体操作步骤如下: 在左侧菜单栏中,单击“数据资产 > 源数据包”。 选择“数据包”页签,单击操作栏中的“详情”,进入数据包详情页。 单击数据包信息的“场景挖掘”,后台会自动进行内置场景挖掘。
的文本文件。 报告对比:对于存在多个(2个及以上)内置评测任务时将自动触发内置评测的报告对比,如果同时存在多个自定义评测任务对比文件(符合要对比文件要求)也将触发评测报告对比,此时将产生2份报告对比文件。 选择任务。 当对比来源为“已有评测任务”时,下拉框选择任务和对比文件。如果
选择待编译模型版本。 图3 选择待编译模型版本 模型可以为训练任务产生的模型版本或者通过本地模型文件上传产生的模型版本。 以上信息填写无误,单击"创建"。编译任务创建成功。 父主题: 训练服务
创建任务 Octopus平台提供对评测任务的管理,包括创建、删除、停止评测任务的操作。在评测任务页面, 实时显示多条评测任务的状态、任务创建时间等信息。评测任务创建完毕后,触发任务。评测任务结束后会生成评测任务结果文件,详细展示模型的各项评测指标得分。 创建评测任务 评测任务与评测参数和数据集有关。具体步骤如下:
查看集群纳管 运维配置提供集群纳管,由平台管理员账号进行管理和配置。集群提供多种节点的混合部署,基于高性能网络模型提供全方位、多场景、安全稳定的容器运行环境,平台可以将集群统一纳管,更方便查看节点资源使用量和修改节点用途,以及设置资源规格。其中,cce-user-job集群需强制
csv格式输出到output_dir指定的目录,并以“segments.csv”作为文件名,文件完整路径示例:/tmp/output/segments.csv。csv文件内容示例如下: Csv文件表头固定为“tag_name,start,end”,指定该表的四列数据分别为“标签名”、“开始时间戳”、“结束时间戳”。
镜像仓库 Octopus平台各服务均提供用户自定义镜像功能,镜像仓库管理模块对镜像提供了统一管理。 创建镜像仓库 用平台管理员账号登录Octopus平台。 在左侧菜单栏中,单击“镜像仓库 ”。 单击“新建”,填写基本信息。 图1 创建镜像仓库 名称:输入镜像仓库的名称,只能包含数字、英文、中文、下划线、中划线。
驶路线、采集时间、和总数据量以及各类传感器采集的数据量。 如果数据包异常,一般是由于与数据包同名的yaml文件配置错误,可参照与数据包同名的yaml配置文件说明 ,修改文件内容,再次创建数据收集任务。 数据处理算子未运行完毕,不可回放。 父主题: 源数据包