检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查看集群纳管 运维配置提供集群纳管,由平台管理员账号进行管理和配置。集群提供多种节点的混合部署,基于高性能网络模型提供全方位、多场景、安全稳定的容器运行环境,平台可以将集群统一纳管,更方便查看节点资源使用量和修改节点用途,以及设置资源规格。其中,cce-user-job集群需强制
作业总览 创建作业 在左侧菜单栏中,单击“数据合规”。 选择“数据脱敏 > 作业总览”页签,单击“创建作业”。 完成创建作业任务信息。 图1 创建作业 处理算子:根据需要选择脱敏算子。 资源规格:当前项目中可用的资源规格,资源配置需要平台管理员在集群纳管中创建。 优先级:设定任务的优先级,数值取[-50
算子管理 新建算子 在左侧菜单栏中单击“数据合规”。 选择“数据脱敏 > 算子管理”页签,单击“新建算子”。 完成新建算子相关信息。 图1 新建算子 名称:算子名称,不得超过64个字符。支持中英文、数字、“-”、“_”,不支持特殊字符。 描述:算子内容、用途等的简要描述,不包含“@#$%^&*<
车辆管理 平台支持配置车队、车辆,以及两者的所属关系。 创建车队 在左侧菜单栏中,单击“数据资产 > 标定管理”。 选择“车辆管理”页签,单击“车队管理 > 新建车队”,填写车队名称和描述信息。 图1 新建车队 车队名称:车队展示名称。 描述:简要描述车队信息。 单击“确定”。
功能的算子生成不同的数据处理作业。数据处理操作引导如下: 数据批导:创建数据导入任务,收集采集车辆原始数据。 数据处理:支持根据自定义数据服务算子,对数据包进行处理,创建不同类型的作业。 回放仿真:通过回放仿真算子生成回放仿真作业,支持对比回放功能。 父主题: 数据处理
传感器标定 标定数据记录车辆本身以及车辆上传感器的配置信息,一个标定项对应一个传感器标定文件。Octopus标定文件需满足标准,平台会对上传的每个标定文件名、格式和类型做检查。 本地编写标定文件 当前支持车架配置以及传感器标定信息配置:车架配置、相机以及激光雷达。 以创建激光雷达
平台为算子作业、内部作业和脱敏作业提供作业队列的功能,用户可在此查看任务队列,同时支持对任务优先级的调整。 其他租户的队列作业不允许操作。 在左侧菜单栏中单击“数据服务 > 数据处理”。 选择“作业队列”页签,可根据作业类型(算子作业或内部作业)查看作业。 图1 作业队列 数据处理作业队列相关操作 在“作业队列”页签,还可以进行以下操作。
推理服务 推理服务镜像同训练任务镜像一样,必须内置一个用户名为“ma-user”,组名为“ma-group”的普通用户,且必须确保该用户的uid=1000、gid=100。 需要明确设置镜像的启动命令。执行命令如下: CMD sh /home/mind/run.sh 服务端必须使用https协议,
算子示例 Rosbag转OpenData作业(数据回放) 场景挖掘作业(数据标记) 数据提取作业(数据集) Resim作业(回放仿真) 父主题: 数据处理
回收站 Octopus平台支持用户删除数据包,执行删除操作的数据包将暂存回收站,等待用户可根据项目情况及时恢复或永久删除。具体操作参考如下: 在“数据包”页签,单击指定数据包操作栏内的“删除”。 确认后单击“确认删除”,删除后的数据包将放入回收站。 图1 删除数据包 查看数据包状态。
模型文件说明(训练) Octopus模型管理模块,支持用户上传模型,并将其用于模型评测、模型编译任务。如果需要将模型用于内置评测模板评测,除模型文件外,需另外包含推理启动文件: customer_inference.py 仅当需要使用内置评测指标计算时需要添加推理启动文件,文件名称可自定义,将该文件置于模型目录下。
数据集管理 数据集建成后,在“数据集”列表,可对数据集进行以下操作。 表1 数据集列表相关操作 任务 操作步骤 查找数据集 在搜索输入框中输入搜索条件,按回车键即可查询。 查看数据集详情 在“数据集”列表,单击目标数据集名称,查看数据集详情、数据预览、版本管理,详情请参考数据集详情。
模型文件说明(标注) 模型文件可用于预标注任务、预审核任务。不同任务所需的模型文件要求不同。 预标注模型文件 预审核模型文件 父主题: 模型管理
在页面左上方单击“控制台”,进入华为云管理控制台。 图1 控制台入口 在控制台右上角的账户名下方,单击“统一身份认证”,进入“统一身份认证服务”页面。 图2 我的凭证 查找用户。 图3 查找用户 单击用户名进入用户详情,查看用户所属用户组。 图4 查找用户所属用户组 单击用户组,查看用户组授权记录。
数据包格式 上传数据格式 转换后数据格式 消息topic格式规范 消息topic格式示例 父主题: 数据批导
创建数据集 数据来源为数据集 数据来源为数据集子集 父主题: 数据集
场景挖掘 场景挖掘 内置场景挖掘规则 父主题: 源数据包
CCE集群 Octopus平台依赖算子镜像内的/bin/bash、stdbuf、tee软件,请确保基础镜像内包含上述软件且能通过PATH找到。 一般情况下,训练与评测定义为同一个引擎,主要包括算法或评测脚本运行所需要的基本依赖环境。用户可使用命令行模式或Dockerfile模式进
标注镜像Dockerfile示例 一般情况下,引擎主要包含预标注算法或预审核算法运行所需要的基本依赖环境,用户也可将预标注算法或预审核算法包内置在AI引擎中。 用户可使用命令行模式或Dockerfile模式进行构建。 以预标注自定义镜像为例,一般的镜像制作Dockerfile示例如下(xxx替换为实际路径):
场景挖掘 平台支持基于内置场景挖掘算法和场景识别大模型挖掘的能力,对数据包进行场景挖掘。具体操作步骤如下: 在左侧菜单栏中,单击“数据资产 > 源数据包”。 选择“数据包”页签,单击操作栏中的“详情”,进入数据包详情页。 单击数据包信息的“场景挖掘”,后台会自动进行内置场景挖掘。