检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
智驾模型管理 智驾模型微调后,需要对模型进行评测,并把模型部署到环境上进行推理,方便用户使用自己的数据训练得到专属模型进行推理,及比对训练效果。 智驾模型 在线服务 父主题: 智驾模型服务
步骤三:创建评测 Octopus支持自定义内置评测配置和自定义评测镜像,并根据评测指标或评测镜像对仿真算法开展评测。 本节以创建内置评测配置为例。 创建内置评测配置 在左侧菜单栏中单击“仿真服务 > 评测管理”。 单击“新建评测”,填写基本信息。 图1 新建评测 评测名称:只能包
任务队列 标注批次任务在创建之后,可在此查看任务队列,同时支持对任务优先级的调整。 在左侧菜单栏中单击“标注服务 > 项目管理”。 选择“任务队列”页签,可根据标注类型(预标注或人工标注)查看标注任务。 图1 任务队列 任务队列相关操作 在“任务队列”页签,还可以进行以下操作。 表1
管理团队 团队管理员可根据业务需求对团队中的成员进行管理,可为团队新增人员或删除人员,可为团队中成员重新分配职能。单击“标注服务 > 团队用户” ,单击团队名称,可查看该团队内所有成员及职能。 查找成员:在搜索框内输入名字进行查找。 新增人员:单击“新增人员”,根据职能选择人员。
管理项目 项目需绑定管理员所在团队。 团队管理员管理项目步骤与平台管理员一致。 详细步骤请参考项目管理。 父主题: 团队管理员
认领审核任务 在全流程的情况下,标注任务标注完毕后提交进入审核阶段(预初审-初审-预终审-终审),初审阶段(预初审-初审)提交后进入终审阶段(预终审-终审),团队中的审核员可以根据阶段认领任务进行审核。以下步骤为认领初审任务(预初审-初审)或终审(预终审-终审)任务的操作步骤。
审核操作指导 审核是检验标注任务质量的一个手段,审核的方式是从标注任务中抽取一定比例的图片,通过被抽取的图片标注准确率判断该标注任务整体准确率,该标注任务是否通过审核。 在左侧菜单栏中单击“标注服务 > 项目管理”。 选择“标注项目”页签,单击项目名称。 选择“批次任务列表”,单击批次任务前的。
任务队列 训练任务在创建之后,可在此查看任务队列,同时支持对任务优先级的调整。 在左侧菜单栏中单击“训练服务 > 训练任务”。 选择“任务队列”页签,可查看任务。 图1 任务队列 训练任务队列相关操作 在“任务队列”页签,还可以进行以下操作。 表1 训练任务队列相关操作 任务 操作步骤
评测列表 在评测列表,还可以进行以下操作: 表1 评测列表相关操作 任务 操作步骤 搜索评测 在搜索框中输入关键字搜索相关评测。支持通过评测名称、评测ID和评测类型搜索。 查看评测详情 单击评测名称,页面跳转至评测详情页。 编辑评测 单击操作栏中的“编辑”,可编辑评测的信息。 删除评测
测试套件管理 测试套件模块提供测试套件管理功能,支持对测试套件的增删改查功能。自建测试套件将场景格式相同的测试用例,便于用户进行开发。 创建测试套件 在左侧菜单栏中单击“仿真服务 > 场景管理”。 选择“测试套件”页签,单击“测试套件列表”后的“新增套件”。 图1 新增套件 测试
算法文件说明 用户可将本地算法文件包上传到Octopus平台,算法文件包需要满足一定要求,请详细阅读本节,有助于用户快速完成算法开发。 算法文件基本要求 算法文件目录结构可参考如下,需要包括启动文件“xxx.py”(启动文件名可自定义),以及一些必要的训练文件。 启动文件(必选)
内置评测配置 创建内置评测配置 在左侧菜单栏中单击“仿真服务 > 评测管理”。 单击“新建评测”,填写基本信息。 图1 新建评测 评测名称:只能包含数字、英文、中文、下划线、中划线,不得超过64个字符。 评测描述:不得包含“@#$%^&*< > \”特殊字符,不得超过255个字符。
人工标注操作指导 本节主要介绍Octopus标注平台的标注界面操作(以图片和3D点云为例),标注任务的详细操作指导请参考标注样例。语言标注任务的详情操作指导请参考语音标注任务。文本标注任务的详情操作指导请参考文本标注任务。 在左侧菜单栏中单击“标注服务 > 项目管理”。 选择“标注项目”页签,单击项目名称。
评测分数计算介绍 评分方案介绍 AB类log函数评分方案 AB类均匀权重(Average)评分方案 C类均匀权重评分(Average)方案 父主题: 评测管理
标签筛选 在场景、逻辑场景和测试用例,以及添加场景、逻辑场景和测试用例时,可以通过标签筛选,快速筛选出场景或用例。 标签筛选 在左侧菜单栏中单击“仿真服务 > 场景管理”。 在页面中单击“标签筛选”。 在筛选框中输入内容,查找目标标签。也可在左侧标签树列表中选择目标标签。 勾选左
其他权限 团队管理员的其他管理权限步骤与平台管理员一致,具体请参考以下: 标注物管理请参考标注管理。 标注模板管理请参考模板管理。 标注脚本管理请参考脚本管理。 父主题: 团队管理员
评测结果 评测任务完成后,可单击评测任务名称查看模型评测各项得分。任务详情页面展示了评测任务详情信息以及评测模型结果信息两部分内容。 任务详情 任务详情页面,详细展示了任务名称、类别、资源规格等基本信息。 图1 任务详情 任务视图 根据用户选择“自定义”或“内置”评测方式,详情页会展示以下三种流程图:
资产识别与管理 资产识别 用户在数据资产包括用户上传的数据集以及用户提供的一些个人信息。 数据资产包括但不限于文本、图形、音频、视频、照片、图像、代码、算法、模型等。 资产管理 对于用户上传至Octopus的资产,Octopus会做统一的保存管理。 对于文件类型的资产,Octop
安全风险知会 自动驾驶云服务中,为了最大化资源利用率,租户的子用户可以共享计算资源用于运行容器化的作业。这意味着租户的不同子用户的容器化处理作业可以运行在同一个计算节点上,共享节点的CPU、内存、磁盘、操作系统内核等资源,这里就会存在容器逃逸的风险。 自动驾驶云服务适用于您的子用
通用存储 通用存储 自定义属性 父主题: 数据资产