检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
模型评测 在机器学习中，通常需要使用一定的方法和标准，来评测一个模型的预测精确度。自动驾驶领域通常涉及目标检测、语义分割、车道线检测等类别，如识别车辆、行人、可行区域等对象。 评测脚本 评测任务 任务队列 评测对比 模型数据集支持 父主题： 训练服务
模型文件说明（训练） Octopus模型管理模块，支持用户上传模型，并将其用于模型评测、模型编译任务。如果需要将模型用于内置评测模板评测，除模型文件外，需另外包含推理启动文件： customer_inference.py 仅当需要使用内置评测指标计算时需要添加推理启动文件，文件名称可自定义，将该文件置于模型目录下。
模型评测 创建评测脚本 创建评测任务 父主题： 训练服务
训练服务简介 训练服务模块上承接数据服务和标注服务两大模块，为自动驾驶研发提供方便易用的模型训练和评测平台，让用户无需过多关注底层资源，聚焦算法和模型开发。用户可上传符合Octopus平台规范的训练算法，将成熟的算法创建训练任务生成训练模型。此外，训练服务提供多种模型评测指标，从
模型数据集支持 模型评测支持多种数据集格式，包括Octopus格式和部分常见开源数据集格式，以下为各类别模型的数据集支持列表和示例。 目标检测2D 目标检测3D 目标追踪2D 目标追踪3D 语义分割2D 语义分割3D 车道线检测 分类 父主题： 模型评测
在线服务 微调后的迭代模型创建在线服务，进行推理，查看预测效果。每类迭代模型，只能同时运行一个在线服务，如果已经存在“运行中”的在线服务，将无法继续创建该类在线服务。 创建在线服务 在左侧菜单栏中选择“智驾模型服务 > 智驾模型管理”。 选择“在线服务”页签，单击“创建在线服务”。
模型文件基本要求 模型文件通常包括模型图和模型权重文件，具体内容视用户算法决定，无其他要求。如果需要使用内置指标计算，则需满足以下条件： 自定义模型包中必须包含推理启动文件以及自定义模型文件，其中推理启动文件需要根据Octopus数据格式对推理结果存储为json进行适配，除此之外
00 0 -1.57 0. 0. 0. 0. 1.75 1.96 3.75 -7.57 12.66 -0.67 -1.54 0. 父主题： 模型数据集支持
“更多 > 下载”，即可下载脚本。 脚本编辑 单击在线编辑栏的“在线编辑”，可在线编辑脚本，具体请参考评测脚本在线编辑。 评测脚本在线编辑 平台提供脚本编辑器，可在线编辑评测文件。单击评测脚本名称后＂在线编辑＂，进入该脚本的在线编辑页面。如图4，界面左侧显示的是该评测文件包内的所
数据集各属性沿用原始评测数据集，例如“数据类型”、“标注状态”、“数据格式”等。 评测结果 显示模型的评测结果，例如“模型评测结果字典.json”和“模型评测报告.pdf”，可在线查看或下载至本地查看。 图7 评测结果 用户输出评测结果，如果需创建PDF可视化报告需满足Octopus平台的相关约定，具体如下：
</object> <filename>hash0-1598929950099.xml</filename> </annotation> 父主题： 模型数据集支持
"ymax": 520, "xmin": 900 } } ] } 父主题： 模型数据集支持
"z": 4.71 } }, "score": 0.82 } ] } 父主题： 模型数据集支持
评测对比 创建评测对比任务 平台支持创建2-4个评测任务结果对比。 在左侧菜单栏中单击“训练服务 > 模型评测”。 选择“评测对比”页签，单击“新建评测对比”，填写基本信息。 图1 新建评测对比 名称：对比任务名称，只能包含数字、英文、中文、下划线、中划线。 描述：简要描述任务，
700, 710], "raw_file": "clips/0530/1492628545240318854_0/20.jpg"} 父主题： 模型数据集支持
评测任务 创建任务 评测结果 父主题： 模型评测
52, 70, 71, 72, 80, 81, 99, 252, 254], dtype=uint32) 父主题： 模型数据集支持
png +--- 000001.png +--- 000002.png 示例标注/推理文件 2D语义分割-palette.png 父主题： 模型数据集支持
json { "label_meta_name": "Car", # 推理文件包含得分 "score": 0.85 } 父主题： 模型数据集支持
任务队列 评测任务在创建之后，可在此查看任务队列，同时支持对任务优先级的调整。 在左侧菜单栏中单击“训练服务 > 模型评测”。 选择“任务队列”页签，可查看任务。 图1 任务队列 评测任务队列相关操作 在“任务队列”页签，还可以进行以下操作。 表1 评测任务队列相关操作 任务 操作步骤
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
