检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
模型评测 在机器学习中，通常需要使用一定的方法和标准，来评测一个模型的预测精确度。自动驾驶领域通常涉及目标检测、语义分割、车道线检测等类别，如识别车辆、行人、可行区域等对象。 评测脚本 评测任务 任务队列 评测对比 模型数据集支持 父主题： 训练服务
模型文件说明（训练） Octopus模型管理模块，支持用户上传模型，并将其用于模型评测、模型编译任务。如果需要将模型用于内置评测模板评测，除模型文件外，需另外包含推理启动文件： customer_inference.py 仅当需要使用内置评测指标计算时需要添加推理启动文件，文件名称可自定义，将该文件置于模型目录下。
模型评测 创建评测脚本 创建评测任务 父主题： 训练服务
模型文件基本要求 模型文件通常包括模型图和模型权重文件，具体内容视用户算法决定，无其他要求。如果需要使用内置指标计算，则需满足以下条件： 自定义模型包中必须包含推理启动文件以及自定义模型文件，其中推理启动文件需要根据Octopus数据格式对推理结果存储为json进行适配，除此之外
模型数据集支持 模型评测支持多种数据集格式，包括Octopus格式和部分常见开源数据集格式，以下为各类别模型的数据集支持列表和示例。 目标检测2D 目标检测3D 目标追踪2D 目标追踪3D 语义分割2D 语义分割3D 车道线检测 分类 父主题： 模型评测
json { "label_meta_name": "Car", # 推理文件包含得分 "score": 0.85 } 父主题： 模型数据集支持
700, 710], "raw_file": "clips/0530/1492628545240318854_0/20.jpg"} 父主题： 模型数据集支持
"ymax": 520, "xmin": 900 } } ] } 父主题： 模型数据集支持
"z": 4.71 } }, "score": 0.82 } ] } 父主题： 模型数据集支持
保存文件：单击＂保存＂，保存当前脚本。脚本更新完毕请及时保存。 评测脚本使用说明： 模型路径通过环境变量{MODEL}获取，用户在评测过程中需要选择该模型，需要注意的是，以上环境变量仅指明模型文件夹，具体选择模型需用户指定，例如使用os.path.join拼接，或者使用os.listdir查找选择
评测对比 创建评测对比任务 平台支持创建2-4个评测任务结果对比。 在左侧菜单栏中单击“训练服务 > 模型评测”。 选择“评测对比”页签，单击“新建评测对比”，填写基本信息。 图1 新建评测对比 名称：对比任务名称，只能包含数字、英文、中文、下划线、中划线。 描述：简要描述任务，
png +--- 000001.png +--- 000002.png 示例标注/推理文件 2D语义分割-palette.png 父主题： 模型数据集支持
52, 70, 71, 72, 80, 81, 99, 252, 254], dtype=uint32) 父主题： 模型数据集支持
00 0 -1.57 0. 0. 0. 0. 1.75 1.96 3.75 -7.57 12.66 -0.67 -1.54 0. 父主题： 模型数据集支持
任务队列 评测任务在创建之后，可在此查看任务队列，同时支持对任务优先级的调整。 在左侧菜单栏中单击“训练服务 > 模型评测”。 选择“任务队列”页签，可查看任务。 图1 任务队列 评测任务队列相关操作 在“任务队列”页签，还可以进行以下操作。 表1 评测任务队列相关操作 任务 操作步骤
评测任务 创建任务 评测结果 父主题： 模型评测
到新数据集中。数据集各属性沿用原始评测数据集，例如“数据类型”、“标注状态”、“数据格式”等。 评测结果 显示模型的评测结果，例如“模型评测结果字典.json”和“模型评测报告.pdf”，可在线查看或下载至本地查看。 图7 评测结果 用户输出评测结果，如果需创建PDF可视化报告需
</object> <filename>hash0-1598929950099.xml</filename> </annotation> 父主题： 模型数据集支持
资源规格：当前项目中可用的资源规格，资源规格需要平台管理员在纳管模型评测用途的任务作业集群后创建。 优先级：设定任务的优先级，数值取[-50,50]的整数，数字越大，优先级越高。 选择模型与数据集 图2 选择模型与数据集 选择模型：选择模型仓库和对应的模型版本，如果需要将模型对应的原始算法也挂载到用户评测容器
训练服务简介 训练服务模块上承接数据服务和标注服务两大模块，为自动驾驶研发提供方便易用的模型训练和评测平台，让用户无需过多关注底层资源，聚焦算法和模型开发。用户可上传符合Octopus平台规范的训练算法，将成熟的算法创建训练任务生成训练模型。此外，训练服务提供多种模型评测指标，从
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
