AI开发平台MODELARTS-本地交互式推理:基于VisPlatform进行图片/视频推理

时间：2024-05-11 08:28:52

AI开发平台MODELARTS

基于VisPlatform进行图片/视频推理

图片推理

方式1：在线推理

VisDetPlatform(learner, stage="val", det_box_color=(0, 0, 255))

点击放大

单击“Select”按钮可以交互式选择需要预测的文件、文件夹，会自动过滤出文件夹支持的图片及视频。
当检测框置信度大于“Score Thr”时会在图片中显示，当检测框和标注框的iou值大于“Iou Thr”时会显示蓝色框，当iou值小于“Iou Thr时”会显示红色框。
“Category”默认选择“ALL”，表示会显示所有类别信息，也可以选择只显示某一种类别。
“Pred_bbox”表示是否显示检测框，“Pred_label”表示是否显示对应预测的标签和置信度，“GT_bbox”表示是否显示标注框，“GT_label”表示是否显示对应的标签。

方式2：离线推理

在验证集进行评估，并保存验证集检测结果到文件中。

learner.validate(out="./output/mmdetection/fcos/prediction.pkl")

使用检测结果文件和标注进行离线推理

VisDetPlatform(ann_json="./data/raw/helmet/annotations/instances_val2017.json", det_file="./output/mmdetection/fcos/prediction.pkl")

点击放大

此时的交互式方式和在线推理类似，但是不支持视频的推理。

方式3：数据集可视化

只展示数据集标注信息。

VisDetPlatform(ann_json="./data/raw/helmet/annotations/instances_val2017.json")

点击放大

如果只传入ann_json路径，那么可以使用VisDetPlatform对数据集进行可视化，此时pred_bbox、pred_label、Score Thr和IoU Thr被锁定，无法进行编辑操作；
只会对于ann_json中具有标注信息的图片进行可视化。

视频推理

infer_param = {"nms_pre": 100, "max_per_img": 20, "img_scale": (800, 600)}  # 默认为None
VisDetPlatform(learner, infer_param=infer_param, stage="val", det_box_color=(0, 0, 255))

点击放大

infer_param参数取值默认为None，则会使用默认的推理配置参数，设置infer_param后（接收nms_pre, max_per_img, img_scale），能够提高视频推理的FPS；
视频推理模式下，pred_bbox、pred_label、GT_bbox、GT_label和IoU Thr无效；
开启async模式后，对于小模型而言，适量增大“batch size”的大小能够提高视频推理的FPS，如下图所示：

点击放大