通過特征選擇和聚合實(shí)現(xiàn)實(shí)用的視頻目標(biāo)檢測(cè)

論文 Practical Video Object Detection via Feature Selection and Aggregation 探討了視頻目標(biāo)檢測(cè)（VOD）的挑戰(zhàn)，尤其是如何有效地跨幀聚合特征以提高檢測(cè)的準(zhǔn)確性和效率。

在3090 GPU設(shè)備上準(zhǔn)確性（AP50）和推理速度（FPS）的性能比較。

研究背景

視頻目標(biāo)檢測(cè)的復(fù)雜性：視頻中的對(duì)象可能在不同幀之間有顯著的外觀變化，并且某些幀可能會(huì)出現(xiàn)模糊、非剛性運(yùn)動(dòng)或其他退化現(xiàn)象。這些因素使得視頻目標(biāo)檢測(cè)比靜態(tài)圖像檢測(cè)更加復(fù)雜。

現(xiàn)有方法的局限性：大多數(shù)現(xiàn)有的特征聚合方法主要針對(duì)兩階段檢測(cè)器，這些方法雖然在精度上表現(xiàn)良好，但由于其雙階段特性，計(jì)算成本較高。單階段檢測(cè)器在處理靜態(tài)圖像方面取得了進(jìn)展，但在視頻目標(biāo)檢測(cè)中的應(yīng)用尚未得到充分探索。

基礎(chǔ)檢測(cè)器YOLOX（第一行）與我們的方法（第二行）之間的比較。這些幀受到多種干擾的影響，如非剛性運(yùn)動(dòng)、運(yùn)動(dòng)模糊和復(fù)雜姿勢(shì)，使得基礎(chǔ)檢測(cè)器未能完成任務(wù)。而我們的方法能夠精確預(yù)測(cè)這些物體。

方法概述

我們框架的示意圖。

特征選擇和聚合策略：論文提出了一種簡(jiǎn)單但有效的策略，通過特征選擇和聚合來提高檢測(cè)精度，同時(shí)保持計(jì)算效率。

特征選擇模塊（FSM）：該模塊用于從密集預(yù)測(cè)圖中提取候選特征，拒絕低質(zhì)量的候選項(xiàng)，從而減少計(jì)算開銷。具體來說，使用TopK+NMS策略來確保稀疏的前景預(yù)測(cè)。

特征聚合模塊（FAM）：通過特征相似性測(cè)量形成親和矩陣，以指導(dǎo)特征的聚合。為了改善常用余弦相似度的不足，采用了平均池化操作。這些操作在計(jì)算資源上成本有限，但在準(zhǔn)確性上有顯著提升。

用于分類和回歸特征的特征聚合過程。Sr 和 Sc 分別表示 IoU 和分類的評(píng)分矩陣。

實(shí)驗(yàn)與結(jié)果

實(shí)驗(yàn)設(shè)置：論文在ImageNet VID數(shù)據(jù)集上進(jìn)行了廣泛的實(shí)驗(yàn)，驗(yàn)證了所提方法的有效性。

性能提升：實(shí)驗(yàn)結(jié)果顯示，該方法在單個(gè)3090 GPU上以超過30 FPS的速度達(dá)到了92.9%的AP50，顯著優(yōu)于其他現(xiàn)有方法。

魯棒性測(cè)試：在處理運(yùn)動(dòng)模糊、罕見姿勢(shì)和遮擋等挑戰(zhàn)性場(chǎng)景中，所提方法表現(xiàn)出色，顯示出其魯棒性。通過視覺化對(duì)比，展示了在這些場(chǎng)景下模型的優(yōu)越性能。

YOLOV-SwinBase（第一行）、YOLOV++-SwinBase（第三行）和具有相同SwinBase主干的TransVOD-Lite（第二行）之間的視覺對(duì)比。三個(gè)例子分別遭遇了不同類型的退化：(a) 運(yùn)動(dòng)模糊，(b) 罕見姿勢(shì)，(c) 遮擋。我們的方法在這些具有挑戰(zhàn)性的情況下展示了其魯棒性。

貢獻(xiàn)與創(chuàng)新

效率與精度的平衡：通過引入特征選擇和聚合模塊，論文在保持高效推理速度的同時(shí)，顯著提高了檢測(cè)精度。

通用性：所提方法的核心思想簡(jiǎn)單且通用，適用于不同的基礎(chǔ)檢測(cè)器，如YOLOX、FCOS和PPYOLOE。

對(duì)比分析：論文還與其他現(xiàn)有VOD方法進(jìn)行了對(duì)比，指出大多數(shù)方法依賴于重型基礎(chǔ)檢測(cè)器，而本文的方法在效率和效果上均有優(yōu)勢(shì)。

相關(guān)信息

代碼：https://github.com/yuhengsss/yolov

論文：https://arxiv.org/abs/2407.19650v1