基于深度特征核相關濾波器的尺度自適應目標跟蹤方法與流程

本發明涉及計算機視覺技術領域，特別是一種基于深度特征核相關濾波器的尺度自適應目標跟蹤方法。

背景技術：

近年來，隨著大規模標注數據集的出現，以及計算機計算能力的提升，深度學習方法尤其是卷積神經網絡成功應用于圖像分類、目標檢測、目標識別以及語義分割等計算機視覺領域，這主要歸功于卷積神經網絡強大的目標表示能力。與傳統的圖像特征不同，深度卷積特征從大量的數千個類別的圖像數據學習得到，所以高層的卷積特征表示目標的語義特征，適用于圖像分類問題。由于高層的卷積特征分辨率很低，所以并不適合確定目標的位置，而且由于訓練數據的缺失，在跟蹤開始的前幾幀訓練一個深度模型困難重重。

最近，基于相關濾波器的判別式跟蹤方法由于跟蹤效果高效而準確，引起很多研究者的興趣。基于相關濾波器的跟蹤方法通過將輸入特征回歸為目標高斯分布在線訓練一個相關濾波器，并在后續的跟蹤過程中尋找相關濾波器輸出相應圖譜的峰值確定目標的位置。相關濾波器在運算中巧妙應用快速傅里葉變換，降低了計算復雜度，使得跟蹤速度大幅度提升。但是，核相關濾波器算法使用傳統的梯度方向直方圖特征，當目標外觀表示發生變化時，跟蹤算法容易漂移；另外，該算法不能估計目標的尺度變化，而且采用簡單的線性插值更新模型，這樣當目標追蹤發生錯誤的時候，由于更新機制的最終導致跟蹤算法漂移。

技術實現要素：

本發明的目的在于提供一種基于深度特征核相關濾波器的尺度自適應目標跟蹤方法，從而提高目標在復雜場景和外觀變化中的目標跟蹤的魯棒性，高效準確地處理目標尺度變化，盡可能地減少因錯誤檢測而導致的模型跟蹤漂移。

實現本發明目的的技術解決方案為：一種基于深度特征核相關濾波器的尺度自適應目標跟蹤方法，包括以下幾個步驟：

步驟1，輸入目標的初始位置p0和尺度s0，設置窗口大小為目標初始包圍盒的2.0倍；

步驟2，根據第t-1幀的目標位置pt-1，獲得目標區域xt-1，尺寸為窗口大小；

步驟3，提取目標區域xt-1的深度卷積特征，并進行快速傅立葉變換，得到特征圖譜其中^表示離散傅立葉變換；

步驟4，根據特征圖譜計算核自相關

步驟5，訓練位置和尺度相關濾波器；

步驟6，根據第t-1幀目標的位置pt-1，獲得目標在第t幀的候選區域zt，尺寸為窗口大小；

步驟7，提取候選區域zt的深度卷積特征，并進行快速傅立葉變換，得到特征圖譜其中^表示離散傅立葉變換；

步驟8，根據目標前一幀的特征圖譜計算核互相關

步驟9，分別檢測位置濾波器和尺度濾波器的輸出圖譜中最大值對應的位置，來確定目標在當前幀的位置pt和尺度st；

步驟10，采用自適應的模型更新策略更新核相關濾波器。

進一步地，步驟3和步驟7所述深度卷積特征的提取方法，具體如下：

(3.1)預處理，將窗口區域i縮放到卷積神經網絡規定的輸入尺寸224×224；

(3.2)特征提取，提取卷積神經網絡第3、4和5個卷積層的特征圖譜；

(3.3)雙線性插值，將提取的3層卷積特征上采樣到同等尺寸大小。

進一步地，步驟4所述計算核自相關和步驟8所述計算核互相關具體方法如下：

(4.1)采用高斯核，公式如下：

其中，k(x,x′)表示兩個特征圖譜x和x′計算的高斯核，exp(.)表示e指數函數，σ是高斯函數的標準差，σ取值為0.5，||.||²表示向量或矩陣的2范式；

(4.2)計算核相關，公式如下：

其中，k^xx′表示特征圖譜x和x′的核相關，exp(.)表示e指數函數，σ是高斯函數的標準差，σ取值為0.5，||.||²表示向量或矩陣的2范式，表示離散傅立葉變換的逆變換，*表示復共軛，^表示離散傅立葉變換，⊙表示兩個矩陣對應元素相乘。

進一步地，步驟5所述的訓練位置和尺度相關濾波器，具體如下：

根據步驟3所提取的深度卷積特征，對每層特征圖譜分別訓練1個核相關濾波器，采用如下公式訓練模型：

其中，表示根據第l層深度卷積特征圖譜求得的相關濾波器模型，表示特征圖譜的核自相關，^表示離散傅立葉變換，λ是正則化參數，防止訓練的模型過擬合，λ取值為0.001。

進一步地，步驟9所述分別檢測位置濾波器和尺度濾波器的輸出圖譜中最大值對應的位置，來確定目標在當前幀的位置pt和尺度st，具體如下：

(9.1)從第t幀圖像，以位置pt-1和窗口大小選取候選區域zt,trans；

(9.2)提取候選區域zt,trans的3層深度卷積特征圖譜

(9.3)對第l層特征圖譜計算位置濾波器相關輸出置信度圖譜ft,trans^(l)：

其中，ft^(l)表示第l層特征圖譜的位置濾波器的輸出相應圖譜，表示特征圖譜和的核互相關，是前一幀訓練得到的并且更新過的位置濾波器，表示離散傅立葉變換的逆變換，^表示離散傅立葉變換，表示兩個矩陣對應元素相乘；

(9.4)從輸出相應圖譜ft⁽³⁾開始由粗到細估計目標位置，第l層的目標位置pt^(l)為輸出相應圖譜ft,trans^(l)最大值對應的位置；

(9.5)從第t幀圖像中，以位置pt和尺度st-1提取尺度估計的候選區域zt,sacle，構建尺度金字塔；

(9.6)提取候選區域的梯度方向直方圖特征計算尺度濾波器相關輸出置信度圖譜ft,sacle；

(9.7)第t幀檢測到的目標尺度st為輸出相應圖譜ft,sacle最大值對應的尺度。

進一步地，步驟10所述采用自適應的模型更新策略更新核相關濾波器，具體如下：

(10.1)在完成估計目標位置和尺度之后，計算兩種跟蹤結果置信度度量準則，其一是相關相應輸出圖譜的峰值：

fmax＝maxf

其中，f為核相關濾波器與候選區域相關輸出相應圖譜，fmax是該圖譜的峰值；

另一種是平均峰值相關能量apce：

其中，fmax和fmin分別是輸出圖譜f的最大值與最小值，mean(.)表示求均值函數，fi,j表示輸出圖譜f的第i行第j列數值；

(10.2)如果fmax和apce均大于fmax和apce歷史平均值，則模型進行更新，否則，不進行更新；對每一深度卷積層，使用線性插值方法更新，公式如下：

其中，和分別表示第l層的前一幀的特征圖譜和相關濾波器，η為學習率，η越大模型更新越快，η取值為0.02。

本發明與現有技術相比，其顯著優點為：(1)使用深度卷積特征，深度卷積特征是從大量的數千類別的圖像數據中學習得到，具有強大的目標表示能力，使得算法在目標外觀發生變化時以及外部因素如光照變化時具有較強的魯棒性；(2)采用自適應尺度估計方法，該方法與位置估計類似，訓練一個單獨的尺度濾波器，巧妙使用快速傅里葉變換，實現高效，尺度估計準確，可以結合到任何判別式跟蹤算法框架中；(3)采用自適應的高置信度的模型更新策略，當在目標追蹤階段發生錯誤時，目標檢測的置信度較低，此時模型不應更新，這種策略有效地降低了跟蹤算法漂移的危險。

附圖說明

圖1為本發明基于深度特征核相關濾波器的尺度自適應目標跟蹤方法的流程圖。

圖2為提取深度卷積特征示意圖。

圖3為目標位置和尺度估計示意圖，其中(a)是由粗到細的目標位置估計示意圖，(b)是自適應的目標尺度估計示意圖。

圖4為自適應的高置信度的模型更新示意圖。

圖5為本發明在標準視覺跟蹤數據集上評測結果圖，其中(a)是otb50數據集的準確度繪圖，(b)是otb50數據集的正確率繪圖，(c)是otb100數據集的準確度繪圖，(d)是otb100數據集的正確率繪圖。

圖6為本發明實際視頻目標跟蹤結果圖，其中(a)是otb100數據集上human測試視頻結果圖，(b)是otb100數據集上walking測試視頻結果圖，(c)是otb50數據集上tiger測試視頻結果圖，(d)是otb50數據集上dog測試視頻結果圖。

具體實施方式

為使本發明的結構特征以及所達成的功效有進一步的了解與認識，用以較佳的實施例及附圖配合詳細的說明，說明如下：

結合圖1，本發明基于深度特征核相關濾波器的尺度自適應目標跟蹤方法，包括以下幾個步驟：

步驟1，輸入目標的初始位置p0和尺度s0，設置窗口大小為目標初始包圍盒的2.0倍；

步驟2，根據第t-1幀的目標位置pt-1，獲得目標區域xt-1，尺寸為窗口大小；

步驟3，提取目標區域xt-1的深度卷積特征，并進行快速傅立葉變換，得到特征圖譜其中^表示離散傅立葉變換；

步驟4，根據特征圖譜計算核自相關

步驟5，訓練位置和尺度相關濾波器；

步驟6，根據第t-1幀目標的位置pt-1，獲得目標在第t幀的候選區域zt，尺寸為窗口大小；

步驟7，提取候選區域zt的深度卷積特征，并進行快速傅立葉變換，得到特征圖譜其中^表示離散傅立葉變換；

步驟8，根據目標前一幀的特征圖譜計算核互相關

步驟9，分別檢測位置濾波器和尺度濾波器的輸出圖譜中最大值對應的位置，來確定目標在當前幀的位置pt和尺度st；

步驟10，采用自適應的模型更新策略更新核相關濾波器。

作為一種具體示例，步驟3和步驟7所述深度卷積特征的提取方法，具體如下：

(3.1)預處理，將窗口區域i縮放到卷積神經網絡規定的輸入尺寸224×224；

(3.2)特征提取，提取卷積神經網絡第3、4和5個卷積層的特征圖譜；

(3.3)雙線性插值，將提取的3層卷積特征上采樣到同等尺寸大小。

作為一種具體示例，步驟4所述計算核自相關和步驟8所述計算核互相關具體方法如下：

(4.1)采用高斯核，公式如下：

其中，k(x,x′)表示兩個特征圖譜x和x′計算的高斯核，exp(.)表示e指數函數，σ是高斯函數的標準差，σ取值為0.5，||.||²表示向量或矩陣的2范式；

(4.2)計算核相關，公式如下：

其中，k^xx′表示特征圖譜x和x′的核相關，exp(.)表示e指數函數，σ是高斯函數的標準差，σ取值為0.5，||.||²表示向量或矩陣的2范式，表示離散傅立葉變換的逆變換，*表示復共軛，^表示離散傅立葉變換，表示兩個矩陣對應元素相乘。

作為一種具體示例，步驟5所述的訓練位置和尺度相關濾波器，具體如下：

根據步驟3所提取的深度卷積特征，對每層特征圖譜分別訓練1個核相關濾波器，采用如下公式訓練模型：

其中，表示根據第l層深度卷積特征圖譜求得的相關濾波器模型，表示特征圖譜的核自相關，^表示離散傅立葉變換，λ是正則化參數，防止訓練的模型過擬合，λ取值為0.001。

作為一種具體示例，步驟9所述分別檢測位置濾波器和尺度濾波器的輸出圖譜中最大值對應的位置，來確定目標在當前幀的位置pt和尺度st，具體如下：

(9.1)從第t幀圖像，以位置pt-1和窗口大小選取候選區域zt,trans；

(9.2)提取候選區域zt,trans的3層深度卷積特征圖譜

(9.3)對第l層特征圖譜計算位置濾波器相關輸出置信度圖譜ft,trans^(l)：

其中，ft^(l)表示第l層特征圖譜的位置濾波器的輸出相應圖譜，表示特征圖譜和的核互相關，是前一幀訓練得到的并且更新過的位置濾波器，表示離散傅立葉變換的逆變換，^表示離散傅立葉變換，表示兩個矩陣對應元素相乘；

(9.4)從輸出相應圖譜ft⁽³⁾開始由粗到細估計目標位置，第l層的目標位置pt^(l)為輸出相應圖譜ft,trans^(l)最大值對應的位置；

(9.5)從第t幀圖像中，以位置pt和尺度st-1提取尺度估計的候選區域zt,sacle，構建尺度金字塔；

(9.6)提取候選區域的梯度方向直方圖特征計算尺度濾波器相關輸出置信度圖譜ft,sacle；

(9.7)第t幀檢測到的目標尺度st為輸出相應圖譜ft,sacle最大值對應的尺度。

作為一種具體示例，步驟10所述采用自適應的模型更新策略更新核相關濾波器，具體如下：

(10.1)在完成估計目標位置和尺度之后，計算兩種跟蹤結果置信度度量準則，其一是相關相應輸出圖譜的峰值：

fmax＝maxf

其中，f為核相關濾波器與候選區域相關輸出相應圖譜，fmax是該圖譜的峰值；

另一種是平均峰值相關能量(averagepeak-to-correlationenergy,apce)：

其中，fmax和fmin分別是輸出圖譜f的最大值與最小值，mean(.)表示求均值函數，fi,j表示輸出圖譜f的第i行第j列數值；

(10.2)如果fmax和apce均大于fmax和apce歷史平均值，則模型進行更新，否則，不進行更新；對每一深度卷積層，使用線性插值方法更新，公式如下：

其中，和分別表示第l層的前一幀的特征圖譜和相關濾波器，η為學習率，η越大模型更新越快，η取值為0.02。

本發明解決了由目標形變、光照變化、目標旋轉和尺度變化等外觀變化以及目標遮擋等導致跟蹤失敗的缺陷。借助深度卷積特征的強大目標表示能力，提高了目標在復雜場景和外觀變化中的目標跟蹤的魯棒性；另外，本發明能夠高效準確地處理目標尺度變化，最后，由于采用自適應的高置信度的模型更新策略，減少了因錯誤檢測而導致的模型跟蹤漂移。

下面結合具體實施例對本發明做進一步詳細說明。

實施例1

本發明基于深度特征核相關濾波器的尺度自適應目標跟蹤方法，該方法主要分為四步，第一步為提取深度卷積特征；第二步訓練核相關濾波器；第三步估計目標在當前幀的位置和尺度；第四步，采用自適應的高置信度的模型更新策略。

步驟1，輸入目標的初始位置p0和尺度s0，設置窗口大小為目標初始包圍盒的2.0倍；

步驟2，根據第t-1幀的目標位置pt-1，獲得目標區域xt-1,尺寸為窗口大小；

步驟3，提取目標區域xt-1的深度卷積特征，快速傅立葉變換，得到特征圖譜其中^表示離散傅立葉變換；

步驟4，根據特征圖譜計算核自相關

步驟5，訓練位置和尺度相關濾波器；

步驟6，根據第t-1幀目標的位置pt-1，獲得目標在第t幀的候選區域zt,尺寸為窗口大小；

步驟7，提取候選區域zt的深度卷積特征，并進行快速傅立葉變換，得到特征圖譜其中^表示離散傅立葉變換；

步驟8，根據目標前一幀的特征圖譜計算核互相關

步驟9，分別檢測位置濾波器和尺度濾波器的輸出相應圖譜的最大值對應的位置來確定目標在當前幀的位置pt和尺度st；

步驟10，采用自適應的高置信度的模型更新策略更新核相關濾波器。

如圖2所示，給出了基于深度特征核相關濾波器的尺度自適應目標跟蹤方法的提取深度卷積特征的示意圖。本發明基于深度特征核相關濾波器的尺度自適應目標跟蹤方法，其特征在于提取深度卷積特征，深度卷積特征是從大量的數千類別的圖像數據中學習得到，具有強大的目標表示能力，使得算法在目標外觀發生變化時以及外部因素如光照變化時具有較強的魯棒性，具體步驟如下：

(3.1)預處理，將窗口區域i縮放到卷積神經網絡規定的輸入尺寸224×224；

(3.2)特征提取，提取卷積神經網絡第3、4和5個卷積層的特征圖譜；

(3.3)雙線性插值，將提取的3層卷積特征上采樣到同等尺寸大小。

如圖3所示，給出了基于深度特征核相關濾波器的尺度自適應目標跟蹤方法的目標位置和尺度估計示意圖，其中圖3(a)是由粗到細的目標位置估計示意圖，圖3(b)是自適應的目標尺度估計示意圖。本發明基于深度特征核相關濾波器的尺度自適應目標跟蹤方法，其特征在于由粗到細的分層位置估計方法和自適應的目標尺度估計方法。傳統的核相關濾波方法目標的模型尺寸固定，無法處理目標尺度的變化，因此容易導致跟蹤失敗。本發明提出了一種自適應尺度估計方法，它主要思想是訓練一個獨立的尺度濾波器，通過尺度濾波器相關響應最大時對應的尺度來估計，這種方法巧妙應用快速傅立葉變換，簡單而高效，可以集成到傳統的判別式目標跟蹤方法中，具體步驟如下：

(9.1)從第t幀圖像，以位置pt-1和窗口大小選取候選區域zt,trans；

(9.2)提取候選區域zt,trans的3層深度卷積特征圖譜

(9.3)對第l層特征圖譜計算位置濾波器相關輸出置信度圖譜ft,trans^(l)：

其中，ft^(l)表示第l層特征圖譜的位置濾波器的輸出相應圖譜，表示特征圖譜和的核互相關，是前一幀訓練得到的并且更新過的位置濾波器，表示離散傅立葉變換的逆變換，^表示離散傅立葉變換，表示兩個矩陣對應元素相乘。

(9.4)從輸出相應圖譜ft⁽³⁾開始由粗到細估計目標位置，第l層的目標位置pt^(l)為輸出相應圖譜ft,trans^(l)最大值對應的位置；

(9.5)從第t幀圖像中，以位置pt和尺度st-1提取尺度估計的候選區域zt,sacle，構建尺度金字塔；

(9.6)提取候選區域的梯度方向直方圖特征計算尺度濾波器相關輸出置信度圖譜ft,sacle；

(9.7)第t幀檢測到的目標尺度st為輸出相應圖譜ft,sacle最大值對應的尺度。

如圖4所示，給出了基于深度特征核相關濾波器的尺度自適應目標跟蹤方法的自適應的高置信度的模型更新示意圖。本發明基于深度特征核相關濾波器的尺度自適應目標跟蹤方法，其特征在于自適應的高置信度的模型更新策略。傳統的核相關濾波模型更新方法采用簡單線性插值方法，沒有進行跟蹤錯誤檢測，當跟蹤時目標檢測出現錯誤，模型更新會污染核相關濾波器，導致跟蹤算法漂移。本發明提出了兩種檢測置信度準則，當確定目標跟蹤正確時，則模型更新，否則，模型不更新，具體步驟如下：

(10.1)在完成估計目標位置和尺度之后，計算兩種跟蹤結果置信度度量準則,其一是相關相應輸出圖譜的峰值：

fmax＝maxf

其中，f為核相關濾波器與候選區域相關輸出相應圖譜，fmax是該圖譜的峰值。另一種是平均峰值相關能量(averagepeak-to-correlationenergy,apce)：

其中，fmax和fmin是輸出圖譜f的最大值與最小值，mean(.)表示求均值函數。fi,j表示輸出圖譜f的第i行第j列數值。

(10.2)如果fmax和apce均大于fmax和apce歷史平均值，則模型進行更新，否則，不進行更新。對每一深度卷積層，使用線性插值方法更新，公式如下：

其中，和分別表示第l層的前一幀的特征圖譜和相關濾波器，η為學習率，η越大模型更新地越快，在發明中η取值為0.02。

如圖5所示，展示了本發明在標準視覺追蹤數據集otb50和otb100上評測結果圖，其中(a)是otb50數據集的準確度繪圖，(b)是otb50數據集的正確率繪圖，(c)是otb100數據集的準確度繪圖，(d)是otb100數據集的正確率繪圖。otb50數據集有50個視頻序列，總共擁有29000幀，而otb100數據集擁有100個視頻序列，總共擁有58897幀，它們每幀都有目標的標記。評測指標主要有兩種：準確度和成功率。在準確度繪圖(a)和(c)中，準確度定義為算法檢測位置與目標標定位置之間的距離不超過20像素的幀數占總評測幀數的百分比；在成功率繪圖(b)和(d)中，重疊率指的是算法檢測目標包圍盒與目標標定包圍盒兩者之間重疊部分面積(交運算)占總面積(并運算)的百分比超過50％的幀數占總評測幀數的百分比。從評測結果可以看出，與經典的目標跟蹤算法相比，本發明(fscf2)在目標追蹤任務中表現出色。

如圖6所示，展示了本發明與近年來一些出色的算法在實際視頻中目標追蹤結果比較圖，其中(a)是otb100數據集上human測試視頻結果圖，(b)是otb100數據集上walking測試視頻結果圖，(c)是otb50數據集上tiger測試視頻結果圖，(d)是otb50數據集上dog測試視頻結果圖。總體來看，與經典的目標跟蹤算法相比，本發明(fscf2)追蹤效果最好，由于使用深度卷積特征，具有很強的目標表示能力，自適應尺度估計機制以及自適應的高置信度的模型更新策略使本發明能夠在目標發生遮擋，尺度變化，目標變形以及目標快速運動等不利因素條件下仍然能夠準確追蹤目標。