專利名稱：基于surf特征點圖匹配和運動生成模型的視頻目標跟蹤方法
技術領域：
本發明涉及的是一種計算機視覺技術領域的目標跟蹤方法，特別是一種基于SURF 特征點圖匹配和運動生成模型的視頻目標跟蹤方法。
背景技術：
計算機視覺的研究是為了讓計算機具有如同人類一樣強大的視覺能力，其中目標 跟蹤是該領域中一個極具吸引力又極富挑戰性的課題。目標跟蹤技術在民用和軍事上都有 著巨大應用前景，如對銀行、停車場、重要公共場合等進行實時監控，在交通系統中對車牌 自動識別，智能汽車自動駕駛等，戰爭環境中對敵方快速移動目標進行準確定位和跟蹤；其 在人機交互、虛擬現實中也有重要的應用價值，如視覺焦點追蹤、頭部追蹤等。目標跟蹤技 術在研究工作者們的推動下有著長足進步，產生了一些經典的跟蹤方法，如Mean-Shift跟 蹤、Particle filter跟蹤、Ensemble跟蹤等，但離實際應用還有較大差距，特別是光照變 化、形態變化、背景紛雜和遮擋等情況發生時。SURF特征作為一種新興的特征提取技術，在圖像匹配、目標識別、視頻數據挖掘等 問題中已經獲得了廣泛應用，并取得了巨大的成功。它具有對圖像的旋轉、縮放、三維觀測 視角變化等的不變性，在實際應用中表現出很好的魯棒性和高重復性，同時其描述子具有 高維特征分布的獨特性。區別于通常的局部特征技術，SURF特征通過對特征點位置檢測過 程使用的DOG算子進行近似優化處理，同時利用經典的積分圖技術等，在特征檢測和計算 速度上有很大突破，使實時的圖像特征提取成為現實。
發明內容
本發明的目的是克服現有目標跟蹤方法的不足，提供一種基于SURF特征點圖匹 配和運動生成模型的視頻目標跟蹤方法。本發明從運動估計的角度出發，結合SURF特征提 取技術，有效地跟蹤視頻目標，給出正確和實際有效的運動信息。本發明能夠有效地適用于 現實環境下一般目標的實時跟蹤，并且克服現有跟蹤方法在光照變化、形態變化、背景紛雜 和目標遮擋等情況下的失效。本發明通過以下技術方案實現本發明包括以下步驟①使用局部特征點集描述目標物體；②通過將新幀圖像中檢測得到的特征點集與目標特征點集進行圖匹配得到目標 局部特征點的運動信息；③使用生成模型來刻畫局部特征點的運動與目標整體的運動之間的關系；④利用最大似然估計在局部特征點運動信息上計算出目標整體運動參數；⑤利用在線最大期望(Expectation-Maximization，簡稱EM)方法更新目標特征 點的混合概率系數；
⑥通過監視背景特征點是否進入目標區域內來判斷。所述的局部特征點，其運動與目標整體的運動之間的關系則是通過一個生成模型 來刻畫的。所述的生成模型包含兩部分一致模態和游走模態。某特征點的運動若由一致模 態生成，則暗示著此特征點的運動與目標整體保持一致，反之，則表明此特征點的運動與目 標整體無關。而生成模型的參數則是利用在線最大期望方法實時有效地學習得到的。所述的目標是通過一個SURF特征點集來進行描述的。這樣一種描述方式的優點 在于它能夠允許目標的不同部分進行不同的運動，因此能夠更加靈活地處理目標的形態變 化。而這些特征點的運動信息則通過一個特征點圖匹配的過程獲得。目標的結構信息在匹 配過程中被考慮進來，以加強匹配的可靠性。所述的在線最大期望方法，通過最大化特征點的運動信息的似然估計出目標整體 的運動參數，然后目標整體的運動信息用于更新和調整對目標的描述。與目標運動保持一 致的特征點將賦以更高的權重，同時，新檢測到的目標上的特征點也被吸收進入對目標的 表達中，以此來學習目標的形態變化。本發明的方法能夠有效地跟蹤視頻目標，給出正確性和實際有效性的運動信息。 本發明不依賴于對目標物體進行剛體運動的假設，因此在處理目標形態變化等情景更加穩 定有效。特征點運動生成模型精確刻畫了局部特征點的運動與目標整體的運動的關系，大 量的試驗結果證明了模型的理論正確性和實際有效性。
圖1本發明對跟蹤對象所取得的跟蹤結果示意圖。
具體實施例方式以下結合附圖對本發明的實施例作詳細說明以下實施例在以本發明技術方案為 前提下進行實施，給出了詳細的實施方式和過程，但本發明的保護范圍不限于下述的實施 例。實施例本實施例詳細的實施方式和過程如下①使用局部特征點集描述目標物體；②通過將新幀圖像中檢測得到的特征點集與目標特征點集進行圖匹配得到目標 局部特征點的運動信息；所述的圖匹配，在連續的幾幀圖像中觀察特征點的運動可以視為在兩個特征點集 中進行匹配，本實施例使用生成SURF特征點描述子的歐氏距離形成初始匹配候選，然后利 用特征點的空間結構信息通過圖匹配的方法尋找最優匹配，得到特征點的運動信息。③使用生成模型來刻畫局部特征點的運動與目標整體的運動之間的關系；所述的生成模型，模型包含兩部分，第一部分是一致性模型，它用來捕捉局部特征 點的運動和目標整體的運動之間的一致性關聯。若某特征點運動觀測量\是從一致模態中 生成所得，本實施例將它的概率密度函數視為高斯分布=Pe(Vt) =JV(vt|ct,Ee)。這里Ct表 示時間節點t時刻目標整體的運動參數，Σ。是一個固定的經驗性的協方差矩陣。生成模型的第二部分是為了描述部分特征點運動觀察量與目標整體運動的不相關性。將這一部分視 為隨機游走模態，若某特征點運動觀測量Vt是從該模態中生成，則其概率密度函數K(Vt) 定義為在觀測空間上的均勻分布。這兩種模態通過概率混合模型結合起來組成了對觀測量 Vt 生成模型:p(vt|ct,mt) = mcjtpc(vt|ct)+mrjtpr(vt)；這里 mt= (mc,t，mr,t)是此特征在時間 節點t時刻的模態混合系數。④利用最大似然估計在局部特征點運動信息上計算出目標整體運動參數；⑤利用在線最大期望方法更新目標特征點的混合概率系數；模型參數是通過在線最大期望方法計算得到，其中E步計算每個特征點運動觀測量Vk對于混合的各模態的歸屬程度，M 步更新模態混合系數，Hii, t = α Oi, t (Vt) + (I-Q)Hii, η ；其中 i G {c，r}，α 為 學習率。目標整體的運動參數是在局部特征點的運動信息上進行最大似然估計得到的。本 實施例將目標整體的運動建模為一個二維平面上的仿射變化，C = (Ux,Uy,φ, P)，這里Ux，Uy 是空間上的平移參數，φ和P則表示方向和尺度上的變化。給定仿射變化c，位置Pf處特 征點f的運動期望則為向量vfEt = w(ct,pf) - pf,其方向是從原來的位置指向現在的新位 置。這里，w是一個變形函數。在一致模態中觀察到此特征運動vf, t的概率密度為一高斯 函數，其均值為vfEt,方差為Σ。。為找到最優的變化ct，需最大化特征運動觀測量的對數似然 度之和L ({vf, J (f, e) eM) = Σ (f, e) eM log ρ (vf, 11 ct, mf, ^1)；求解通過迭代地計算Δ Ct 得到:Σ(Γ,β).Μ Oct(Vf t)UxZc 1CUAct — C)=0這'|! L 記 w(ct, ρ)對 Ct 的偏導，C 等vf,t — vfEt。所述的更新目標特征點，描述目標的特征點的更新分四步進行1.如果新幀中特 征點被觀測到，則用新觀測到的特征點描述子替代原來的，同時更新混合模態參數；2.如 果新幀中特征點未被觀測到，則根據目標整體的運動參數推算其新位置，并以一固定比率 降低其一致模態的混合概率系數；3.如果新幀中目標區域內檢測到新的特征點，將其加入 目標描述；4.復查目標描述內所有的特征點，如果其一致混合系數低于指定閾值，則拋棄 此特征點。⑥通過監視背景特征點是否進入目標區域內來判斷。本實施例在監測目標特征點的同時，也同樣監測背景特征點。更準確的說，本實施 例從目標區域的附近周圍提取特征點集合來對背景進行建模。同目標特征點集一樣，此背 景特征點集也參與特征點匹配過程，也在處理完每一幀之后進行更新。因此，當目標被遮擋 時，目標區域內檢測到的屬于背景的特征點將會與背景特征點集中的特征配對，因為它們 在前幾幀時已經被添加進入背景特征點集合。這種策略能夠幫助處理短時間的遮擋，同時 也為提供了一種主動檢測遮擋的方法當新提取出來的SURF特征點與之前的背景特征點 匹配上，但是卻出現在目標區域內，此時肯定發生了遮擋。如圖1所示，為本實施例中對跟蹤對象(日歷卡片)應用該方法所取得的跟蹤結果。通過監視日歷卡片的SURF特征點集，該方法準確的捕捉到了日歷卡片的平移、旋轉和 縮放等運動，并給出了跟蹤結果。內部圓圈代表SURF特征點，外部深色和淺色橢圓框分別 代表了目標物體在前一幀和當前幀的位置。
權利要求
1.一種基于SURF特征點圖匹配和運動生成模型的視頻目標跟蹤方法，其特征在于，包 括以下步驟①使用局部特征點集描述目標物體；②通過將新幀圖像中檢測得到的特征點集與目標特征點集進行圖匹配得到目標局部 特征點的運動信息；③使用生成模型來刻畫局部特征點的運動與目標整體的運動之間的關系；④利用最大似然估計在局部特征點運動信息上計算出目標整體運動參數；⑤利用在線最大期望方法更新目標特征點的混合概率系數；⑥通過監視背景特征點是否進入目標區域內來判斷。
2.根據權利要求1所述的基于SURF特征點圖匹配和運動生成模型的視頻目標跟蹤方 法，其特征是，所述的局部特征點，其運動與目標整體的運動之間的關系則是通過一個生成 模型來刻畫的；生成模型包含兩部分一致模態和游走模態；某特征點的運動若由一致模 態生成，則暗示著此特征點的運動與目標整體保持一致，反之，則表明此特征點的運動與目 標整體無關。
3.根據權利要求1所述的基于SURF特征點圖匹配和運動生成模型的視頻目標跟蹤方 法，其特征是，所述的目標是通過一個SURF特征點集來進行描述的，這些特征點的運動信 息則通過一個特征點圖匹配的過程獲得。
4.根據權利要求1所述的基于SURF特征點圖匹配和運動生成模型的視頻目標跟蹤方 法，其特征是，所述的圖匹配，在連續的幾幀圖像中觀察特征點的運動可以視為在兩個特征 點集中進行匹配，本實施例使用生成SURF特征點描述子的歐氏距離形成初始匹配候選，然 后利用特征點的空間結構信息通過圖匹配的方法尋找最優匹配，得到特征點的運動信息。
5.根據權利要求1所述的基于SURF特征點圖匹配和運動生成模型的視頻目標跟蹤方 法，其特征是，所述的在線最大期望方法，通過最大化特征點的運動信息的似然估計出目標 整體的運動參數，然后目標整體的運動信息用于更新和調整對目標的描述。
6.根據權利要求5所述的基于SURF特征點圖匹配和運動生成模型的視頻目標跟蹤方 法，其特征是，模型參數是通過在線最大期望方法計算得到，其中E步計算每個特征點運動觀測量Vk對于混合的各模態的歸屬程度，Oit(Vk) = n,i'Pi(Vk|mt'Ck); α kJ P(VkImtjCk)M步更新模態混合系數，HIi, t= α Oi, JvtHa-COmi, H ；其中i e {c, r}, α為學習率。
7.根據權利要求1所述的基于SURF特征點圖匹配和運動生成模型的視頻目標跟蹤方 法，其特征是，目標整體的運動參數是在局部特征點的運動信息上進行最大似然估計得到 的將目標整體的運動建模為一個二維平面上的仿射變化，C = (ux,uy,cp,p)，這里Ux，Uy是 空間上的平移參數，φ和P則表示方向和尺度上的變化。給定仿射變化C，位置Pf處特征 點f的運動期望則為向量:vfEt = w(ct,pf) - Pf,其方向是從原來的位置指向現在的新位置， 這里，W是一個變形函數；在一致模態中觀察到此特征運動Vf, t的概率密度為一高斯函數，其均值為vfEt，方差為Σ。；為找到最優的變化ct，需最大化特征運動觀測量的對數似然度之和L ( {Vf, tl (f, e) e l) = Σ (f,e) eilogP (vfjt|ct, Hlfjt^1)；求解通過迭代地計算 Δ ct 得到2(f,e)eM oc,t(vf,t)UT Ec-1CUAct — C)=0;這里 U 是 w (ct，ρ) 對ct的偏導，C等vf,t — vfF;t。
8.根據權利要求1所述的基于SURF特征點圖匹配和運動生成模型的視頻目標跟蹤方 法，其特征是，所述的更新目標特征點，描述目標的特征點的更新分四步進行①.如果新幀中特征點被觀測到，則用新觀測到的特征點描述子替代原來的，同時更 新混合模態參數；②.如果新幀中特征點未被觀測到，則根據目標整體的運動參數推算其新位置，并以 一固定比率降低其一致模態的混合概率系數；③.如果新幀中目標區域內檢測到新的特征點，將其加入目標描述；④.復查目標描述內所有的特征點，如果其一致混合系數低于指定閾值，則拋棄此特 征點。
全文摘要
一種計算機視覺技術領域的基于SURF特征點圖匹配和運動生成模型的視頻目標跟蹤方法，包括以下步驟使用局部特征點集描述目標物體；通過將新幀圖像中檢測得到的特征點集與目標特征點集進行圖匹配得到目標局部特征點的運動信息；使用生成模型來刻畫局部特征點的運動與目標整體的運動之間的關系；利用最大似然估計在局部特征點運動信息上計算出目標整體運動參數；利用在線最大期望方法更新目標特征點的混合概率系數；通過監視背景特征點是否進入目標區域內來判斷。本發明能有效地適用于一般目標的實時跟蹤，并且克服現有跟蹤方法在光照變化、形態變化、背景紛雜和目標遮擋等情況下的失效。有效地跟蹤視頻目標，給出正確和實際有效的運動信息。
文檔編號G06T7/20GK102004910SQ201010571129
公開日2011年4月6日 申請日期2010年12月3日 優先權日2010年12月3日
發明者何巍, 盧宏濤, 張卿 申請人:上海交通大學