專利名稱：基于簡易快速全局運動參數估計的實時視頻穩像方法
技術領域：
本發明涉及是一種可廣泛用于手機、數碼相機、攝像機等消費電子類產品，同時亦 可廣泛用于飛機、艦船、衛星、導彈等所裝備的攝像和監視系統中的實時視頻穩像方法。
背景技術：
攝像機在移動過程中拍攝的視頻序列，不僅包含了攝像機的主動運動部分，同時 也引入了不規則的隨機運動，這種隨機運動的存在，會造成視頻的抖動和模糊，嚴重影響了 人的視覺感受，視頻穩像的目的就是消除或削弱這種隨機運動對視頻畫面所造成的破壞性 影響。視頻穩像的實現包括運動估計、運動濾波和無效區域補償三個模塊，針對這三個模 塊，國內外學者提出了很多方法。在運動估計方面，有基于塊、基于特征點、基于位平面等方 法；在運動濾波方面，有加權均值濾波、卡爾曼濾波(Kalman Filter)等；在無效區域補償 方面，有基于圖像放大、基于視頻修復(Video Inpaint)等方法。盡管提出了這么多方法， 但是這些方法在速度和效果上仍沒能做到很好的折中，比如在運動估計方面，基于塊的方 法，速度快，但是受光照影響較大，基于特征點方法，具有較好的抗光照效果，但是對局部運 動較敏感，基于位平面方法，對光照不敏感，但是速度較慢且數據存儲量較大。另外在運動濾波方面，基本都是采用傳統卡爾曼濾波或加權均值濾波，濾波的響 應性不好，有的濾波方法利用未來幀信息進行前向平滑處理，盡管濾波效果較好，但是由于 利用未來幀信息不能實時處理；無效區域補償方面，目前較好的一種方法是利用視頻修復 思想來實現，但是這種方法致命缺點是速度慢并且依賴未來幀信息，無法實時處理。因此， 對于一個魯棒的視頻穩像器而言，設計一組實時有效的運動估計、運動濾波和無效區域補 償方法顯得非常重要。最后，經對現有技術文獻的檢索發現Marius Tico在《IEEEInternational Conference on Image Processing〉〉(pp569_572,2005)上 發表"Constraint motion filtering for videostabilization”(基于約束運動濾波的視頻穩像方法，圖像處理IEEE 國際會議)，該文采用了特征點跟蹤方法及帶約束限制的卡爾曼運動濾波方法，試驗結果表 明該方法有較好的穩像效果，但是文中的運動估計采用了基于全像素的特征匹配，精度高， 但是速度慢，同時文中采用了基于勻速模型的卡爾曼運動濾波方法，當運動模型匹配時，濾 波效果較好，但是一旦模型發生變化，則濾波效果會受到很大影響，而實際攝像機在拍攝過 程中往往不符合勻速運動規律。
發明內容
本發明所要解決的技術問題是提供一種基于簡易快速全局運動參數估計的實時 視頻穩像方法，該方法實現簡單，避免了復雜的高維矩陣運算，并且估計精度較高，為低速 嵌入式平臺環境下的實時視頻穩像提供了一種非常有效的方法。為了解決以上技術問題，本發明提供了一種基于簡易快速全局運動參數估計的實 時視頻穩像方法，它包括如下步驟第一步，對當前幀進行塊分割，第二步，基于鉆石搜索法獲取每個塊的運動矢量，第三步，判斷塊運動是否異常，如果不異常則標注為有效塊，第 四步，統計所述有效塊平移量的平均值估算出全局平移量，第五步，根據所述全局平移量估 算出每一個有效塊相對于前一幀中的匹配塊的旋轉和縮放量，第六步，統計所述的旋轉和 縮放量估算出全局的旋轉和縮放量，第七步，對全局的平移、旋轉和縮放量進行運動濾波處 理，第八步，根據濾波結果進行運動補償。另外，所述第二步包括步驟1，利用積分圖特征描述每個塊內容；步驟2，以積分 圖特征誤差最小為匹配準則對每個塊進行塊匹配運動估計。其中，所述第七步濾波處理是采用粒子濾波方法進行運動濾波處理，并且所述第 七步粒子濾波方法中的重要性采樣通過自適應卡爾曼濾波方法獲取。本發明首先進行了異常塊的剔除，然后，在判斷出有效塊后，需利用這些塊的 運動參數估計出全局運動參數，經典方法是采用最小二乘法求解一個超定方程組，即 2 = (X^T1X1,其中i = [XjAsf為全局運動參數，X為前一幀中塊的坐標，X’為當前幀 中對應塊的坐標，在求解該方程時，需要求矩陣逆，該矩陣的維數一般都較高，因此運算較 復雜，并且有可能會由于計算機數值問題出現矩陣不可逆，導致無法求出全局運動參數，而 本發明利用估計出當前幀每個塊相對于前一幀塊所產生的平移、旋轉和縮放量，然后，采用 統計均值的方法求出全局運動參數，該方法實現簡單，避免了復雜的高維矩陣求逆運算，并 且估計精度較高。另外，本發明采用了基于積分圖特征的塊運動估計方法，而該塊運動估計 方法，首先將當前幀圖像分成若干塊，如8x8或16x16，將每塊在參考幀內特定搜索范圍內 進行匹配，塊與塊之間的匹配準則，傳統方法采用絕對誤差、均方誤差等，這些準則易于計 算，但是對圖像噪聲和光照變化較敏感，本發明采用了積分圖特征誤差作為匹配準則，該特 征具有運算速度快，且具有對圖像噪聲和光照變化不敏感的優點，增強了攝像設備的抗光 照和圖像噪聲的能力，提高了全局運動參數估計的魯棒性。最后，本發明設計一種基于自適 應卡爾曼濾波的概率粒子濾波方法(Particle Filter)，通過調節觀測噪聲方差，提高卡爾 曼濾波的響應速度，同時通過概率粒子濾波方法來校正卡爾曼濾波在運動模型不匹配時的 狀態估計誤差。
下面結合附圖和具體實施方式
對本發明作進一步詳細說明。圖l(a)-l(h)為本發明處理方法總體框圖。其中圖1(a)為積分圖特征描述圖；圖1(b)為運動塊的積分圖特征描述圖；圖 1(c)為塊運動估計流程圖；圖1(d)為異常運動塊和無效運動塊標注圖；圖1(e)為單個有 效塊的旋轉角度量和縮放量的估計示意圖；圖1(f)為基于有效塊的全局運動參數估計流 程圖；圖1(g)為運動濾波實現過程圖；圖1(h)為視頻穩像的總體框圖。圖2(a)_2(b)為本發明中兩種運動濾波效果比較圖。其中圖2(a)為帶約束限制的卡爾曼運動濾波方法效果圖，圖2(b)為基于自適應 卡爾曼濾波的概率粒子濾波方法效果圖。圖3(a)_(f)為本發明中視頻穩像效果圖。其中圖3(a)為原始視頻序列，圖3(b)為穩像后序列，圖3 (c)為χ方向位移量的 運動濾波效果圖，圖3(d)為y方向位移量的運動濾波效果圖，圖3(e)為旋轉角度量的運動
6濾波效果圖，圖3(f)為縮放量的運動濾波效果圖。
具體實施例方式圖l(a)-l(h)為本發明提出的一種基于簡易快速全局運動參數估計的實時視頻 穩像方法的總體框圖。各部分具體實施細節如下圖1 (a)為積分圖特征描述圖1.積分圖特征(對應的英文為Integral Image Feature)
權利要求
基于簡易快速全局運動參數估計的實時視頻穩像方法，其特征在于，第一步，對當前幀進行塊分割，第二步，基于鉆石搜索法獲取每個塊的運動向量，第三步，判斷塊運動是否異常，如果不異常則標注為有效塊，第四步，統計所述有效塊平移量的平均值估算出全局平移量，第五步，根據所述全局平移量估算出每一個有效塊相對于前一幀中的匹配塊的旋轉和縮放量，第六步，統計所述塊的旋轉和縮放量估算出全局的旋轉和縮放量，第七步，對全局的平移、旋轉和縮放量進行運動濾波處理，第八步，根據濾波結果進行運動補償。
2.根據權利要求1所述的基于簡易快速全局運動參數估計的實時視頻穩像方法，其特 征在于，所述第三步中判斷塊是否異常包括如下步驟步驟1 統計塊在χ，y方向上的運動參數的均值和方差，具體計算公式如下ux=\±vx{i)⑴L /=1sl—^hvx{i)-uxf(2)1 /=1υ,=τΣνΛ0(3)厶 一 i /=1其中，1為塊的索引值，L為塊的總數量，VX(1)為第1個塊在X方向上的運動位移，Vy(I) 為y方向上的運動位移，Ux為所有塊在χ方向上的運動位移均值，焚為χ方向上的運動位移 方差，Uy為所有塊在y方向上的運動位移均值，g為y方向上的運動位移方差；步驟2 檢驗每個塊的運動異常性，對于第k個塊，如果其χ和y方向位移量Vx (k)和 Vy (k)滿足下面任何一個公式，則該塊為異常運動塊，否則標注為有效塊，公式如下 \[vxi.k)-uxf>T*sl(5)其中，τ為閾值，一般取2. 5-4。如該塊為異常運動塊，則不參與下次均值和方差的統計；步驟3 循環步驟1和步驟2，當迭代滿足一個最大迭代次數，或當前統計出的均值與前 一次的均值相比變化很小時，停止迭代。
3.根據權利要求1或2所述的基于簡易快速全局運動參數估計的實時視頻穩像方法， 其特征在于，所述第四步統計所述有效塊平移量的平均值估算出全局平移量，所述全局平 移量包括在χ方向上的全局平移量Gx和y方向上的全局平移量Gy，具體計算公式如下ι M(6)ι M(7)其中，M為有效塊的總數，m為有效塊的索引，Vx(m)和Vy(m)分別為第m個有效塊在χ 方向和y方向上的運動位移。
4.根據權利要求3所述的基于簡易快速全局運動參數估計的實時視頻穩像方法，其特 征在于，所述第五步的第m個有效塊的旋轉角度量θ (m)通過如下公式計算其中，O4y和O4x為當前幀中心位置為(04y, o4x)的塊，Oly和Olx為在前一幀中搜索到的 最佳匹配塊中心位置，GX和Gy為估計到的所述的在X方向和y方向上全局平移量，m從1到 M，M為有效塊的總數。
5.根據權利要求3所述的基于簡易快速全局運動參數估計的實時視頻穩像方法，其特 征在于，所述第五步的第m個有效塊的縮放量S (m)通過如下公式計算Sjm)= ;(9)其中，O4y和O4x為當前幀中心位置為(04y, OJ的塊，Oly和Olx為在前一幀中搜索到的 最佳匹配塊中心位置，Gx和Gy為估計到的全局平移量。
6.根據權利要求3所述的基于簡易快速全局運動參數估計的實時視頻穩像方法，其特 征在于，所述第六步統計所述的全局旋轉和縮放量，可以通過如下公式計算得到ι MGe=IflL^m)(10)ι MGs=^Sim)(11)Mti其中，G0是全局旋轉量，Gs是全局縮放量，θ (m)是第m個有效塊的旋轉角度量，S(m) 是第m個有效塊的縮放量。
7.根據權利要求1所述的基于簡易快速全局運動參數估計的實時視頻穩像方法，其特 征在于，所述第二步基于鉆石搜索法包括步驟1，利用積分圖特征描述每個塊內容；步驟 2，以積分圖特征誤差最小為匹配準則對每個塊進行塊匹配運動估計。
8.根據權利要求7所述的基于簡易快速全局運動參數估計的實時視頻穩像方法，其特 征在于，在所述步驟2之前還包括對所述塊的特征豐富程度進行判定，由下式計算得到MT = YFB(k)(12)k=\其中，Fb (k)為塊B上的第k個積分圖特征，M為積分圖特征總數，T表示特征豐富程度， T值越大，特征越豐富，如果T小于一個最小閾值，則該塊的特征被定義為不豐富，直接標注 為無效塊，對該塊不進行所述步驟2的積分圖特征的塊匹配運動估計。
9.根據權利要求7或8所述的基于簡易快速全局運動參數估計的實時視頻穩像方法， 其特征在于，所述步驟2還包括塊匹配誤差判斷步驟，該步驟是對前后兩個塊的匹配誤差 按照如下公式進行計算M .ISAD(Ax,Ay) = Σ“⑷(13 )其中，k為積分圖特征的索引號，M為積分圖特征總數，^和Ay為位移量，B(i，j)為當 前幀中心位置為(i，j)的塊，B(i+Ax，j+Ay)為前一幀中心位置為(i+Ax，j+Ay)的塊，FB(i, j) (k)和巧㈨分別為塊B(i，j)禾口 B(i+Ax，j+Ay)上第k個積分圖特征，ISAD ( Δ x, Δ ￥)為匹配誤差值，如果該匹配誤差值大于一個最大設定值，則標注為無效塊，該塊不參與所述第四步和第六步中的全局運動參數估計。
10.根據權利要求1所述的基于簡易快速全局運動參數估計的實時視頻穩像方法，其 特征在于，所述第七步濾波處理是采用粒子濾波方法進行運動濾波處理。
11.根據權利要求10所述的基于簡易快速全局運動參數估計的實時視頻穩像方法，其 特征是，所述第七步粒子濾波方法中的重要性采樣通過自適應卡爾曼濾波方法獲取。
12.根據權利要求11所述的基于簡易快速全局運動參數估計的實時視頻穩像方法，其 特征是，所述的自適應卡爾曼濾波方法是通過判斷全局運動參數的變化劇烈程度來自適應 調節卡爾曼濾波中的觀測噪聲方差，其中調節觀測噪聲方差采用如下公式^lu = CC^llu, if Sz > Smaxif5min <Sz <^max(14) ΛΧ, if H其中，為t時刻的觀測噪聲方差，^,為t-1時刻的觀測噪聲方差；sz為時間窗內的 觀測值變化劇烈程度，當Sz越大，則在該時間窗內，觀測值變化越劇烈，否則，反之；α和β 為調節系數，α —般取0.7-0. 9，β 一般取1.1-1. 3 ;Smax為觀測值變化劇烈程度的最大閾 值，Sfflin為觀測值變化劇烈程度最小閾值。
13.根據權利要求12所述的基于簡易快速全局運動參數估計的實時視頻穩像方法，其 特征是，所述的的調節過程中的值當大于最大設定閾值時，取最大設定閾值，當小于最 小設定閾值時，取最小設定閾值。
14.根據權利要求12或13所述的基于簡易快速全局運動參數估計的實時視頻穩像方 法，其特征是，所述最大設定閾值一般取402-502之間的值，最小設定閾值一般取52-102之間 的值。
全文摘要
本發明公開了一種基于簡易快速全局運動參數估計的實時視頻穩像方法，該方法實現簡單，并且估計精度較高，為低速嵌入式平臺環境下的實時視頻穩像提供了一種非常有效的方法。它包括如下步驟第一步，對當前幀進行塊分割，第二步，基于鉆石搜索法獲取每個塊的運動矢量，第三步，判斷塊運動是否異常，如果不異常則標注為有效塊，第四步，統計所述有效塊平移量的平均值估算出全局平移量，第五步，根據所述全局平移量估算出每一個有效塊相對于前一幀中的匹配塊的旋轉和縮放量，第六步，統計所述的旋轉和縮放量估算出全局的旋轉和縮放量，第七步，對全局的平移、旋轉和縮放量進行運動濾波處理，第八步，根據濾波結果進行運動補償。
文檔編號H04N5/14GK101951463SQ201010179280
公開日2011年1月19日 申請日期2010年5月19日 優先權日2010年5月19日
發明者王競, 龔志 申請人:上海穩像信息技術有限公司