專利名稱：一種基于率失真代價和模式頻率的快速幀間模式選擇方法
技術領域：
本發明涉及一種視頻圖像幀間編碼模式選擇方法，尤其涉及一種減小 跳過宏塊和幀間宏塊搜索和計算開銷，在基本不犧牲圖像質量的條件下， 提高幀間模式選擇速度的方法，屬于計算機視覺技術領域。
背景技術：
幀間預測是視頻和圖像處理領域中一項基礎而關鍵的技術，已應用于
H.261、 H.263、 H.264、 MPEG-1、 MPEG-2和MPEG-4等國際編碼標準中。 幀間預測用于獲得兩幅圖像中宏塊之間的相互關系。目前最新的視頻編碼 國際標準H.264中采用的多模式幀間預測方法具有適用范圍廣、預測精度 高等優點，是較為理想的幀間預測方法。多模式幀間預測方法將待編碼宏 塊劃分為不同的組合，通過比較不同組合方式的編碼代價得到最優幀間編 碼模式。由于H.264標準中推薦的全模式決策方法FMD (Full Mode Decision)需要遍歷所有的組合方式，而每一種組合方式都需要進行編碼 過程中最耗時的運動估計，因此該方法的計算復雜度非常高。
多模式幀間預測包括七種模式，可以分為宏塊級和塊級預測。宏塊級 幀間預測以16X16尺寸的圖像塊為基礎，對16X16、 16X8和8X16尺 寸的圖像塊進行預測；塊級幀間預測是則以8X8尺寸的圖像塊為基礎， 對8X8、 8X4、 4X8和4X4尺寸的圖像塊進行預測。實驗表明，多模式 幀間預測能夠更加準確地描述圖像塊之間的關系，有效地提高編碼效率。因此成為當前許多應用領域中的研究熱點。
汪264標準中推薦的多模式幀間預測方法首先進行宏塊級預測，對16 X16、 16X8和8X16的圖像塊分別進行運動估計，并記錄各種模式的最 小率失真代價值；然后對8X8、 8X4、 4X8和4X4尺寸的圖像塊進行預 測。在塊級預測時，因為每一個8X8圖像塊都有4種劃分模式，而每個 圖像塊的劃分模式又是獨立的，所以必須對4個8X8尺寸的圖像塊分別 計算4種劃分的最小率失真代價值，并且每一次最小率失真代價值計算過 程中還需要進行若干次運動估計。這種窮舉式的幀間模式選擇方法運算復 雜度非常高。
發明內容
本發明的目的是提供一種快速幀間模式選擇方法。該方法可以利用已 編碼宏塊的率失真代價值和及其幀間編碼模式出現的頻率信息，在不進行 模式遍歷的情況下，直接預測得到當前編碼塊可能的幀間編碼模式或模式 集合。并且在可能編碼模式集合的預測過程中設置了提前終止條件。此外， 為了保障率失真代價值和幀間編碼模式等統計信息的準確性，該方法還通 過定期進行全模式決策來更新上述統計信息，使統計信息能夠隨視頻內容 的變化而變化，提高該方法對視頻場景的自適應性。
為實現上述目的，本發明采用下述的技術方案。其特征在于包括以下 步驟-
步驟一定期對視頻序列中的若干幀圖像進行全模式決策，得到所述 若干幀圖像中各宏塊的最優編碼模式，保存全模式決策過程中得到的所述 各宏塊的最小率失真代價值和對應的編碼模式，并統計各種編碼模式平均率失真代價值及其出現的頻率。
步驟二比較當前待編碼宏塊的跳過模式所對應的率失真代價值與步 驟一中統計得到的跳過模式平均率失真代價值，判斷當前待編碼宏塊是否 應編碼為跳過模式，如果是，則退出幀間編碼模式預測過程。
步驟三根據步驟一中得到的與當前待編碼宏塊在時間和空間上相鄰 的若干已編碼宏塊的最優編碼模式所屬的編碼模式集合，判定當前待編碼 宏塊所屬的幀間預測候選模式集合。
步驟四根據步驟一中得到的各種編碼模式的出現頻率，對步驟三中 得到的幀間預測候選模式集合內的各編碼模式進行降序排列，然后按照排 列后的順序對各編碼模式依次進行預測，在預測過程中，通過比較相應率 失真代價值與該編碼模式平均率失真代價值之間的關系，決定是否終止幀 間編碼模式的預測過程。
較優的，所述步驟二中判斷當前待編碼宏塊是否應編碼為跳過模式的 步驟具體包括
21)如果當前待編碼宏塊采用跳過模式時的率失真代價值小于步驟一中統 計得到的跳過模式的平均率失真代價值，則判斷當前待編碼宏塊應編 碼為跳過模式；
較優的，所述步驟三中判定當前待編碼宏塊所屬的幀間預測候選模式 集合的步驟具體包括
31)檢査與當前待編碼宏塊在時間和空間上相鄰的多個已編碼宏塊，如果 其編碼模式都屬于同一個自定義的編碼模式集合，則認為當前待編碼 宏塊最優的編碼模式也屬于該自定義的編碼模式集合，設置所述自定義的編碼模式集合為當前待編碼宏塊的幀間預測候選模式集合； 較優的，所述自定義的編碼模式集合包括宏塊編碼模式集合與亞宏塊 編碼模式集合，其中所述宏塊編碼模式集合中包含跳過模式、16X 16模式、 16X8模式和8X16模式，所述亞宏塊編碼模式集合中包含8X8模式、8 X4模式、4X8模式、4X4模式、Intral6模式和Intra4模式。
較優的，所述步驟四中通過比較相應率失真代價值與該編碼模式平均 率失真代價值之間的關系，決定是否終止幀間編碼模式的預測過程具體包 括
41)如果該編碼模式所對應的率失真代價值小于其平均率失真代價值，則 認為該編碼模式的率失真代價值已經可以接受，直接終止對所述幀間 預測候選模式集合內剩余編碼模式的預測。 本發明所提供的基于率失真代價和模式頻率的快速幀間模式選擇方
法可以有效減小傳統幀間全模式決策的計算開銷，并對于視頻序列內容的
變化具有較好的自適應能力。有關的測試結果表明，本方法對于各類視頻
序列的幀間模式選擇都能獲得較好的效果。
圖1是本發明基于率失真代價和模式頻率的快速幀間模式選擇流程圖； 圖2是當前塊的時間和空間相鄰塊分布示意圖；
具體實施例方式
前已述及，本發明利用視頻圖像幀間編碼模式的率失真代價值和模式 出現頻率等統計信息，以及時空相鄰塊編碼模式的相關性，通過縮小模式預測的范圍以及提前終止模式的預測過程等方法，實現了快速的幀間模式 選擇。
下面結合
本發明的實現方式，圖l中明確表示了本發明的過
程。首先，定期對視頻序列中的若干幀圖像進行全模式決策；其次，判斷
當前待編碼宏塊是否應編碼為跳過模式，如果是，則將最優編碼模式設置
為跳過模式并終止剩余模式的預測，如果否，則根據當前編碼宏塊的時間
和空間相鄰塊所屬的集合，判定當前待編碼宏塊可能的幀間預測候選模式
集合；最后，對候選模式集合內的各編碼模式按照出現頻率的降序預測，
如果預測過程中發現某個模式所對應的率失真代價值小于該模式的平均
率失真代價值，則終止候選模式集合內剩余模式的預測。
步驟一定期對視頻序列中的若干幀圖像進行全模式決策
現有的幀間模式選擇方法通常是直接采用H.264標準推薦的全模式決
策或者是某種快速幀間模式選擇方法，前者的優點是編碼效率較高，缺點
是計算復雜度太高；而后者的優點是速度快，但是精度會隨著視頻內容的
變化而降低，而且這種錯誤會蔓延。本發明中，通過定期對視頻序列中的
若干幀圖像進行全模式決策，然后在此基礎上，采用快速幀間模式選擇方
法，克服了視頻內容變化對快速幀間模式選擇方法的影響，避免了錯誤在
視頻序列中的蔓延。
步驟一的具體實施步驟如下
(1)待編碼圖像塊與參考圖像塊殘差的計算 圖像塊的殘差表征了兩個圖像塊之間的相似程度，在計算圖像塊殘差 時，采用式(1)計算出兩個圖像塊的平方差SSZ)。<formula>formula see original document page 9</formula>(i )
式(l)中MOZ^表示當前采用的編碼模式，2P表示該圖像塊編碼時采用 的量化參數，S(x,力表示當前待編碼宏塊在位置(x,力處的像素值， C(x,乂I 2尸)表示參考圖像宏塊在位置0,力處的像素值。
(2) 率失真代價值的計算
因為最終的編碼代價既包括圖像塊的失真所需的編碼位數，而且需要 包括編碼模式信息所需要的位數，所以率失真代價值采用拉格朗日函數 aflgra"g/a"/w""/on)的方法計算。在計算圖像塊殘差時，采用式(2)
計算出在特定和2尸參數下的率失真代價值。
<formula>formula see original document page 9</formula>(2)
義腳,0.85x2(,乖(3) 式(2)中的Am。m是拉格朗日因子，該因子采用式(3)的經驗公式進行 計算，7MI^(S,C,MOi^ I gP)表示在待編碼宏塊與參考宏塊在特定MOZ)￡ 和gP參數下的編碼時需要的位數，J(S,C,M9Z^lgP，&。。"表示在特定
MOZ^和2戶參數下某個編碼模式對應的率失真代價值。
(3) 最優編碼模式的選擇
最優編碼模式的選擇是通過比較式(2)計算出的各模式所對應的率失
真代價，然后選擇其中最小的率失真代價對應的編碼模式為最優編碼模
式。在選擇最優編碼模式時，采用式(4)計算出最優的編碼模式。 MO￡>￡* -argminJ(S,C,MOZ)五lg戶,;i媚朋)(4)
MO￡)￡
式(4)中MOD￡*表示最優編碼模式。步驟二判斷當前待編碼宏塊是否應編碼為跳過模式
跳過宏塊是指當前待編碼宏塊與參考圖像中搜索窗口內的所有宏塊匹 配后，發現運動矢量為(0， 0)的參考宏塊的匹配效果最佳，而且其殘差 塊在量化之后的結果為0 (即無需特別的位數來編碼殘差信息)，這類待編 碼宏塊可以被編碼為跳過宏塊。跳過模式是幀間編碼模式中最簡單的一種 編碼模式，其編碼所用的位數最少，主要適用于視頻圖像中的背景區域或
者是靜止的目標區域。按照H.264標準中推薦的算法，跳過模式的確定需
要在全模式搜索之后，才能通過比較最小率失真代價值得到。本發明中， 針對采用傳統跳過宏塊確定方法計算復雜度高的問題，提出了一種快速跳 過宏塊確定方法。該方法能夠根據對不同編碼模式最小率失真代價值的統 計結果，通過比較待編碼宏塊跳過模式的率失真代價值與已編碼跳過宏塊 的率失真代價值平均值，直接判定當前待編碼宏塊是否應該編碼為跳過模式。
步驟二的具體實施步驟如下
(1)計算當前待編碼宏塊采用跳過模式所對應的率失真代價值
宏塊跳過模式對應率失真代價值的計算是式(2)率失真代價計算公
式的一種特例。在計算圖像塊殘差時，采用式(5)計算當前待編碼宏塊
在跳過模式和特定2^參數下的率失真代價值。
J,i^卿S,C尸)+ A秦(5)
式(5)中的義M皿是拉格朗日因子，該因子采用式(3)的經驗公式進行 計算，MD(S,C,M/i312P)表示跳過編碼模式和特定2P參數下待編碼宏塊 與參考宏塊的平方差，J(SK/P)表示跳過模式對應的率失真代價值。(2)判斷當前待編碼宏塊是否應編碼為跳過模式
當前待編碼宏塊是否應編碼為跳過模式的判定依據是通過比較式(5)
得到的跳過模式的率失真代價值與已編碼跳過宏塊的率失真代價值平均
值實現的，具體實現時，采用式(6)判定。
M9"￡* j , 、 乂 (6、
式(6)中的Me""0SK/P)表示已編碼的跳過宏塊的平均率失真代價值。 步驟三判定當前待編碼宏塊可能的幀間預測候選模式集合
對于圖像中的每一個宏塊，H.264中推薦的全模式搜索方法需要遍歷所
有模式后，才能夠得到最優編碼模式，需要遍歷這些模式包括 {16xl6,16x8,8xl6,8x8,8x4,4x8，4x4,/Wral6,/"/ra4}。本發明中，首先將這
些模式分為兩個集合，然后利用宏塊編碼模式在時間和空間上的相關性， 通過比較待編碼宏塊時間和空間相鄰塊的編碼模式所屬的模式集合，判定 待編碼宏塊可能的候選模式集合，從而減小編碼模式遍歷的范圍，提高編 碼模式選擇的速度。
步驟三的具體實施步驟如下
(1)編碼模式的分類
根據對不同編碼模式紋理和運動特性的分析，將編碼模式分為宏塊級
編碼模式集合與亞宏塊級編碼模式集合。編碼模式的分類如式(7)所示。
細c/證={5^,16x16,16x8,8x16}
^Mfi一c/證={8x8， 8x4， 4x8,4x4,6， Mra4} 、 乂
式(7)中的/"加16和/"加4是兩種幀內編碼模式，因為其編碼特性與亞
宏塊級的幀間編碼模式相似，所以將其劃分在亞宏塊級編碼模式集合中。(2)候選模式集合的預測
候選模式集合的預測通過檢查待編碼宏塊的時間和空間相鄰塊的編碼 模式所屬的模式集合實現，附圖2中列出了時間和空間相鄰塊的位置關系， 如果發現待編碼宏塊的所有時間和空間相鄰塊的編碼模式屬于同一個集 合，則認為待編碼宏塊的最優編碼模式在該模式集合內。具體實現時，采
用式(8)判定。
<formula>formula see original document page 12</formula>
式(8)中的"X"表示當前待編碼宏塊。 步驟四對候選模式集合內的各編碼模式按照出現頻率的降序預測 在步驟一中，通過全模式決策已經得到了各種編碼模式出現的頻率等統計 信息，在對步驟三中得到的候選模式集合檢查時，根據這一統計信息，按 照候選集合中各編碼模式出現頻率的降序來檢查每個模式。在對編碼模式 檢查過程中，如果發現某個模式所對應的率失真代價值小于該模式的平均 率失真代價值(從步驟一中得到)，則認為該模式的率失真代價值已經可 以接受，將其設置為最優編碼模式并直接終止候選模式集合內剩余模式的 預測。
以上公開的僅為本發明的具體實例，根據本發明提供的思想，本領域 的技術人員能思及的變化，都應落入本發明的保護范圍內。
權利要求
1、一種基于率失真代價和模式頻率的快速幀間模式選擇方法，其特征在于包括以下步驟步驟一定期對視頻序列中的若干幀圖像進行全模式決策，得到所述若干幀圖像中各宏塊的最優編碼模式，保存全模式決策過程中得到的所述各宏塊的最小率失真代價值和對應的編碼模式，并統計各種編碼模式平均率失真代價值及其出現的頻率；步驟二比較當前待編碼宏塊的跳過模式所對應的率失真代價值與步驟一中統計得到的跳過模式平均率失真代價值，判斷當前待編碼宏塊是否應編碼為跳過模式，如果是，則退出幀間編碼模式預測過程；步驟三根據步驟一中得到的與當前待編碼宏塊在時間和空間上相鄰的若干已編碼宏塊的最優編碼模式所屬的編碼模式集合，判定當前待編碼宏塊所屬的幀間預測候選模式集合；步驟四根據步驟一中得到的各種編碼模式的出現頻率，對步驟三中得到的幀間預測候選模式集合內的各編碼模式進行降序排列，然后按照排列后的順序對各編碼模式依次進行預測，在預測過程中，通過比較相應率失真代價值與該編碼模式平均率失真代價值之間的關系，決定是否終止幀間編碼模式的預測過程。
2、 如權利要求1所述的方法，其特征在于所述步驟二中判斷當前待 編碼宏塊是否應編碼為跳過模式的步驟具體包括如果當前待編碼宏塊采用跳過模式時的率失真代價值小于步驟一中統 計得到的跳過模式的平均率失真代價值，則判斷當前待編碼宏塊應編碼為跳過模式。
3、 如權利要求1所述的方法，其特征在于所述步驟三中判定當前待 編碼宏塊所屬的幀間預測候選模式集合的步驟具體包括檢査與當前待編碼宏塊在時間和空間上相鄰的多個已編碼宏塊，如果 其編碼模式都屬于同一個自定義的編碼模式集合，則認為當前待編碼宏塊 最優的編碼模式也屬于該自定義的編碼模式集合，設置所述自定義的編碼 模式集合為當前待編碼宏塊的幀間預測候選模式集合。
4、 如權利要求3所述的方法，其特征在于所述自定義的編碼模式集 合包括宏塊編碼模式集合與亞宏塊編碼模式集合，其中所述宏塊編碼模式 集合中包含跳過模式、16X16模式、16X8模式和8X16模式，所述亞宏 塊編碼模式集合中包含8X8模式、8X4模式、4X8模式、4X4模式、Intra16 模式和Intra4模式。
5、 如權利要求1所述的方法，其特征在于所述步驟四中通過比較相 應率失真代價值與該編碼模式平均率失真代價值之間的關系，決定是否終止幀間編碼模式的預測過程具體包括如果該編碼模式所對應的率失真代價值小于其平均率失真代價值，則 認為該編碼模式的率失真代價值己經可以接受，直接終止對所述幀間預測 候選模式集合內剩余編碼模式的預測。
全文摘要
本發明首先利用已編碼各類宏塊的率失真代價的平均值，通過比較待編碼宏塊跳過模式的率失真代價值與之的關系，預測當前宏塊是否應編碼為跳過宏塊，然后通過檢查時間和空間上已編碼相鄰宏塊所屬的模式集合，預測當前待編碼宏塊可能的幀間編碼模式集合，并利用已編碼各類宏塊幀間編碼模式的出現頻率，從最可能的編碼模式開始進行預測，并且在預測過程中，通過比較率失真代價值與該模式平均率失真代價值之間的關系，決定是否提前終止幀間編碼模式的預測過程。本發明通過利用通過利用宏塊編碼模式的統計信息，以及宏塊之間編碼模式的相關性，在不進行模式遍歷的情況下，直接預測得到當前編碼塊可能的幀間編碼模式集合。
文檔編號H04N7/26GK101448159SQ20091000071
公開日2009年6月3日 申請日期2009年1月8日 優先權日2009年1月8日
發明者力 周, 波 李, 煒 李, 范圣印, 陳志高 申請人:北京航空航天大學