專利名稱：基于關鍵幀圖像質量加權的無參考視頻質量客觀評價方法
技術領域：
本發明涉及一種視頻通信質量的評價方法，確切地說，涉及一種面向現有網絡的無參考視頻質量的自動評測方法，用于解決在無原始視頻參考情況下，客觀評價接收端視頻質量的復雜度和準確性問題，屬于視頻通信技術領域。
背景技術：
目前，視頻質量評價主要采用兩種形式主觀評價和客觀評價。主觀評價方法需要由一些人員按照設定規則進行評分，該方法工作可靠，但是操作復雜、費時，并不適合無線視頻業務等實時監控的應用場合。客觀評價方法是通過儀器或軟件自動分析視頻質量而給出量化的評價分數，其評價結果具有數值性、易操作性和可重復性等特點，已成為視頻質量研究的熱點。根據有無原始視頻作為參考，通常將客觀評價方法分為三類全參考型 FR (Full-Reference),部分參考型 RR(Reduce-Reference)和無參考型 NR(No-Reference)。 FR評價方法已經取得了很好的性能，但是，由于該類算法需要完整的原始視頻作參考，這在接收終端往往是無法實現或不存在的，致使實際應用范圍很受限制。所以，國內外越來越多的高等院校及科研機構開始從事NR評價算法的研究。相對于FR評價而言，NR方法的實用價值更大，但研究比較困難，取得的成果十分有限，評價效果也不甚理想。實際網絡中，影響視頻通信質量的因素主要包括兩類失真一是視頻編碼技術帶來的失真(如方塊效應、模糊、噪聲等)；二是傳輸網絡的數據丟包或時延帶來的失真(如馬賽克、抖動等)。因此，大部分NR客觀評價算法的核心思想是描述上述損傷的若干種特征參數，再確定每個特征參數與客觀評分之間的函數。NR客觀評價的另一類重要方法是基于視頻質量的先驗知識進行評價，即首先需要建立基于神經網絡NN(Neural Network)或者支持向量機SVM(Support Vector Machine)的視頻質量評價模型,然后根據該視頻的若干可得到的特征參數進行分類識別，從而得到視頻質量評分。下面簡介這兩類評價方法的具體技術狀況第一種是通過檢測典型劣化特征進行評價目前對劣化特征的檢測主要集中在方塊、模糊等空域失真或時域運動性的單一指標上，例如，文獻《基于塊編碼視頻的無參考質量評估[J] 》(刊于“電子與信息學報”，28 (4)，2006)通過分析可察覺的方塊效應來評價視頻質量；文獻《視頻質量動態性指標評價及應用[J].》(刊于“北京郵電大學學報”，31(6)， 2008)提出一種綜合描述視頻背景運動信息和對象運動信息的視頻動態性評價方法，并由此推導出平滑度指標用于視頻質量評價。此類檢測算法具有較強的“素材依賴性”或“場景依賴性”，即只對特定素材的典型劣化形態及劣化程度具有一定準確性，一旦假設條件不同，檢測性能就會下降，甚至失效。與單一類型失真檢測相比，多類型失真檢測能夠更全面地表達視頻的質量特性, 因此，文獻《(No-Reference Quality Metric for Degraded and Enhanced Video[C]》(刊于“Proceedings of SPIE”2003)中聯合檢測的特征失真包括方塊效應、震蕩效應、鉗位、
5噪聲和對比度等。視頻質量專家組VQEG曾對the Psytechnics NR model和SwissQual’s NR model 進行過測試(參見 VQEG_Multimedia_PhaseI_Final_Report, 2008)。這兩種算法正是基于檢測空域和時域的多種類型失真進行質量評價，但是，參見效果并不理想，算法仍對視頻格式和內容有一定的依賴性，而且考慮的失真類型越多，算法復雜度越高。第二種是利用視頻質量先驗知識進行評價=Mohamed等人把網絡參數(如丟包率、 端到端時延、抖動)和編碼參數(如比特率、幀率、編碼類型)等作為神經網絡的輸入節點， 把質量評分作為輸出節點，經過訓練后的神經網絡可以根據各參數直接預測視頻質量(參見《A Study of Real-time Packet Video Quality Using Random Neural Networks[J]》 干丨J 于“ IEEE Transactions on. Circuits andSystems for Video Technology，，12 (12), 2002)。然而，神經網絡擬合的函數不是最優的，會造成過學習問題，即泛化能力差，評價準石角度不高° 文獻《No-reference video quality measurement with support vector regression [J]))(刊于 “ International Journal of Neural Systems” 19 (6), 2009)利用各種特征提取方法量化視頻質量，并對支持向量回歸模型進行訓練，以實現待測視頻的質量預測。此方法利用了 SVM，盡管泛化能力較好，但是其參數不容易調整，計算量較大。由上述分析可見，目前已有的NR評價方法在許多方面還存在不盡人意之處，一些算法對視頻格式和內容有依賴性，一些算法效果尚可，但是，算法復雜度高而不適宜應用， 一些算法簡單，但泛化能力差或精度不理想等等。同時，上述視頻質量評價方法往往只取單幀圖像質量的平均值作為評價結果，未考慮視頻運動信息和各幀圖像質量劣化程度不同的影響，不能很好地與實際主觀感覺相吻合。為此，申請人對相關技術進行了研究，并將研究成果《一種用于視頻質量評價的關鍵幀的選取方法》申請了中國發明專利(申請號為 201010609119. 0)，以降低對視頻進行逐幀評價的計算復雜度。
發明內容
有鑒于此，本發明的目的是針對現有的視頻質量評測技術存在的素材/場景依賴性大、算法復雜度高、泛化能力差和單幀圖像質量簡單平均等缺陷，在上述專利申請“一種用于視頻質量評價的關鍵幀的選取方法”的基礎上，提供一種基于關鍵幀圖像質量加權的無參考視頻質量客觀評價方法。該方法充分考慮視頻運動信息、人眼視覺特性，以及不同幀的圖像質量對整體視頻質量的不同作用，在保證評測性能的前提下，能夠降低計算復雜度， 適用于現有網絡各種視頻應用的自動評測，且操作步驟簡單，易于集成，在視頻質量評測應用中具有較好的推廣價值。為了達到上述目的，本發明提供了一種用關鍵幀圖像質量加權的無參考視頻質量的客觀評價方法，其特征在于首先依據基于人眼興趣加權的運動劇烈程度方法初步選取關鍵幀，然后通過相關性分析將初步選取的關鍵幀分為場景切換型關鍵幀和非場景切換型關鍵幀；再對非場景切換型關鍵幀評價圖像質量，并根據該評價結果將非場景切換型關鍵幀細分為內容變化型關鍵幀和質量變化型關鍵幀；最后利用質量變化型關鍵幀的持續時間因子和惡化頻率因子對其單幀質量進行加權求和計算，得到整個視頻序列的質量評價結果。所述方法包括下列步驟(I)從待評價視頻序列中選取出非場景切換型關鍵幀先依據每幀圖像的運動劇烈程度初步選取關鍵幀，再分析這些關鍵幀之間的相關性，剔除其中與視頻質量無關的場景切換型關鍵幀；(2)評價非場景切換型關鍵幀的圖像質量和二次選取對非場景切換型關鍵幀圖像進行小波變換，并檢測小波系數的統計特性，計算與評價其圖像質量；再以該評價結果進行關鍵幀的二次選取，區分圖像質量下降的質量變化型關鍵幀和圖像質量未下降、但圖像內容與前后幀發生變化的內容變化型關鍵幀；(3)采用對質量變化型關鍵幀的圖像質量加權計算方法評價視頻質量其中，兩個加權因子分別依據質量變化型關鍵幀的持續時長及其占非場景切換型關鍵幀數量的比例，用于考慮視頻質量較差的幀的持續時間及其出現頻率對人眼視覺感知造成的影響。所述步驟(I)進一步包括下列操作內容(11)將待評價視頻序列轉化為統一的歐洲電視系統的顏色編碼YUV視頻格式，然后按順序對每幀的圖像進行分塊，將當前幀的圖像塊與前一幀的相同位置圖像塊之間亮度值的差值矩陣中的所有元素絕對值之和除以該圖像塊的總像素值的商，作為當前幀的各個圖像塊的運動劇烈程度的計算公式
權利要求
1.一種用關鍵幀圖像質量加權的無參考視頻質量的客觀評價方法，其特征在于首先依據基于人眼興趣加權的運動劇烈程度方法初步選取關鍵幀，然后通過相關性分析將初步選取的關鍵幀分為場景切換型關鍵幀和非場景切換型關鍵幀；再對非場景切換型關鍵幀評價圖像質量，并根據該評價結果將非場景切換型關鍵幀細分為內容變化型關鍵幀和質量變化型關鍵幀；最后利用質量變化型關鍵幀的持續時間因子和惡化頻率因子對其單幀質量進行加權求和計算，得到整個視頻序列的質量評價結果。
2.根據權利要求I所述的方法，其特征在于所述方法包括下列步驟(1)從待評價視頻序列中選取出非場景切換型關鍵幀先依據每幀圖像的運動劇烈程度初步選取關鍵幀，再分析這些關鍵幀之間的相關性，剔除其中與視頻質量無關的場景切換型關鍵巾貞;(2)評價非場景切換型關鍵幀的圖像質量和二次選取對非場景切換型關鍵幀圖像進行小波變換，并檢測小波系數的統計特性，計算與評價其圖像質量；再以該評價結果進行關鍵幀的二次選取，區分圖像質量下降的質量變化型關鍵幀和圖像質量未下降、但圖像內容與前后幀發生變化的內容變化型關鍵幀；(3)采用對質量變化型關鍵幀的圖像質量加權計算方法評價視頻質量其中，兩個加權因子分別依據質量變化型關鍵幀的持續時長及其占非場景切換型關鍵幀數量的比例，用于考慮視頻質量較差的幀的持續時間及其出現頻率對人眼視覺感知造成的影響。
3.根據權利要求2所述的方法，其特征在于所述步驟(I)進一步包括下列操作內容:(11)將待評價視頻序列轉化為統一的歐洲電視系統的顏色編碼YUV視頻格式，然后按順序對每幀的圖像進行分塊，將當前幀的圖像塊與前一幀的相同位置圖像塊之間亮度值的差值矩陣中的所有元素絕對值之和除以該圖像塊的總像素值的商，作為當前幀的各個圖像 \)塊的運動劇烈程度的計算公式 式中，M、N、Mp、Np、i、j和k皆為自然數，M與N分別是每幀圖像的寬度與高度的像素值，Mp 和Np分別是分塊后的每個圖像塊的寬度與高度的像素值，且M和N分別為Mp和Np的整數倍，MpXNp為圖像塊的總像素值；i和j分別是圖像塊在幀中的橫坐標與縱坐標，其最大值 M N分別為&一和f ;fk(m，n)和LOiun)分別為該步驟讀取的第k幀和第(k-1)幀中坐標為(m, n)的像素的亮度值；(12)按照下述公式計算每幀圖像總體運動劇烈程度 尋，乃’式中， Im為考慮人眼興趣的每個圖像塊的權重因子，若定義每幀圖像中心坐標為(}，})，則位于不同位置的圖像塊的權重因子Iy的計算公式分別為
4.根據權利要求3所述的方法，其特征在于所述步驟(13)包括下列兩種操作內容 (13A)若第k巾貞為非場景切換型關鍵巾貞，即keyframe [I] = k,則應同時滿足以下三個篩選條件A，第k幀的總體運動劇烈程度MAk應滿足下述兩式之一
5.根據權利要求2所述的方法，其特征在于所述步驟(2)進一步包括下列操作內容(21)采用多分辨率分析的小波快速算法，即Mallat算法對非場景切換型關鍵幀圖像進行兩層小波分解先進行一層小波分解，得到四個子圖低頻LL1、低高頻LH1、高低頻HL1 和高頻HH1，再對低頻LL1子圖進行二層小波分解，得到四個子圖低頻LL2、低高頻LH2、高低頻HL2、高頻HH2 ;在每個尺度下，LLw子圖的小波系數/w°(m, )都包含前一階段的低頻信息， 而仏丄^^叫子圖的小波系數/么^^)、、/W3(w, )也分別包含橫向、縱向和對角方向的高頻邊緣信息；式中，字符的上標數字與下標w分別是小波分解后的子圖索引序號和小波分解層數；(22)將HL2子圖的小波系數水平分割為四個子帶fhl fh4 10^) = /^(40-1) + "^),式中，/2(40-1) + "^)是坐標為(4(m-l)+x, n)的像素的小波系數，fhx(m，n)是分割后的子帶對應(m，n)處的小波系數，子帶序號x = 1，2，3，4 ;(23)分別計算四個子帶fhl fh4飽方蓋 ，再計算垂直方向的失真度(J2fQv=——rr，I值與I偏離越大，表明該非場景切換型關鍵幀的圖像垂直方向 mean(afhi,afh2,afJ失真越大；(24)將LH2子圖的小波系數垂直分割為四個子帶fvl fv4
6.根據權利要求2所述的方法，其特征在于所述步驟(3)中，所述對質量變化型關鍵 幀圖像質量進行加權衡量的操作包括下列內容(31)因質量差的關鍵幀持續時間越長，對人眼視覺感知的影響越大，故定義持續時間 因子t為兩個相鄰的質量變化型關鍵幀的幀序號差的倒數，則計算第q個質量變化型關鍵幀的持續時間因子~
全文摘要
一種用關鍵幀圖像質量加權的無參考視頻質量的客觀評價方法，先依據基于人眼興趣加權的運動劇烈程度方法初步選取關鍵幀，然后通過相關性分析將初步選取的關鍵幀分為場景切換型關鍵幀和非場景切換型關鍵幀；再對非場景切換型關鍵幀評價圖像質量，并根據該評價結果將非場景切換型關鍵幀細分為內容變化型關鍵幀和質量變化型關鍵幀；最后利用質量變化型關鍵幀的持續時間因子和惡化頻率因子對其單幀質量進行加權求和計算，得到整個視頻序列的質量評價結果。本發明解決了現有的評測技術不能與實際主觀感覺相吻合的缺陷，在保證評測性能前提下，能夠降低計算復雜度，適用于現有網絡各種視頻應用的自動評測，且操作步驟簡單，易于集成。
文檔編號H04N17/02GK102611910SQ201110021600
公開日2012年7月25日 申請日期2011年1月19日 優先權日2011年1月19日
發明者劉勇, 徐靜濤, 李湘平, 杜海清, 胡文, 許克輝, 郭暢 申請人:北京東方文駿軟件科技有限責任公司, 北京郵電大學