一種基于能量和紋理分析的無參考圖像客觀質量評價方法與流程

本發明屬于計算機視覺領域，尤其涉及一種基于能量和紋理分析的無參考圖像客觀質量評價方法。
背景技術：
：數字圖像在采集、存儲、傳輸過程中不可避免會遭受損傷，質量的下降不僅影響視覺感知效果，還降低了圖像通信中各個環節的處理效率。在圖像質量評價方法中，主要采用兩種方法：主觀評價和客觀評價。主觀實驗方法最準確最可靠，但費時費力且無法實現嵌入式處理。目前研究主要集中在客觀算法，獲得符合人眼視覺系統且簡單精準是目前客觀質量評價方法研究的主要目標。實際圖像處理領域中，大多無法獲取損失圖像的原始信息。在圖像采集系統、實時監控系統、網絡傳輸系統等，對圖像評價的實時要求使得無參客觀質量評價算法極為重要。目前無參考圖像質量評價方法大體可分為3類:1)指定失真類型，該類方法采用測量已知類型的特有失真效果來評價圖像質量，但有限的失真類型描述局限了該類算法的應用。2)基于訓練學習的方法。這類方法提取圖像的感知特征，然后利用訓練學習算法來評價圖像質量，其性能與提取的特征有直接關系，故提取的特征是否精確全面決定了該類方法的優劣性。3)基于自然場景統計模型的方法。該方法假設圖像只是所有圖像信息的一個微小子集，然后試圖通過尋找兩者之間的差異來評價圖像質量。目前的這些算法提取的失真特征或統計特征十分有限，無法全面概括圖像失真信息；其次人眼視覺中每種特征的表現與圖像內容緊密相關，如果忽略圖像內容紋理和復雜度，客觀評價算法的評價結果會與主觀視覺存在一定偏差。技術實現要素：本發明的主要目的是提供一種無參考圖像質量評價方法，可以自動化、全面地測試圖像質量，提高評價結果與主觀視覺的一致性。為實現上述目的，本發明采用如下的技術方案：一種基于能量和紋理分析的無參考圖像客觀質量評價方法包括以下步驟：步驟S1、獲取的失真圖像；步驟S2、對失真圖像進行損傷特征統計；步驟S3、計算失真圖像的小波能量差；步驟S4、計算失真圖像的紋理特征；步驟S5、采用BP神經網絡學習建立提取的損傷表現特征、小波能量差和紋理特征和測試圖像的主觀評價分數之間的映射關系，得到圖像質量評價。作為優選，所述損傷特征統計包含：塊效應、模糊效應和噪聲因子。作為優選，步驟S3具體為：對失真圖像建立小波無損能量模型，對測試圖像計算損傷能量譜，利用其第一級、第二級能量按照無損能量模型預測該圖像的第三級～第八級無損能量表現，比較損傷圖像的原能量和還原能量之間的差別，得到小波能量差。作為優選，步驟S4具體為：統計圖像灰度共生矩陣，計算分別反映紋理均勻度、紋理平滑度和紋理的線性相關性的8個特征：相異DIS，對比度CON，反差INV，逆差距IDM，角二階矩UNI，熵ENT，相關性COR，最大概率MAX。本發明的創新點在于：結合損傷表現與小波能量差來解決采用傳統特征方法的局限性，添加紋理分析來提高圖像評價算法與視覺感知的一致性。本發明的理論依據是:解決了傳統方法中直接將損傷表現或者統計特征與主觀評價映射的局限性，加入小波能量差，從宏觀角度彌補損傷表現統計的不足；模擬人眼視覺系統中圖像背景對損傷表現的影響，提出圖像紋理分析，來自于灰度共生矩陣，分別從紋理均勻度，紋理平滑度和紋理的線性相關性三個角度提取圖像紋理特征。本發明利用統計的小波能量差作為宏觀特征來補充失真特征檢測，從失真方面和統計方面共同表述圖像損傷；然后根據視覺感知特性，提取紋理信息來描述損傷特征表現與圖像背景的關系。經過大量實驗嚴重，本發明的客觀評價結果與主觀評價有很高的一致性，且耗時少，滿足圖像質量評價應用場景的普適性。附圖說明圖1：系統框圖；圖2：跟蹤流程圖；圖3：結合小波能量和紋理分析的圖像質量評價原理框圖；圖4：塊效應檢測原理框圖；圖5：噪聲統計分布圖；圖6：小波子帶能量序號示意圖圖；圖7：自然無損圖像能量分布圖。具體實施方式本發明無參考圖像質量評價方法的技術方案如圖1、圖2和圖3所示。本發明模擬人眼視覺系統，檢測最直觀的損傷表現。為了解決損傷統計不全面的局限性，由自然無損圖像建立小波能量模型，與其對比得到損傷圖像的能量差別作為宏觀特征來彌補未描述到的損傷表現。考慮到損傷特征的表現不獨立存在，與圖像內容有極大相關性，引入紋理分析來解決圖像內容對上述特征的掩蓋問題，在此利用灰度共生矩陣的衍生特征來代表圖像的紋理信息和內容活動性。最后由BP神經網絡學習建立提取的失真因子、能量、紋理信息和主觀分數之間的映射關系，得到圖像質量評價方法。方案包括如下技術內容：1、小波變換：通過空間和頻率的局部變換有效地從信號中提取信息。可以通過伸縮和平移等運算功對函數或信號進行多尺度的細化分析，是進行信號時頻分析和處理的理想工具。2、損傷表現檢測：一般針對常見的圖像損傷表現，例如塊效應、噪聲、振鈴效應和模糊效應，從像素域或全局進行檢測。3、紋理特征：由基于灰度共生矩陣來表示，可以反映圖像中關于方向與間隔的像素變化。根據共生矩陣結構分布狀況，分析圖像像素排列規律與局部特征，將其衍生特征作為表示分析圖像紋理信息的基本數據。4、BP神經網絡：BP神經網絡是采用誤差反向傳播算法的多層前饋人工神經網絡，通過學習來確定網絡的權值，有很強的對環境的自適應和對外界事物的自學習能力。具體方案如下：利用LIVE圖像質量評價數據庫和TID2008數據庫的各類失真圖像進行損傷表現統計、小波能量差預測、紋理分析，最后輸入BP神經網絡，得到客觀質量評價算法。具體步驟如下：1、損傷特征統計：從人眼視覺系統出發，統計最常見的損傷表現，包括塊效應、模糊效應和噪聲。1)塊效應：塊效應檢測的關鍵步驟如圖4所示。以塊為單位遍歷測試圖像的小波LH、HL子帶，保留塊邊界，通過判斷塊邊界兩側的色度差剔除偽塊效應，減少干擾，然后按照塊效應的嚴重性將塊效應分為第一類與第二類。最終由第一類塊效應和第二類塊效應的塊邊界小波系數、相鄰塊色度分量差別給出塊效應測量值BLOCK。2)不同層小波系數的乘積可有效提取有用信號，抑制噪聲對模糊效應測量的干擾。利用第一和第二層小波系數構建的清晰度判別函數，如式(1)，其中，其中W1代表第一層小波子帶，W2代表第二層小波子帶，I＝1,2,3分別代表LH、HL和HH子帶，Blur為模糊效應檢測結果。3)遍歷圖像的每個像素及其3*3鄰域，記錄中心像素i和其鄰域平均灰度j為特征二元組(i，j)，累積二元組(i，j)在整幅圖像中的出現頻數I(i，j)。以i為橫軸，j為縱軸，標記所有(i，j)。如圖5，無損圖像的數據分布落在y＝x周圍；噪聲圖像的數據分布雜亂。噪點越嚴重，數據分布越分散。以y＝x為中心，以y偏離x五個像素劃定判斷噪聲標準。噪聲檢測函數如式(2)，其中Noise為該圖像噪聲檢測結果。2、小波能量差度量：計算小波子帶能量，如式(3)，其中，E為子帶能量，T為子帶像素總數，W為子帶系數，s為尺度數，I為方向數，為防止對數運算中W趨近于0時所造成的能量偏差及保證子帶能量的線性分布，Φ為調整因子，取0.05。將同一尺度的LH和HL子帶能量的均值作為一級能量Es輸出。如圖6，對多次分解的小波子帶進行序號安排，得到平滑過渡的自然無損圖像能量譜，圖7為29幅無損圖像的小波能量譜。提取能量差的核心思想是利用目前損傷圖像的一部分來還原其無損圖像的能量分布，以便比較原始圖像與損傷圖像之間的差別。在此，利用損傷圖像能量譜的1、2級來還原3～8級小波能量，作為其原始圖像的能量分布。具體步驟如下：1)利用矩陣變換，模擬圖7中的小波能量關系，利用式(4)建立自然圖像小波能量分布模型。Hs為第s尺度的預測矩陣；s為尺度數，取值3、2、1，分別表示第3、2、1層小波能量；Is表示自然無損圖像第s層的子帶能量；I4為自然無損圖像第4尺度的子帶能量。2)對失真圖像第4尺度的子帶能量D4和式(5)中求得的Hs系數矩陣預測其相應理想圖像的子帶能量Ps。Ps＝D4·Hs(5)3)當圖像失真很嚴重時，第4尺度上的1、2級能量也會發生較大變化。如若用這些變化較大的值進行預測則會傳遞誤差，為防止這種情況，對預測值D4進行調整，如式(6)，其中u4為失真圖像D4的子帶均值；U4和avg為自然無損圖像小波第四尺度子帶系數的最小值和平均值。。Ifu4≤U4,ThenD4＝avg(6)于是根據失真圖像的Ps和Es得到小波能量差，如式(7)。D代表該圖像小波能量差，s代表小波能量級數，Ps和Es分別為還原能量和圖像原能量。3、紋理特征：灰度共生矩陣Pd(i,j)反映圖像中關于方向與間隔的像素變化，其中，Pd(i,j)為從灰度級i的點離開某個固定的位置關系d＝(Dx,Dy)到達灰度為j的概率，L表示圖像的灰度級，d表示兩個像素間的空間位置關系，θ是灰度共生矩陣生成的方向。根據共生矩陣結構分布狀況，分析圖像像素排列規律與局部特征，將其衍生特征作為表示分析圖像紋理信息的基本數據。考慮到衍生的多個特征存在一定相關性，為了去除冗余，選取了分別反映紋理均勻度，紋理平滑度和紋理的線性相關性的8個特征：相異DIS，對比度CON，反差INV，逆差距IDM，角二階矩UNI，熵ENT，相關性COR，最大概率MAX，分別由式(8)至式(15)得到。MAX＝max(Pd(i,j))，(15)實施例1基于上述本發明的技術方案，通過評價系統統計失真圖像的各類特征，輸入神經網絡由計算機訓練處理得到圖像評價方法。其方法步驟為：1)利用Itti視覺顯著模型計算圖像視覺顯著圖，在一定閾值條件下，選取視覺顯著區域，本發明將閾值設定為0.0095。并對圖像進行4級小波變換，小波基選取sym8。2)在圖像視覺顯著區域內進行損傷表現統計，結合小波子帶系數、圖像色度和亮度檢測塊效應、模糊效應和噪聲因子，將其作為評價方法的基礎特征。3)通過LIVE圖像庫29幅自然圖像建立小波無損能量模型，對測試圖像計算損傷能量譜，利用其第一級、第二級能量按照無損能量模型預測該圖像的第三級～第八級無損能量表現，比較損傷圖像的原能量和還原能量之間的差別，將此能量差作為宏觀特征來彌補損失特征提取的不足。4)統計圖像灰度共生矩陣，計算分別反映紋理均勻度，紋理平滑度和紋理的線性相關性的8個特征：相異DIS，對比度CON，反差INV，逆差距IDM，角二階矩UNI，熵ENT，相關性COR，最大概率MAX。將他們作為代表圖像紋理信息的特征。5)建立三層BP神經網絡，包含輸入層、隱含層和輸出層，其中隱含層包含17個神經元。將三種損傷表現特征(塊效應、模糊效應和噪聲因子)、小波能量差和8個紋理特征作為輸入節點，將測試圖像的主觀評價分數作為輸出節點，訓練得到映射關系，該關系就是本發現的無參圖像質量方法。6)利用LIVE圖像庫和TID2008圖像庫的測試圖像對本方法進行圖像質量評價，采用SROCC表示評價分數與主觀分數之間的相關性，值為0代表完全不相關，為1代表完全相關。平均1000此測試結果，并與目前的優秀評價方法比較，如下表，可以看出本發明的方法能夠精準地評價圖像質量，符合人眼視覺系統，且不局限于某種失真類型，具有普適性。TABLEI.SROCCAMONG1000TRIALSONTHELIVEIQADATABASEJP2KJPEGNoiseBlurFFPSNR0.89900.84840.98350.80760.8986SSIM0.95100.91730.96970.95130.9555VIF0.95150.91040.98440.97220.9631BIQI0.85510.77670.97640.92580.7695DIIVINE0.93520.89210.98280.95510.9096BLIINDS-II0.94620.93500.96340.93360.8992BRISQUE0.94570.92500.98920.95110.9028SSEQ0.94200.95100.97840.94830.9035本發明0.95900.98140.99080.98160.9811TABLEII.LCCAMONG1000TRIALSONTHELIVEIQADATABASEJP2KJPEGNoiseBlurFFPSNR0.88370.85150.98170.80060.8939SSIM0.96010.94850.98610.95370.9616VIF0.96640.94780.99240.97740.9698BIQI0.84140.76030.97320.91180.7342DIIVINE0.94090.90970.97440.93930.9128BLIINDS-II0.94930.95050.96140.93750.9079BRISQUE0.94720.93300.98830.94630.9142SSEQ0.94640.97020.98060.96070.9198本發明0.95400.98080.99390.98080.9810TABLEIII.SROCCACROSS1000TRIALSONTHETIDDATABASEJP2KJPEGNoiseBlurPSNR0.82510.87540.91800.9344SSIM0.87800.92550.81200.9458VIF0.97030.93100.91310.9584BIQI0.97420.92530.83340.8472DIIVINE0.90700.87180.83420.8592BLIINDS-II0.91190.83830.71500.8261BRISQUE0.90440.91010.82370.8740SSEQ0.84680.86650.80110.8355本發明0.96720.98130.90740.9883TABLEIV.LCCACROSS1000TRIALSONTHETIDDATABASEJP2KJPEGNoiseBlurPSNR0.88550.87870.94270.9304SSIM0.87510.93720.80780.9384VIF0.97130.97330.90730.9423BIQI0.98240.96140.81920.8011DIIVINE0.87900.89980.81010.8407BLIINDS-II0.91990.88900.71450.8258BRISQUE0.90610.95030.81090.8739SSEQ0.98540.98120.84740.9406本發明0.96460.98260.90780.9870當前第1頁1 2 3