本發明屬于惡劣天氣下視覺觀測技術領域，尤其涉及一種全天時霧霾圖像清晰化恢復方法。
背景技術：
隨著空氣質量的不斷惡化，霧霾天氣出現的頻率大幅增長。戶外高分辨率觀測設備受天氣條件影響較大，霧霾天氣使觀測能見度顯著降低，造成相機或傳感器采集到的圖像出現質量嚴重退化，限制了觀測活動的時間和空間范圍。霧霾天氣的出現也造成車輛、行人出行不便，易導致交通事故的發生。
與此同時，隨著交通運輸、室外監控、偵查等領域的快速發展，對夜晚觀測的需求與日俱增。由于夜晚能見度低而導致觀測所攝圖像不清晰，反映在圖像數據上，圖像中原本較高灰度值像素被削弱。此外，景物的顏色、對比度等相較于白晝時變化明顯，其所蘊含的特征信息被弱化，造成場景目標的可辨識度大大降低。若同時伴隨霧霾等惡劣天氣，大氣透明度進一步降低，對觀測活動的影響將更加明顯。因而夜晚霧霾條件下圖像的清晰化恢復具有重要的現實意義。
當前國內外在圖像去霧方面已取得了長足進展，但當前研究很少涉足霾圖像的恢復，因為“霧”與“霾”是有本質區別的，霧滴濃度分布不均勻，且霧滴平均直徑大于可見光波長，其對光的散射與光波長本身關系不大，因接近均勻散射而呈乳白色或青白色。霾粒子的分布比較均勻，且其平均直徑小于可見光波長，這時粒子對光的散射強度嚴重依賴于光的波長，所以對可見光中短波段部分散射嚴重。此外，現有圖像去霧技術的方法仍存在一定的局限性，即其主要針對白晝圖像，在夜晚弱光背景且伴隨復雜人造光源干擾的情況下，現有方法不能對該退化圖像進行有效恢復。
本發明基于三種經典的理論方法——引導濾波理論、L0范數平滑濾波理論、帶彩色恢復的多尺度Retinex理論，結合對霧圖像、霾圖像、夜晚霧霾圖像各自成像特征的研究，提出了一種全天時霧霾圖像清晰化恢復方法。
引導濾波理論是由Kaiming He等人提出的，參見：Kaiming He et al.,Guided Image Filtering,IEEE Transactions on Pattern Analysis and Machine Intelligence,2013,35:1-4，引導濾波是在雙邊濾波的基礎上發展起來的，是一種新穎的邊緣保持濾波器。而L0范數平滑濾波理論是由Li Xu等人提出的，參見：Li Xu et al.,Image Smoothing via L0Gradient Minimization,ACM Transactions on Graphics,2011,30(6):1-11。其通過抑制濾波輸出圖像中梯度不為0像素的數量，實現對圖像紋理輪廓進行平滑濾波的目的。但單純控制梯度不為0像素的數量，易造成圖像重要的邊緣輪廓信息的損失，因此還需附加濾波輸出圖像與原始輸入圖像具有最大結構相似性的條件。從而使L0范數平滑濾波在平滑圖像細節結構的同時，仍能保留原始圖像的主干邊緣輪廓。
Retinex理論是由E.Land提出的一種顏色恒常的計算理論，Retinex理論認為物體的顏色是由物體對入射光線的反射成分決定的,而不是由反射光的強度決定的。該理論隨后進一步發展，從單尺度Retinex算法到多尺度加權平均的Retinex算法，隨后Rahman等人將色彩恢復的概念引入，提出了帶彩色恢復的多尺度Retinex算法，參見：Rahman Z et al.,Retinex processing for automatic image enhancement,Journal of Electronic Imaging,2004,13(1):100-110；Rahman Z et al.,Investigating the relationship between image enhancement and image compression in the context of the multi-scale retinex,J Vis Commun.Image R,2011,22(3):237-250；Jobson D J,Rahman Z et al.,A multi-scale retinex for bridging the gap between color images and the human observation of scenes,IEEE Transactions on Image Processing,1997,6(7):965-976。
同時，本發明還用到了McCartney提出的大氣物理退化模型，Kaiming He等人提出的暗通道運算，參見：Kaiming He et al.,Single Image Haze Removal Using Dark Channel Prior,IEEE Transactions on Pattern Analysis and Machine Intelligence,2011,33(12):2341-2353，以及本申請人在之前文章中提出的天空分割算法，參見：Bo Jiang et al.,Method for Sky Region Segmentation,Electronics Letters,2015,51(25):2104-2106。
在圖像去霧領域，McCartney大氣物理退化模型I(x)＝J(x)t(x)+A(1-t(x))被廣泛使用：其中，I(x)為帶霧圖像，J(x)為原始無霧圖像，A為大氣光值，t(x)為大氣透射率圖，x為對應的像素點。一般地，對于單幅圖像I(x)，其暗通道圖Idark(x)被定義為：其中Ic(x)為圖像I(x)的一個顏色通道，Ω(x)是以像素x為中心的濾波模板。本申請人之前提出的天空分割算法以暗通道運算得到的全局大氣光值A為基準，在待分割圖像中尋找像素值與A值較接近的像素位置(這里以像素均值為準)，將其作為以A值為基準的天空區域，實現天空的快速有效分割。同時，為防止近處場景像素點的均值也與A值接近而誤將其標識為天空區域，故同時在圖像暗通道圖中也進行比較，即在暗通道圖Idark(x)中將各個像素的暗通道值與A點的暗通道值也進行相似度比較。當兩種比較都達到一定的相似度水平時才將其標識為天空區域，從而實現圖像天空與非天空區域的有效分割。
技術實現要素：
本發明提出了一種全天時霧霾圖像清晰化恢復方法，基于非天空區域分割提取輸入霧霾圖像的邊緣輪廓信息，通過L0范數平滑濾波濾除掉圖像非主干邊緣輪廓以更加準確地估計圖像的復雜度，根據不同結構特征的圖像自適應確定關鍵的去霧霾權重系數，根據此權重系數結合優良的引導濾波算法實現原始霧霾圖像的增強型恢復處理。對于霾圖像而言，依據其自身天空區域保留的自然光經霾粒子散射后的顏色偏移信息，對增強恢復后的霾圖像進行額外的顏色校正。此外，對于夜晚所攝圖像背景光照弱且伴隨復雜人造光源干擾，通過帶顏色恢復的多尺度Retinex理論去除掉該圖像中的照度層，依據圖像反射層而更有效地利用上述的去霧霾恢復方法。最終實現全天時霧霾圖像的清晰化恢復處理。具體包括以下步驟：
步驟一，對白晝、夜晚霧霾圖像的自動識別：計算所輸入霧霾圖像的統計直方圖，據此來判斷輸入圖像的成像條件。當直方圖分布整體位于該直方圖的中高像素值區域時，則判斷該圖像為白晝霧霾圖像。反之，若直方圖的分布體整體位于低像素值區時，則判斷為夜晚霧霾圖像；
步驟二，白晝霧或霾圖像的識別及夜晚圖像去照度：根據步驟一若判斷輸入圖像為白晝霧霾圖像，則通過圖像暗通道運算搜尋該圖像的空間最遠像素點，即大氣物理退化模型中所述的全局大氣光值點A，自動分析其R、G、B三個顏色通道值的比例關系。若R、G、B三通道值分布均衡則判斷該圖像為霧圖像，而R、G、B值比例失衡且明顯偏向長波長則判斷為霾圖像。若為夜晚霧霾圖像，通過帶顏色恢復的多尺度Retinex理論，將夜晚雜散光干擾下的霧霾圖像的照度成分去除，保留反映圖像本質屬性的反射成分從而實現夜晚霧霾圖像的去照度處理；
步驟三，白晝霧霾圖像的天空與非天空區域分割：由于一副圖像中最主要的邊緣輪廓信息都包含在圖像的非天空區域中，為了更加準確有效地確定霧霾圖像的真實復雜程度，若輸入圖像為白晝霧霾圖像，則根據圖像天空區域分割算法，實現白晝圖像的天空區域與非天空區域的有效分離，從而為霧霾圖像的后續恢復步驟做好前期預處理；
步驟四，圖像主干邊緣的提取及去霧霾權重系數的確定：對于分割出的白晝圖像非天空區域或者夜晚去照度圖像，運用L0范數平滑濾波方法對其進行平滑濾波，以濾除掉大量非主干細節結構，保留圖像場景的主干輪廓邊緣。通過計算該主干結構的像素數量占整體部分的比例，可快速準確地確定待恢復圖像關鍵的去霧霾權重系數τ；
步驟五，基于引導濾波的增強型去霧霾恢復：通過引導濾波這種優良的邊緣保持濾波器對原始霧霾圖像進行濾波處理，初步將其霧霾成分去除。再將原始霧霾圖像與濾波后圖像作差，將該差值線性增大τ倍后疊加在濾波后圖像之上，從而實現簡單高效的去霧霾恢復處理；
步驟六，霾圖像的顏色偏移校正：對于霾圖像而言，由于其存在較嚴重的顏色畸變，所以需要進行額外的顏色偏移校正。本發明所用的校正信息全部來自于待處理圖像本身，因而對各種不同圖像具有更好的適用性。在提取出的原始霾圖像的天空區域中，利用暗通道運算尋找圖像的全局大氣光值點A，在去霾后圖像的R、G、B三個顏色通道上，分別按一定比例剔除掉A點對應R、G、B值，因為全局大氣光值點A代表了圖像最原始顏色偏差信息，再對校正后的霾圖像給予簡單的亮度增強，最終實現霾圖像的清晰化恢復。
進一步，步驟二中判斷圖像屬性的方法為：
基于所確定的白晝霧霾圖像的全局大氣光值點A，通過對霧和霾圖像A點的R、G、B三通道信息進行大量的統計比較，得出以下結論；對于普通霾圖像而言，其R、G、B三通道值中R>G>B且R:B接近于2:1；而對普通霧圖像而言，R、G、B三通道的比值接近于1:1:1。因為一幅圖像中全局大氣光值點為圖像在最大景深點，因而其理應位于圖像的天空區域中。基于所定位的天空區域中全局大氣光值帶點，根據以上結論對其R、G、B三通道值進行分析判斷，便可自動判斷出輸入的降質白晝圖像是霧圖像還是霾圖像。
進一步，所述步驟四中自適應計算去霧霾權重系數的方法為：
對白晝圖像非天空區域或夜晚去照度圖像進行L0范數平滑濾波，從而得到圖像的主干輪廓邊緣圖，若用P表示主干輪廓邊緣像素占白晝圖像非天空區域或整個夜晚去照度圖像的比例，則自適應去霧霾權重系數τ可以通過τ＝K*(1-P)計算得到，其中K為常數。根據工程經驗對于霾圖像K值一般取4或5，而對于霧圖像K值需適當增大。若比例系數P較大說明圖像的輪廓結構較復雜，若采用較大尺度的去霧霾權重系數易產生增強過度現象；而當該比例系數P較小時說明圖像本身結構特征簡單，進行較大尺度的增強易得到較好的恢復效果。為避免一些特殊圖像所確定的去霧霾權重系數過大或過小，一般可將參數τ的取值限定在一定范圍內。
進一步，步驟五通過引導濾波實現霧霾圖像的清晰化恢復的方法為：
基于引導濾波的增強型去霧霾恢復，通過引導濾波這種優良的邊緣保持濾波器對原始霧霾圖像I進行濾波處理，初步將其霧霾成分去除。同時為了補償濾波引起的圖像中邊緣等區域的弱化，將原始霧霾圖像I與濾波后圖像q作差(I-q)，該差值即是圖像輪廓邊緣的代表，將該差值線性增大τ倍后疊加在濾波后圖像q之上，從而實現簡單高效的圖像去霧霾處理，這里τ為步驟四所確定的去霧霾權重系數。
本發明對于白晝霧霾圖像而言，待濾波圖像I為輸入的原始圖像；而對于夜晚霧霾圖像而言，將其經過帶顏色恢復的多尺度Retinex算法后得到相應的去照度圖像，基于該去照度圖像來計算去霧霾權重系數τ，而待濾波圖像I為原始夜晚霧霾圖像，從而保證清晰化恢復后的圖像和原始圖像具有相似的背景光照條件。
附圖說明
圖1是本發明實施例提供的全天時霧霾圖像清晰化恢復方法流程圖。
具體實施方式
為了使本發明的目的、技術方案及優點更加清楚明白，以下結合實施例，對本發明進行進一步詳細說明。應當理解，此處所描述的具體實施例僅僅用以解釋本發明，并不用于限定本發明。
下面結合附圖對本發明的應用原理作詳細描述。
如圖1所示，本發明實施例提供的全天時霧霾圖像清晰化恢復方法包括如下步驟：
步驟1，計算輸入霧霾圖像的統計直方圖，當統計直方圖分布整體位于圖像中高像素值區域時，則判斷為白晝霧霾圖像。反之，若直方圖的分布體整體位于低像素值區時，則判斷為夜晚霧霾圖像；
步驟2，根據步驟一對白晝和夜晚霧霾圖像的判斷，若為白晝霧霾圖像，通過圖像暗通道運算搜尋該圖像中大氣物理退化模型中所述全局大氣光值點A，自動分析其R、G、B三個顏色通道值的比例關系。若R、G、B三通道值分布均衡則判斷該圖像為霧圖像，而R、G、B值比例失衡且明顯偏向長波長則判斷為霾圖像。
若為夜晚霧霾圖像，通過帶顏色恢復的多尺度Retinex理論，去除夜晚雜散光干擾下的霧霾圖像的照度成分，保留反映圖像本質屬性的反射成分從而實現夜晚霧霾圖像的去照度處理。因為夜晚環境中的主要背景光照主要為非自然光，如路燈、霓虹燈等，所以霧和霾的散射特性較白晝時差異較小，所以對于夜晚圖像不再進行霧圖像和霾圖像的區分處理；
步驟3，普通自然圖像最重要的邊緣輪廓信息都包含在其非天空區域中，為了更加準確地確定霧霾圖像的真實復雜程度，以及進一步降低算法的復雜度以求能夠實用化，若輸入圖像為白晝霧霾圖像，則根據申請人之前所發表文章中提及的圖像天空區域分割算法，實現白晝圖像的天空區域與非天空區域的有效分離，為后續清晰化步驟做好前期準備；
步驟4，對于分割出的白晝圖像非天空區域或夜晚去照度圖像，運用L0范數平滑濾波算法對其進行處理，以濾除掉大量非主干細節結構，保留圖像場景的主干輪廓邊緣。在此基礎上，通過計算該主干結構的像素數量占整體部分的比例，可更準確地確定待恢復圖像的真實復雜度，進而計算關鍵的去霧霾權重系數τ；
步驟5，通過引導濾波這種優良的邊緣保持濾波器對原始霧霾圖像進行濾波處理，初步將其霧霾成分去除。再將原始霧霾圖像與濾波后圖像作差，將該差值線性增大τ倍后疊加在濾波后圖像之上，從而實現簡單高效的去霧霾恢復處理。不論是之前確定的霧圖像、霾圖像、夜晚圖像，通過引導濾波L0范數平滑濾波這兩種優良的濾波器的結合，可實現對人眼辨識場景起關鍵作用的圖像主干輪廓邊緣信息的提取，在保證較好圖像去霾效果的同時，自適應地兼顧細節恢復過度或不足的問題；
步驟6，對于霾圖像而言，還需要進行額外的顏色偏移校正。本發明用以進行顏色偏移校正的信息全部來自于待處理圖像本身，因而對各種不同圖像具有更好的適用性。在提取出的原始霾圖像的天空區域中，利用暗通道運算尋找圖像的全局大氣光值點A，在去霾后圖像的R、G、B三個顏色通道上，分別按一定比例剔除掉A點對應R、G、B值，這是因為全局大氣光值點A代表了圖像最原始顏色偏差信息。但這種基于霾圖像的顏色校正方法，易導致霾圖像整體亮度的衰減，因此需進行適當的亮度補償，最終可恢復出高質的無霾清晰圖像。
進一步，所述步驟2中判斷圖像屬性的方法為：
基于所確定的白晝霧霾圖像的全局大氣光值點A，通過對霧和霾圖像A點的R、G、B三通道信息進行大量的統計比較，得出以下結論；對于普通霾圖像而言，其R、G、B三通道值中R>G>B且R:B接近于2:1；而對普通霧圖像而言，R、G、B三通道的比值接近于1:1:1。通過確定輸入圖像的全局大氣光值點A，根據以上結論對其R、G、B三通道值進行分析判斷，便可自動判斷出輸入的降質白晝圖像是霧圖像還是霾圖像；
進一步，所述步驟4中自適應計算去霧霾權重系數的方法為：
利用L0范數平滑濾波對白晝圖像非天空區域或夜晚去照度圖像進行預處理，得到濾除掉圖像細小紋理結構后的圖像，該圖像包含了大部分圖像的主干輪廓邊緣。若用P表示主干邊緣像素占白晝圖像非天空區域或整個夜晚去照度圖像的比例，則去霧霾權重系數τ可以通過τ＝K*(1-P)計算得到，其中K為常數且τ∈[2,6]。對于霾圖像K值一般取4或5，而對于霧圖像K值可適當增大。若該比例系數P較大說明圖像的輪廓結構較復雜，圖像清晰化恢復需采用較小尺度的去霧霾權重系數；而當該比例系數P較小時說明圖像本身結構特征簡單，進行較大尺度的增強易得到較好的恢復效果。為避免一些特殊圖像所確定的去霧霾權重系數過大或過小，一般可將參數τ的取值限定在[2,6]；
進一步，所述步驟5通過引導濾波實現霧霾圖像的清晰化恢復的方法為：
通過引導濾波這種優良的邊緣保持濾波器對原始霧霾圖像I進行濾波處理，初步將其霧霾成分去除。同時為了補償濾波引起的圖像中邊緣等區域的弱化，將原始霧霾圖像I與濾波后圖像q作差(I-q)，該差值近似代表圖像中輪廓邊緣，將該差值線性增大τ倍后疊加在濾波后圖像q之上，從而實現簡單高效的增強型圖像去霧霾處理，其中τ為步驟4所確定的去霧霾權重系數。
本發明對于白晝霧霾圖像而言，待濾波圖像I即為輸入的原始圖像；而對于夜晚霧霾圖像而言，其經過帶顏色恢復的多尺度Retinex算法后得到相應的去照度圖像，用以更加準確地計算去霧霾權重系數τ，而待濾波圖像I仍選擇原始夜晚霧霾圖像，這樣可保證恢復后的圖像和原始圖像具有相似的背景光照條件，從而在視覺效果上更加自然。
以上所述僅為本發明的較佳實施例而已，并不用以限制本發明，凡在本發明的精神和原則之內所作的任何修改、等同替換和改進等，均應包含在本發明的保護范圍之內。