一種圖像融合方法及裝置與流程

本發明涉及圖像處理技術領域，特別涉及一種圖像融合方法及裝置。

背景技術：

隨著科學技術的飛速發展，計算機視覺技術的廣泛應用，視頻采集設備廣泛的應用于航拍攝影、環境監測、安防監控等方面。但是受到地理地形、氣象條件等因素影響，照度不佳的情況下采集到的可見光圖像可能存在模糊的問題，而紅外圖像因為物體的材料和色彩會影響紅外光的反射，也不能清楚的反應出真實的場景，而圖像融合技術能有效的綜合可見光圖像和紅外圖像的優點，清晰的展現圖像。

然而，現有技術中，只是對可見光圖像和紅外圖像進行簡單的融合，對于圖像的細節無法清晰的顯示，在紅外圖像中亮度異常變高時反應的圖像不真實，影響了用戶的體驗。

技術實現要素：

本發明提供一種圖像融合方法及裝置，用以解決現有技術中的對于圖像的細節無法清晰的顯示，在紅外圖像中亮度異常變高時反應的圖像不真實的問題。

為達到上述目的，本發明實施例公開了一種圖像融合方法，所述方法包括：

采用相同的劃分方法，將獲取的可見光圖像和紅外圖像劃分為多個層次；

獲取可見光圖像和紅外圖像的低頻分量，和對應每個層次的高頻分量，其中所述低頻分量中包含至少一個參數，所述高頻分量中包含至少一個參數；

針對所述可見光圖像和紅外圖像的低頻分量中的對應參數，判斷所述對應參數的值的差是否大于設定閾值，如果是，將所述可見光圖像的低頻分量中該參數的值作為融合后的低頻分量中對應參數的值；如果否，根據所述可見光圖像和紅外圖像的低頻分量中的該對應參數的值，及預設的低頻融合算法，確定融合后的低頻分量中對應參數的值；

根據可見光圖像和紅外圖像對應每個層次的高頻分量及預先設定的高頻融合算法，確定每個層次融合后的高頻分量；

將確定的所述融合后的低頻分量和每層次融合后的高頻分量進行重構，得到融合后的圖像。

進一步地，所述獲取可見光圖像和紅外圖像對應每個層次的高頻分量后，所述確定每個層次融合后的高頻分量之前，所述方法還包括：

針對可見光圖像對應每個層次的高頻分量進行映射處理與中值濾波；和/或，

針對紅外圖像對應每個層次的高頻分量進行放大處理。

進一步地，所述針對可見光圖像對應每個層次的高頻分量進行映射處理包括：

針對可見光圖像對應每個層次的高頻分量中的每個參數的值，判斷該參數的值的絕對值是否小于第一參數閾值；

如果是，將該參數的值更新為零；

如果否，判斷該參數的值的絕對值是否小于第二參數閾值，如果是，根據預先設定的參數調整系數對該參數的值進行更新，其中第二參數閾值大于第一參數閾值。

進一步地，所述采用相同的劃分方法，將獲取的可見光圖像和紅外圖像劃分為多個層次之前，所述方法還包括：

將所述可見光圖像和紅外圖像進行圖像配準。

進一步地，所述采用相同的劃分方法，將獲取的可見光圖像和紅外圖像劃分為多個層次之前，所述方法還包括：

將所述可見光圖像進行透霧處理和/或導向濾波。

進一步地，所述將所述可見光圖像進行透霧處理包括：

獲取所述可見光圖像的暗通道分量；

根據所述暗通道分量中每個參數的值，確定所述暗通道分量中參數的最大值的目標參數，識別所述目標參數對應的可見光圖像的目標像素點；

將所述可見光圖像的目標像素點的紅R值、綠G值、藍B值中的最小值作為目標光照強度的數值；

將所述目標光照強度的數值作為所述可見光圖像每個像素點對應的光照強度的數值，判斷所述可見光圖像中每個像素點對應的光照強度的數值與該像素點對應的暗通道分量中對應參數的值的差是否小于第一設定閾值；

如果是，根據該像素點對應的光照強度的數值與像素點對應的暗通道分量中對應參數的值的差、所述第一設定閾值及初始透射率，確定該像素點對應的第一透射率。

進一步地，所述根據該像素點對應的光照強度的數值與像素點對應的暗通道分量中對應參數的值的差、所述第一設定閾值及初始透射率，確定該像素點對應的第一透射率包括：

確定該像素點對應的光照強度的數值與像素點對應的暗通道分量中對應參數的值的差與第一設定閾值的比值；

將所述比值及初始透射率的乘積確定為像素點對應的第一透射率。

進一步地，確定該像素點對應的第一透射率后，所述方法還包括：

統計所述可見光圖像中對應的第一透射率小于第二設定閾值的像素點的數量，判斷所述數量與可見光圖像中像素點的總數量的比值是否大于第三設定閾值；

如果是，將所述第一透射率小于第四設定閾值的像素點的第一透射率更改為1。

進一步地，所述根據所述可見光圖像和紅外圖像的低頻分量中的該對應參數的值，及預設的低頻融合算法，確定融合后的低頻分量中對應參數的值包括：

根據F_L＝L_W·V_L+(1-L_W)·N_L，確定融合后的低頻分量中對應參數的值，其中F_L為融合后的低頻分量中對應參數的值，V_L為可見光圖像低頻分量中該對應參數的值，N_L為紅外圖像低頻分量中該對應參數的值，L_W為融合時可見光圖像對應的權重，La為預先設定的可見光圖像的融合比例，K為預先設定的閾值。

進一步地，所述根據可見光圖像和紅外圖像對應每個層次的高頻分量及預先設定的高頻融合算法，確定每個層次融合后的高頻分量包括：

根據確定每個層次融合后的高頻分量，其中針對每個層次的可見光圖像對應的高頻分量和紅外對應對應的低頻分量，M、N為該層次可見光圖像對應的高頻分量和紅外圖像對應的高頻分量對應矩陣的行數和列數，R為預先設定的窗口閾值，D1(i，j)為該層次可見光圖像對應的高頻分量對應矩陣(i，j)點對應參數的可見光區域能量，D2(i，j)為該層次紅外圖像對應的高頻分量對應矩陣(i，j)點對應參數的紅外區域能量，DD為該層次可見光圖像對應的高頻分量對應矩陣(i，j)點和紅外圖像對應的高頻分量對應矩陣(i，j)點的區域能量相關性，F_H為該層次融合后的高頻分量中對應參數的值。

本發明實施例公開了一種圖像融合裝置，所述裝置包括：

劃分模塊，用于采用相同的劃分方法，將獲取的可見光圖像和紅外圖像劃分為多個層次；

獲取模塊，用于獲取可見光圖像和紅外圖像的低頻分量，和對應每個層次的高頻分量；

低頻融合模塊，用于針對所述可見光圖像和紅外圖像的低頻分量中的對應參數，判斷所述對應參數的值的差是否大于設定閾值，如果是，將所述可見光圖像的低頻分量中該參數的值作為融合后的低頻分量中對應參數的值；如果否，根據所述可見光圖像和紅外圖像的低頻分量中的該對應參數的值，及預設的低頻融合算法，確定融合后的低頻分量中對應參數的值；

高頻融合模塊，用于根據可見光圖像和紅外圖像對應每個層次的高頻分量及預先設定的高頻融合算法，確定每個層次融合后的高頻分量；

重構模塊，用于將確定的所述融合后的低頻分量和每層次融合后的高頻分量進行重構，得到融合后的圖像。

進一步地，所述裝置還包括：

第一處理模塊，用于針對可見光圖像對應每個層次的高頻分量進行映射處理與中值濾波；和/或，針對紅外圖像對應每個層次的高頻分量進行放大處理。

進一步地，所述第一處理模塊，具體用于針對可見光圖像對應每個層次的高頻分量中的每個參數的值，判斷該參數的值的絕對值是否小于第一參數閾值；如果是，將該參數的值更新為零；如果否，判斷該參數的值的絕對值是否小于第二參數閾值，如果是，根據預先設定的參數調整系數對該參數的值進行更新，其中第二參數閾值大于第一參數閾值。

進一步地，所述裝置還包括：

配準模塊，用于將所述可見光圖像和紅外圖像進行圖像配準。

進一步地，所述裝置還包括：

第二處理模塊，用于將所述可見光圖像進行透霧處理和/或導向濾波。

進一步地，所述第二處理模塊，具體用于獲取所述可見光圖像的暗通道分量；根據所述暗通道分量中每個參數的值，確定所述暗通道分量中參數的最大值的目標參數，識別所述目標參數對應的可見光圖像的目標像素點；將所述可見光圖像的目標像素點的紅R值、綠G值、藍B值中的最小值作為目標光照強度的數值；將所述目標光照強度的數值作為所述可見光圖像每個像素點對應的光照強度的數值，判斷所述可見光圖像中每個像素點對應的光照強度的數值與該像素點對應的暗通道分量中對應參數的值的差是否小于第一設定閾值；如果是，根據該像素點對應的光照強度的數值與像素點對應的暗通道分量中對應參數的值的差、所述第一設定閾值及初始透射率，確定該像素點對應的第一透射率。

進一步地，所述第二處理模塊，具體用于確定該像素點對應的光照強度的數值與像素點對應的暗通道分量中對應參數的值的差與第一設定閾值的比值；將所述比值及初始透射率的乘積確定為像素點對應的第一透射率。

進一步地，所述第二處理模塊，還用于統計所述可見光圖像中對應的第一透射率小于第二設定閾值的像素點的數量，判斷所述數量與可見光圖像中像素點的總數量的比值是否大于第三設定閾值；如果是，將所述第一透射率小于第四設定閾值的像素點的第一透射率更改為1。

進一步地，所述低頻融合模塊，具體用于根據F_L＝L_W·V_L+(1-L_W)·N_L，確定融合后的低頻分量中對應參數的值，其中F_L為融合后的低頻分量中對應參數的值，V_L為可見光圖像低頻分量中該對應參數的值，N_L為紅外圖像低頻分量中該對應參數的值，L_W為融合時可見光圖像對應的權重，La為預先設定的可見光圖像的融合比例，K為預先設定的閾值。

進一步地，所述高頻融合模塊，具體用于根據確定每個層次融合后的高頻分量，其中針對每個層次的可見光圖像對應的高頻分量和紅外對應對應的低頻分量，M、N為該層次可見光圖像對應的高頻分量和紅外圖像對應的高頻分量對應矩陣的行數和列數，R為預先設定的窗口閾值，D1(i，j)為該層次可見光圖像對應的高頻分量對應矩陣(i，j)點對應參數的可見光區域能量，D2(i，j)為該層次紅外圖像對應的高頻分量對應矩陣(i，j)點對應參數的紅外區域能量，DD為該層次可見光圖像對應的高頻分量對應矩陣(i，j)點和紅外圖像對應的高頻分量對應矩陣(i，j)點的區域能量相關性，F_H為該層次融合后的高頻分量中對應參數的值。

本發明實施例公開了一種圖像融合方法，該方法包括：采用相同的劃分方法，將獲取的可見光圖像和紅外圖像劃分為多個層次；獲取可見光圖像和紅外圖像的低頻分量，和對應每個層次的高頻分量，其中所述低頻分量中包含至少一個參數，所述高頻分量中包含至少一個參數；針對所述可見光圖像和紅外圖像的低頻分量中的對應參數，判斷所述對應參數的值的差是否大于設定閾值，如果是，將所述可見光圖像的低頻分量中該參數的值作為融合后的低頻分量中對應參數的值；如果否，根據所述可見光圖像和紅外圖像的低頻分量中的該對應參數的值，及預設的低頻融合算法，確定融合后的低頻分量中對應參數的值；根據可見光圖像和紅外圖像對應每個層次的高頻分量及預先設定的高頻融合算法，確定每個層次融合后的高頻分量；將確定的所述融合后的低頻分量和每層次融合后的高頻分量進行重構，得到融合后的圖像。由于在本發明實施例中，在根據預設的低頻融合算法，確定融合后的低頻分量中對應參數的值之前，針對所述可見光圖像和紅外圖像的低頻分量中的對應參數，判斷所述對應參數的值的差是否大于設定閾值，如果所述差值大于設定閾值，將所述可見光圖像的低頻分量中該參數的值作為融合后的低頻分量中對應參數的值，消除了因物體的材料或顏色造成紅外圖像中亮度異常變高反應融合后的圖像不真實的問題，并根據預先設定的高頻融合算法，確定每個層次融合后的高頻分量，將確定的所述融合后的低頻分量和融合后的每層次的高頻分量進行重構，得到融合后的圖像。針對可見光圖像和紅外圖像進行了深層次的融合，實現了對圖像細節的清晰顯示，并解決了在紅外圖像中亮度異常變高時反應的圖像不真實的問題，提高了用戶的體驗。

附圖說明

為了更清楚地說明本發明實施例或現有技術中的技術方案，下面將對實施例或現有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發明的一些實施例，對于本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他的附圖。

圖1為本發明實施例1提供的一種圖像融合過程示意圖；

圖2為本發明實施例1提供的一種圖像重構過程示意圖；

圖3為本發明實施例3提供的一種可見光圖像對應的高頻分量的映射關系示意圖；

圖4為本發明實施例5提供的一種圖像融合過程示意圖；

圖5為本發明實施例8提供的一種圖像融合過程示意圖；

圖6為本發明實施例9提供的一種圖像融合裝置結構示意圖。

具體實施方式

下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發明一部分實施例，而不是全部的實施例。基于本發明中的實施例，本領域普通技術人員在沒有作出創造性勞動前提下所獲得的所有其他實施例，都屬于本發明保護的范圍。

實施例1：

圖1為本發明實施例提供的一種圖像融合過程示意圖，該過程包括：

S101：采用相同的劃分方法，將獲取的可見光圖像和紅外圖像劃分為多個層次，獲取可見光圖像和紅外圖像的低頻分量，和對應每個層次的高頻分量，其中所述低頻分量中包含至少一個參數，所述高頻分量中包含至少一個參數。

本發明實施例提供的圖像融合方法應用于電子設備，該電子設備可以為圖像采集設備，如攝像機、照相機等，也可以是手機、個人電腦(PC)、平板電腦等設備。

針對圖像的劃分方法包括：區域分割方法、直方圖法和金字塔變換法等。以金子塔變換法為例，金字塔變換法主要步驟包括：低通濾波、下采樣、上采樣、帶通濾波，每完成一次金子塔變換，便可將圖像劃分為一個層次，例如：針對可見光圖像和紅外圖像采用的劃分方法為三層次的金字塔變換，即對可見光圖像和紅外圖像進行三次金字塔變換，可見光圖像和紅外圖像完成一次金子塔變換后分別得到對應的第一層的高頻分量和第一層的低頻分量，將第一層次的低頻分量，又作為第二次金子塔變換的輸入圖像，依次類推，每層次對應的低頻分量作為下層次金子塔變換的輸入圖像，經過三次金字塔變換后，得到對應可見光圖像和紅外圖像的三個層次的高頻分量和一個低頻分量，其中所述低頻分量中包含至少一個參數，所述高頻分量中包含至少一個參數。

具體的，在對可見光圖像和紅外圖像進行劃分時，還可以采用其他的劃分方法，只要采用相同的劃分方法將可見光圖像和紅外圖像劃分為多個層次即可。

S102：針對所述可見光圖像和紅外圖像的低頻分量中的對應參數，判斷所述對應參數的值的差是否大于設定閾值，如果是，進行S103，如果否，進行S104。

S103：將所述可見光圖像的低頻分量中該參數的值作為融合后的低頻分量中對應參數的值。

S104：根據所述可見光圖像和紅外圖像的低頻分量中的該對應參數的值，及預設的低頻融合算法，確定融合后的低頻分量中對應參數的值。

在圖像采集的過程中，由于物體的材料或者顏色將會影響紅外光的反射量，例如：車牌、紅色物體能較好的反射紅外光，這樣紅外光的亮度異常變大，在紅外圖像中會呈現亮度過高的現象，而此時接收的可見光的亮度是正常的。在本發明實施例中，如果紅外圖像中存在亮度異常變大，可以根據可見光圖像的亮度取代異常的紅外圖像中的亮度，從而提高融合后的圖像的清晰度。

具體的，將可見光圖像的低頻分量中每個參數與紅外圖像的低頻分量中的對應參數進行比較，針對每個對應的參數，判斷所述可見光圖像的低頻分量中該參數與紅外圖像的低頻分量中的對應參數的值的差是否大于設定閾值，如果所述差值大于設定閾值，將所述可見光圖像的低頻分量中該參數的值作為融合后的低頻分量中對應參數的值，如果所述差值不大于設定閾值，根據所述可見光圖像和紅外圖像的低頻分量中的該對應參數的值，及預設的低頻融合算法，確定融合后的低頻分量中對應參數的值。

該設定閾值可以為大于零的數值，例如可以是90、100、110等，該設定閾值可以根據可見光圖像和紅外圖像采集的場景的紅外強弱來調節。所述預設的低頻融合算法可以為針對可見光圖像和紅外圖像分別設定權重值，根據權重值及該對應參數的值，確定融合后的低頻分量中對應參數的值，所述可見光圖像和紅外圖像對應的權重值可以分別為0.5、0.5，當然對應的權重值也可以為0.6、0.4等。例如：所述可見光圖像和紅外圖像的低頻分量中的對應參數的值分別為216和206，所述預設的低頻融合算法為所述可見光圖像和紅外圖像對應的權重值分別為0.5、0.5，得到融合后的低頻分量中對應參數的值為211。

S105：根據可見光圖像和紅外圖像對應每個層次的高頻分量及預先設定的高頻融合算法，確定每個層次融合后的高頻分量。

具體的，預先設定的高頻融合算法可以為針對可見光圖像和紅外圖像分別設定權重值，根據權重值及所述可見光圖像和紅外圖像的高頻分量中對應參數的值，確定融合后的高頻分量中對應參數的值，例如所述可見光圖像和紅外圖像對應的權重值可以分別為0.7和0.5，或者對應的權重值也可以為0.8和0.5等。例如：所述可見光圖像和紅外圖像的二層次的高頻分量中的對應參數的值分別為150和160，所述預先設定的高頻融合算法為所述可見光圖像和紅外圖像對應的權重值別為0.7和0.5，得到二層次融合后的高頻分量中對應參數的值為185。

S106：將確定的所述融合后的低頻分量和融合后的每層次的高頻分量進行重構，得到融合后的圖像。

在本發明實施例中，將確定的所述融合后的低頻分量和每層次融合后的高頻分量進行重構的過程與對可見光和紅外圖像的劃分過程相反。如果上述劃分方法為針對可見光圖像和紅外圖像進行三層次的金子塔變換，確定融合后的圖像則是針對所述融合后的低頻分量和每層次融合后的高頻分量進行金字塔重構。如圖2所示為本發明實施例提供的一種圖像重構過程示意圖，將所述融合后的低頻分量與三層次融合后的高頻分量進行一次金字塔重構，得到一次重構后的低頻分量，將一次重構后的低頻分量與二層次融合后的高頻分量進行一次金字塔重構，得到二次重構后的低頻分量，將二次重構后的低頻分量與一層次融合后的高頻分量進行一次金字塔重構，得到融合后的圖像。

根據低頻分量和每層次的高頻分量進行重構為現有技術，在本發明實施例中對該過程不再進行贅述。

由于在本發明實施例中，在根據預設的低頻融合算法，確定融合后的低頻分量中對應參數的值之前，針對所述可見光圖像和紅外圖像的低頻分量中的對應參數，判斷所述對應參數的值的差是否大于設定閾值，如果所述差值大于設定閾值，將所述可見光圖像的低頻分量中該參數的值作為融合后的低頻分量中對應參數的值，消除了因物體的材料或顏色造成紅外圖像中亮度異常變高反應融合后的圖像不真實的問題，并根據預先設定的高頻融合算法，確定每個層次融合后的高頻分量，將確定的所述融合后的低頻分量和融合后的每層次的高頻分量進行重構，得到融合后的圖像。針對可見光圖像和紅外圖像進行了深層次的融合，實現了對圖像細節的清晰顯示，并解決了在紅外圖像中亮度異常變高時反應的圖像不真實的問題，提高了用戶的體驗。

實施例2：

為了消除可見光圖像中的噪音，并使紅外信息在融合后的圖像中更加突出，從而提高融合后的圖像的清晰度，在上述各實施例的基礎上，在本發明實施例中，所述獲取可見光圖像和紅外圖像對應每個層次的高頻分量后，所述確定融合后的每個層次的高頻分量之前，所述方法還包括：

針對可見光圖像對應每個層次的高頻分量進行映射處理與中值濾波；和/或，

針對紅外圖像對應每個層次的高頻分量進行放大處理。

具體的，可以根據可見光圖像對應每個層次的高頻分量中的每個參數的值的大小，設定映射規則，例如：如果參數的值在大于0小于5的范圍內，則將該參數的值改變為3，如果參數的值在大于5小于10的范圍內，則將該參數的值改變為6等。

針對完成映射處理后的可見光圖像每個層次的高頻分量，對每個層次的高頻分量進行中值濾波，進一步的去除可見光圖像中的噪聲。中值濾波的基本原理是把高頻分量中一個參數的值，用該參數鄰域中各參數的值的中值代替，讓該參數的值接近真實值，從而消除孤立的噪音。在實際應用中可以使用3*3窗口對每個層次的高頻分量進行中值濾波，也可以使用4*4或其他大小的窗口對每個層次的高頻分量進行中值濾波。在本發明實施例中，對高頻分量進行中值濾波是現有技術不再進行贅述。

為了使紅外信息在融合后的圖像中更為突出，在本發明實施例中，還可以對紅外圖像對應每個層次的高頻分量進行放大處理。具體的，對紅外圖像不同層次的高頻分量乘以不同放大系數，該放大系數為不小于1的數值，例如可以是2，也可以是3等。較佳的，因為每層次高頻分量對最后融合后的圖像的影響逐層次加大，在放大系數設定上可以令放大系數逐層次減小，例如：紅外圖像對應著3個層次的高頻分量，可以針對一層次的高頻分量設定放大系數b1＝2.0，針對二層次的高頻分量設定放大系數b1＝1.5，針對三層次的高頻分量設定放大系數b1＝1.0，根據每個層次對應的放大系數，對紅外圖像對應每個層次的高頻分量進行放大處理。

實施例3：

在圖像采集過程中，在低照度的情況下，可見光圖像會出現大量噪聲，而對可見光圖像進行劃分后，所述噪聲主要表現在可見光高頻分量中，為了提高融合后的圖像的清晰度，在本發明實施例中，所述針對可見光圖像對應每個層次的高頻分量進行映射處理包括：

針對可見光圖像對應每個層次的高頻分量中的每個參數的值，判斷該參數的值的絕對值是否小于第一參數閾值；

如果是，將該參數的值更新為零；

如果否，判斷該參數的值的絕對值是否小于第二參數閾值，如果是，根據預先設定的參數調整系數對該參數的值進行更新，其中第二參數閾值大于第一參數閾值。

可見光圖像對應的每層次的高頻分量中每個參數的值的絕對值大小反映了可見光圖像中的邊緣等紋理信息，當引入噪聲時，可見光高頻分量中同時存在邊緣和噪聲。由于需要保留可見光圖像中的邊緣，而去除噪聲，需要設定閾值，當所述高頻分量中某參數的值小于這個閾值時，將該參數的值置為0。為了防止邊緣被去除，該設定閾值為一個很小的值。

圖3為本發明實施例提供的一種可見光圖像對應的高頻分量的映射關系示意圖，具體的，針對可見光圖像對應每個層次的高頻分量中的每個參數的值，判斷該參數的值的絕對值是否小于第一參數閾值x1，如果是，將該參數的值更新為零，如果否，判斷該參數的值的絕對值是否小于第二參數閾值x2，如果是，根據預先設定的參數調整系數對該參數的值進行更新，其中第二參數閾值大于第一參數閾值。其中所述第一參數值x1和第二參數閾值x2為大于零的數值，其第一參數閾值小于第二參數閾值，例如第一參數閾值和第二參數閾值可以分別為0.02和0.8，也可以分別為0.1和1，具體的可以根據可見光圖像采集環境的噪音水平來確定。所述參數調整系數為大于零的數值，具體的該參數調整系數可以根據所述第一參數值x1和第二參數閾值x2確定，例如可以為x2/(x2-x1)。

實施例4：

在上述各實施例的基礎上，在本發明實施例中，為了方便后續針對圖像的劃分及融合步驟的進行，并提高融合后的清晰度，在上述各實施例的基礎上，在本發明實施例中，所述采用相同的劃分方法，將獲取的可見光圖像和紅外圖像劃分為多個層次之前，所述方法還包括：

將所述可見光圖像和紅外圖像進行圖像配準。

具體的，針對可見光圖像和紅外圖像，可以分別提取所述可見光圖像和紅外圖像的尺度不變特征(SURF)，根據可見光圖像對應的SURF與所述紅外圖像的SURF，進行圖像的配準。具體將所述可見光圖像和紅外圖像進行圖像配準是現有技術，在本發明實施例中對該過程不再進行贅述。

實施例5：

為了提高融合后的圖像的清晰度，在上述各實施例的基礎上，在本發明實施例中，所述采用相同的劃分方法，將獲取的可見光圖像和紅外圖像劃分為多個層次之前，所述方法還包括：

將所述可見光圖像進行透霧處理和/或導向濾波。

具體的，對可見光圖像進行透霧處理和/或導向濾波，消除可見光圖像中的噪音，提高可見光圖像的清晰度，具體將所述可見光圖像進行透霧處理和導向濾波是現有技術，在本發明實施例中對該過程不再進行贅述。

為了更好的提高可見光圖像的清晰度，所述將所述可見光圖像進行透霧處理包括：

獲取所述可見光圖像的暗通道分量；

根據所述暗通道分量中每個參數的值，確定所述暗通道分量中參數的最大值的目標參數，識別所述目標參數對應的可見光圖像的目標像素點；

將所述可見光圖像的目標像素點的紅R值、綠G值、藍B值中的最小值作為目標光照強度的數值；

將所述目標光照強度的數值作為所述可見光圖像每個像素點對應的光照強度的數值，判斷所述可見光圖像中每個像素點對應的光照強度的數值與該像素點對應的暗通道分量中對應參數的值的差是否小于第一設定閾值；

如果是，根據該像素點對應的光照強度的數值與像素點對應的暗通道分量中對應參數的值的差、所述第一設定閾值及初始透射率，確定該像素點對應的第一透射率。

在可見光圖像采集過程中，如果存在與天空、水域接近的白色的明亮區域時，會導致可見光圖像對應區域的亮度過大，造成融合后的圖像該對應的區域亮度異常，不能對所述對應的區域的圖像細節清晰的顯示，影響用戶的體驗，在本發明實施例中為了消除所述明亮區域對所述可見光圖像的影響，對所述可見光圖像進行透霧處理。

具體的，針對可見光圖像，獲取所述可見光圖像的暗通道分量，比較所述暗通道分量中每個參數的值，確定暗通道分量中參數的最大值對應的參數為目標參數，根據目標參數在所述暗通道分量中的位置，識別所述目標參數對應的可見光圖像的目標像素點，根據所述目標像素點對應的紅(red，R)值、綠(green，G)值、藍(blue，B)值，將該像素點對應的R值、G值、B值最小的數值確定為目標光照強度的數值。

判斷所述目標光照強度的數值與所述可見光圖像每個像素點對應的暗通道分量中對應參數的值是否小于第一設定閾值，第一設定閾值可以為70、80、90等，具體的第一設定閾值可以根據圖像采集環境的光照強度和紅外強度來確定。如果可見光圖像某個像素點暗通道分量中對應參數的值大于所述第一設定閾值，則說明該像素點對應著明亮區域，根據該像素點對應的光照強度的數值，即目標光照強度的數值，與該像素點對應的暗通道分量中對應的參數的值的差、所述第一設定閾值及初始透射率，確定該像素點對應的第一透射率。例如：所述差的值為100、所述第一設定閾值為80,、所述初始透射率為1，可以確定該像素點對應的第一透射率為100/(2*80)*1＝0.625。

為了消除所述明亮區域對可見光圖像的影響，所述根據該像素點對應的光照強度的數值與像素點對應的暗通道分量中對應參數的值的差、所述第一設定閾值及初始透射率，確定該像素點對應的第一透射率包括：

確定該像素點對應的光照強度的數值與像素點對應的暗通道分量中對應參數的值的差與第一設定閾值的比值；

將所述比值及初始透射率的乘積確定為像素點對應的第一透射率。

具體的，關于每個像素點的初始透射率，可以根據公式

進行確定，其中DARK_C為該像素點對應的暗通道分量中對應參數的值，AC為目標大氣強度的數值，t為初始透射率，Thr為預先設定的透霧強度調節閾值，數值越大透霧強度越大。得到每個像素點的初始透射率后，根據該像素點對應的光照強度的數值與像素點對應的暗通道分量中對應參數的值的差與第一設定閾值的比值，將所述比值與該點對應的初始透射率的乘積確定為該像素點對應的第一透射率。

圖4為本發明實施例提供的一種圖像融合過程示意圖，該過程包括：

S401：將獲取的可見光圖像和紅外圖像進行圖像配準。

S402：將所述可見光圖像進行透霧處理和/或導向濾波。

S403：采用相同的劃分方法，將所述可見光圖像和紅外圖像劃分為多個層次，獲取可見光圖像和紅外圖像的低頻分量，和對應每個層次的高頻分量。

S404：針對所述可見光圖像和紅外圖像的低頻分量中的對應參數，判斷所述對應參數的值的差是否大于設定閾值，如果是，進行S405，如果否，進行S406。

S405：將所述可見光圖像的低頻分量中該參數的值作為融合后的低頻分量中對應參數的值。

S406：根據所述可見光圖像和紅外圖像的低頻分量中的該對應參數的值，及預設的低頻融合算法，確定融合后的低頻分量中對應參數的值。

S407：根據可見光圖像和紅外圖像對應每個層次的高頻分量及預先設定的高頻融合算法，確定每個層次融合后的高頻分量。

S408：將確定的所述融合后的低頻分量和融合后的每層次的高頻分量進行重構，得到融合后的圖像。

實施例6：

在對根據可見光圖像的每個像素點及該像素點對應的差值對該像素點的透射率進行更改后，在所述明亮區域可能會產生色斑，影響融合后的圖像的清晰度，為了提高融合后的圖像的清晰度，在上述各實施例的基礎上，在本發明實施例中，確定該像素點對應的第一透射率后，所述方法還包括：

統計所述可見光圖像中對應的第一透射率小于第二設定閾值的像素點的數量，判斷所述數量與可見光圖像中像素點的總數量的比值是否大于第三設定閾值；

如果是，將所述第一透射率小于第四設定閾值的像素點的第一透射率更改為1。

具體的，統計所述可見光圖像中對應的第一透射率小于第二設定閾值的像素點的數量，判斷所述數量與可見光圖像中像素點的總數量的比值是否大于第三設定閾值，如果大于第三設定閾值則需要對所述第一透射率進行優化，消除色斑，將所述第一透射率小于第四設定閾值的像素點的第一透射率更改為1，其中，所述第二設定閾值為預先設定的檢測閾值，可以為0.4、0.5、0.6等，所述第三設定閾值為根據圖像獲取的環境設置的，例如：白天為0.1，晚上為0.2，所述第四閾值可以根據所述所述數量與可見光圖像中像素點的總數量的比值來確定，例如可以為所述比值的3倍、4倍等。

實施例7：

為了實現可見光圖像和紅外圖像的低頻分量中對應參數的融合，在上述各實施例的基礎上，對可見光圖像和紅外圖像的低頻分量中對應參數的融合方式包括：

方式一、

所述根據所述可見光圖像和紅外圖像的低頻分量中的該對應參數的值，及預設的低頻融合算法，確定融合后的低頻分量中對應參數的值包括：

根據F_L＝L_W·V_L+(1-L_W)·N_L，確定融合后的低頻分量中對應參數的值，其中F_L為融合后的低頻分量中對應參數的值，V_L為可見光圖像低頻分量中該對應參數的值，N_L為紅外圖像低頻分量中該對應參數的值，L_W為融合時可見光圖像對應的權重，La為預先設定的可見光圖像的融合比例，K為預先設定的閾值。

具體的，例如：預先設定的可見光圖像的融合比例La為0.8，預先設定的閾值為K為90，可見光圖像和紅外圖像的低頻分量中的該對應參數的值分別為210、180，將可見光圖像和紅外圖像的低頻分量中的該對應參數的值分別為210、180，代入公式得到L_W為0.7，將L_W為0.7代入公式得到F_L中對應參數的值為201。

方式二、

所述根據所述可見光圖像和紅外圖像的低頻分量中的該對應參數的值，及預設的低頻融合算法，確定融合后的低頻分量中對應參數的值包括：

根據F_L＝la·V_L+(1-la)·N_L,la∈[0,1]，確定融合后的低頻分量中對應參數的值，其中F_L為融合后的低頻分量中對應參數的值，V_L為可見光圖像低頻分量中該對應參數的值，N_L為紅外圖像低頻分量中該對應參數的值，La為預先設定的可見光圖像的融合比例，其中La的取值范圍在[0，1]之間。

具體的，例如：預先設定的可見光融合比例La為0.8，可見光圖像和紅外圖像的低頻分量中的該對應參數的值分別為210、180，將可見光圖像和紅外圖像的低頻分量中的該對應參數的值分別為210、180，代入公式F_L＝la·V_L+(1-la)·N_L,la∈[0,1]得到F_L中對應參數的值為204。

實施例8：

為了實現可見光圖像和紅外圖像對應每個層次的高頻分量的融合，在上述各實施例的基礎上，對可見光圖像和紅外圖像對應每個層次的高頻分量的融合方式包括：

方式一、所述根據可見光圖像和紅外圖像對應每個層次的高頻分量及預先設定的高頻融合算法，確定每個層次融合后的高頻分量包括：

根據確定每個層次融合后的高頻分量，其中針對每個層次的可見光圖像對應的高頻分量和紅外對應對應的低頻分量，M、N為該層次可見光圖像對應的高頻分量和紅外圖像對應的高頻分量對應矩陣的的行數和列數，R為預先設定的窗口閾值，D1(i，j)為該層次可見光圖像對應的高頻分量對應矩陣(i，j)點對應參數的可見光區域能量，D2(i，j)為該層次紅外圖像對應的高頻分量對應矩陣(i，j)點對應參數的紅外區域能量，DD為該層次可見光圖像對應的高頻分量對應矩陣(i，j)點和紅外圖像對應的高頻分量對應矩陣(i，j)點的區域能量相關性，F_H為該層次融合后的高頻分量中對應參數的值。

具體的，針對每層次的可見光圖像對應的高頻分量中每個參數和紅外圖像對應的高頻分量中對應參數，確定對應的可見光區域能量D1，紅外區域能量D2，區域能量相關性DD，

將所述D1、D2、DD代入公式確定該層次該參數對應融合后的高頻分量中對應參數的值。

方式二、

所述根據可見光圖像和紅外圖像對應每個層次的高頻分量及預先設定的高頻融合算法，確定每個層次融合后的高頻分量包括：

根據確定每個層次融合后的高頻分量，其中F_H為該層次融合后的高頻分量對應矩陣(i，j)點的參數的值，V_H為該層次可見光圖像高頻分量對應矩陣(i，j)點的參數的值，N_H為該層次紅外圖像高頻分量對應矩陣(i，j)點的參數的值。

具體的，確定每層次融合后的高頻分量F_H中每個參數的值時，比較對應該層次的可見光圖像高頻分量中對應參數的值與對應該層次的紅外圖像高頻分量中對應參數的值的大小，選取所述對應參數的值較大的值作為該層次融合后的高頻分量F_H中對應參數的值。

圖5為本發明實施例提供的一種圖像融合過程示意圖，具體的，針對獲取的可見光圖像和紅外圖像進行圖像配準，針對可見光圖像進行透霧處理和導向濾波，增加可見光圖像的清晰度，將可見光圖像和紅外圖像采用同樣的劃分方法進行劃分，獲取可見光圖像和紅外圖像的低頻分量，和對應每個層次的高頻分量，對可見光圖像和紅外圖像的低頻分量，和對應每個層次的高頻分量進行處理，將處理后的可見光圖像和紅外圖像的低頻分量進行融合得到融合后的低頻分量，將處理后的可見光圖像和紅外圖像的對應每個層次的高頻分量進行融合，確定每層次融合后的高頻分量，將所述融合后的低頻分量和每層次融合后的高頻分量進行重構，得到融合后的圖像。

實施例9：

圖6為本發明實施例提供的一種圖像融合裝置結構示意圖，所述裝置包括：

劃分模塊61，用于采用相同的劃分方法，將獲取的可見光圖像和紅外圖像劃分為多個層次；

獲取模塊62，用于獲取可見光圖像和紅外圖像的低頻分量，和對應每個層次的高頻分量；

低頻融合模塊63，用于針對所述可見光圖像和紅外圖像的低頻分量中的對應參數，判斷所述對應參數的值的差是否大于設定閾值，如果是，將所述可見光圖像的低頻分量中該參數的值作為融合后的低頻分量中對應參數的值；如果否，根據所述可見光圖像和紅外圖像的低頻分量中的該對應參數的值，及預設的低頻融合算法，確定融合后的低頻分量中對應參數的值；

高頻融合模塊64，用于根據可見光圖像和紅外圖像對應每個層次的高頻分量及預先設定的高頻融合算法，確定每個層次融合后的高頻分量；

重構模塊65，用于將確定的所述融合后的低頻分量和每層次融合后的高頻分量進行重構，得到融合后的圖像。

所述裝置還包括：

第一處理模塊66，用于針對可見光圖像對應每個層次的高頻分量進行映射處理與中值濾波；和/或，針對紅外圖像對應每個層次的高頻分量進行放大處理。

所述第一處理模塊66，具體用于針對可見光圖像對應每個層次的高頻分量中的每個參數的值，判斷該參數的值的絕對值是否小于第一參數閾值；如果是，將該參數的值更新為零；如果否，判斷該參數的值的絕對值是否小于第二參數閾值，如果是，根據預先設定的參數調整系數對該參數的值進行更新，其中第二參數閾值大于第一參數閾值。

所述裝置還包括：

配準模塊67，用于將所述可見光圖像和紅外圖像進行圖像配準。

所述裝置還包括：

第二處理模塊68，用于將所述可見光圖像進行透霧處理和/或導向濾波。

所述第二處理模塊68，具體用于獲取所述可見光圖像的暗通道分量；根據所述暗通道分量中每個參數的值，確定所述暗通道分量中參數的最大值的目標參數，識別所述目標參數對應的可見光圖像的目標像素點；將所述可見光圖像的目標像素點的紅R值、綠G值、藍B值中的最小值作為目標光照強度的數值；將所述目標光照強度的數值作為所述可見光圖像每個像素點對應的光照強度的數值，判斷所述可見光圖像中每個像素點對應的光照強度的數值與該像素點對應的暗通道分量中對應參數的值的差是否小于第一設定閾值；如果是，根據該像素點對應的光照強度的數值與像素點對應的暗通道分量中對應參數的值的差、所述第一設定閾值及初始透射率，確定該像素點對應的第一透射率。

所述第二處理模塊68，具體用于確定該像素點對應的光照強度的數值與像素點對應的暗通道分量中對應參數的值的差與第一設定閾值的比值；將所述比值及初始透射率的乘積確定為像素點對應的第一透射率。

所述第二處理模塊68，還用于統計所述可見光圖像中對應的第一透射率小于第二設定閾值的像素點的數量，判斷所述數量與可見光圖像中像素點的總數量的比值是否大于第三設定閾值；如果是，將所述第一透射率小于第四設定閾值的像素點的第一透射率更改為1。

所述低頻融合模塊63，具體用于根據F_L＝L_W·V_L+(1-L_W)·N_L，確定融合后的低頻分量中對應參數的值，其中F_L為融合后的低頻分量中對應參數的值，V_L為可見光圖像低頻分量中該對應參數的值，N_L為紅外圖像低頻分量中該對應參數的值，L_W為融合時可見光圖像對應的權重，La為預先設定的可見光圖像的融合比例，K為預先設定的閾值。

所述高頻融合模塊64，具體用于根據確定每個層次融合后的高頻分量，其中針對每個層次的可見光圖像對應的高頻分量和紅外對應對應的低頻分量，M、N為該層次可見光圖像對應的高頻分量和紅外圖像對應的高頻分量對應矩陣的行數和列數，R為預先設定的窗口閾值，D1(i，j)為該層次可見光圖像對應的高頻分量對應矩陣(i，j)點對應參數的可見光區域能量，D2(i，j)為該層次紅外圖像對應的高頻分量對應矩陣(i，j)點對應參數的紅外區域能量，DD為該層次可見光圖像對應的高頻分量對應矩陣(i，j)點和紅外圖像對應的高頻分量對應矩陣(i，j)點的區域能量相關性，F_H為該層次融合后的高頻分量中對應參數的值。

本發明實施例公開了一種圖像融合方法及裝置，應用于電子設備，該方法包括：采用相同的劃分方法，將獲取的可見光圖像和紅外圖像劃分為多個層次；獲取可見光圖像和紅外圖像的低頻分量，和對應每個層次的高頻分量，其中所述低頻分量中包含至少一個參數，所述高頻分量中包含至少一個參數；針對所述可見光圖像和紅外圖像的低頻分量中的對應參數，判斷所述對應參數的值的差是否大于設定閾值，如果是，將所述可見光圖像的低頻分量中該參數的值作為融合后的低頻分量中對應參數的值；如果否，根據所述可見光圖像和紅外圖像的低頻分量中的該對應參數的值，及預設的低頻融合算法，確定融合后的低頻分量中對應參數的值；根據可見光圖像和紅外圖像對應每個層次的高頻分量及預先設定的高頻融合算法，確定融合后的每個層次的高頻分量；將確定的所述融合后的低頻分量和融合后的每層次的高頻分量進行重構，得到融合后的圖像。由于在本發明實施例中，在根據預設的低頻融合算法，確定融合后的低頻分量中對應參數的值之前，針對所述可見光圖像和紅外圖像的低頻分量中的對應參數，判斷所述對應參數的值的差是否大于設定閾值，如果所述差值大于設定閾值，將所述可見光圖像的低頻分量中該參數的值作為融合后的低頻分量中對應參數的值，消除了因物體的材料或顏色造成紅外圖像中亮度異常變高反應融合后的圖像不真實的問題，并根據預先設定的高頻融合算法，確定每個層次融合后的高頻分量，將確定的所述融合后的低頻分量和融合后的每層次的高頻分量進行重構，得到融合后的圖像。針對可見光圖像和紅外圖像進行了深層次的融合，實現了對圖像細節的清晰顯示，并解決了在紅外圖像中亮度異常變高時反應的圖像不真實的問題，提高了用戶的體驗。

對于系統/裝置實施例而言，由于其基本相似于方法實施例，所以描述的比較簡單，相關之處參見方法實施例的部分說明即可。

需要說明的是，在本文中，諸如第一和第二等之類的關系術語僅僅用來將一個實體或者一個操作與另一個實體或者另一個操作區分開來，而不一定要求或者暗示這些實體或者操作之間存在任何這種實際的關系或者順序。

本領域內的技術人員應明白，本申請的實施例可提供為方法、系統、或計算機程序產品。因此，本申請可采用完全硬件實施例、完全軟件實施例、或結合軟件和硬件方面的實施例的形式。而且，本申請可采用在一個或多個其中包含有計算機可用程序代碼的計算機可用存儲介質(包括但不限于磁盤存儲器、CD-ROM、光學存儲器等)上實施的計算機程序產品的形式。

本申請是參照根據本申請實施例的方法、設備(系統)、和計算機程序產品的流程圖和/或方框圖來描述的。應理解可由計算機程序指令實現流程圖和/或方框圖中的每一流程和/或方框、以及流程圖和/或方框圖中的流程和/或方框的結合。可提供這些計算機程序指令到通用計算機、專用計算機、嵌入式處理機或其他可編程數據處理設備的處理器以產生一個機器，使得通過計算機或其他可編程數據處理設備的處理器執行的指令產生用于實現在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的裝置。

這些計算機程序指令也可存儲在能引導計算機或其他可編程數據處理設備以特定方式工作的計算機可讀存儲器中，使得存儲在該計算機可讀存儲器中的指令產生包括指令裝置的制造品，該指令裝置實現在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能。

這些計算機程序指令也可裝載到計算機或其他可編程數據處理設備上，使得在計算機或其他可編程設備上執行一系列操作步驟以產生計算機實現的處理，從而在計算機或其他可編程設備上執行的指令提供用于實現在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的步驟。

盡管已描述了本申請的優選實施例，但本領域內的技術人員一旦得知了基本創造性概念，則可對這些實施例做出另外的變更和修改。所以，所附權利要求意欲解釋為包括優選實施例以及落入本申請范圍的所有變更和修改。

顯然，本領域的技術人員可以對本申請進行各種改動和變型而不脫離本申請的精神和范圍。這樣，倘若本申請的這些修改和變型屬于本申請權利要求及其等同技術的范圍之內，則本申請也意圖包含這些改動和變型在內。