專利名稱：一種基于顯著區域分析的紅外與可見光遙感圖像配準方法
技術領域：
本發明涉及圖像處理技術領域，尤其是ー種基于顯著區域分析的紅外與可見光遙感圖像配準方法，可用于航天、航空傳感器平臺獲取的紅外與可見光遙感圖像的配準。
背景技術：
近年來，我國的對地觀測衛星快速發展，衛星的數量和應用領域不斷擴大，大量的觀測數據廣泛應用于社會經濟發展的各個領域，發揮了不可替代的作用。采用多源傳感器是對地觀測系統的ー個重要特點，紅外和可見光傳感器是多源傳感器中重要的兩種傳感器。由于這兩種傳感器具有不同的成像機理，因此獲取的圖像體現了觀測對象的不同特性，具有良好的互補性，因此，將二者進行融合具有巨大的應用前景，而紅外與可見光圖像的配準則是融合的重要基礎。·紅外與可見光傳感器由于成像機理不同帶來的成像上的差異，加上紅外圖像自身分辨率較低的影響，給配準造成了巨大的困難。雖然近年來有研究人員針對紅外與可見光的配準問題開展了研究，也取得了一定的成果，但是其距離實用化還有很大的距離。因此，如何高效和準確的實現紅外與可見光圖像的配準，充分發揮遙感圖像尤其是紅外圖像的使用效能，仍是ー個極具挑戰性的難點課題，尚存許多問題亟待解決，因此，很有必要對其進行深入的研究和探討。
發明內容
紅外與可見光圖像配準技術是兩種圖像進行融合的基礎，對于紅外與可見光圖像的綜合應用具有重要意義，同時也是使用高精度可見光圖像提高紅外圖像定位精度的重要技術途徑。紅外與可見光圖像由于成像機理不同，具有各自不同的特點和良好的互補性，也正是由于成像機理的不同，給配準帶來了巨大的難度，目前的技術還無法實現高效、準確和自動化的配準。本發明的目的是綜合顯著性分析和遙感圖像中的先驗信息的約束，提供一種自動高效的紅外和可見光圖像配準方法，該方法包括以下步驟步驟SI，根據經緯度信息計算紅外與可見光遙感圖像的重疊區域，并對所述紅外與可見光遙感圖像中的重疊區域進行尺度歸ー化，得到具有相同尺度和相同方向的紅外遙感重疊圖像與可見光遙感重疊圖像，所述紅外與可見光遙感圖像為帶有地理定位信息也就是經緯度信息的、經過了方向校正的紅外與可見光遙感圖像；步驟S2，基于歸ー化后的所述紅外遙感重疊圖像與可見光遙感重疊圖像，根據特征一致性原則提取所述紅外遙感重疊圖像中有利于進行特征匹配的顯著區域，相應地得到用于圖像配準的顯著性圖像；步驟S3，分別提取歸ー化后的所述紅外遙感重疊圖像與可見光遙感重疊圖像中的尺度不變特征變換SIFT特征點，并計算相應特征點的特征描述子；步驟S4，利用所述步驟S3得到的兩幅重疊圖像的SIFT特征點的特征相似度、尺度和距離約束進行特征點匹配，得到匹配成功的特征點對；步驟S5，根據所述步驟S4得到的特征點對在所述顯著性圖像中相應位置的像素點的值對特征點對之間的相似度進行加權，并根據加權后的各個特征點對之間的相似度對各個特征點對進行排序；步驟S6，根據加權排序后的特征點對集合計算變換矩陣；步驟S7，根據所述變換矩陣，將所述紅外遙感圖像變換到與所述可見光遙感圖像相同的坐標系中，得到與所述可見光遙感圖像配準的紅外遙感圖像。本發明的有益效果是，本發明通過基于顯著性分析的方法對特征點對進行了選擇，抑制了錯誤的匹配結果對結果的影響，從而解決了紅外與可見光圖像由于傳感器類型不同所造成的配準難點。本發明提出的紅外與可見光圖像配準方法使用范圍廣，計算效率聞。
圖I是本發明提出的基于顯著區域分析的紅外與可見光遙感圖像配準方法的流程圖。圖2是本發明基于特征一致性的顯著區域分析流程圖。
具體實施例方式為使本發明的目的、技術方案和優點更加清楚明白，以下結合具體實施例，并參照附圖，對本發明進ー步詳細說明。本發明使用的方法既可以在個人計算機、エ控機及服務器上以軟件的形式安裝并執行，也可將方法做成嵌入式芯片以硬件的形式來體現。圖I是本發明提出的基于顯著區域分析的紅外與可見光遙感圖像配準方法的流程圖，如圖I所示，本發明提出的基于顯著區域分析的紅外與可見光遙感圖像配準方法，包括以下幾個步驟步驟SI，根據經緯度信息計算紅外與可見光遙感圖像的重疊區域，并對所述紅外與可見光遙感圖像中的重疊區域進行尺度歸ー化，得到具有相同尺度和相同方向的紅外遙感重疊圖像與可見光遙感重疊圖像；所述紅外與可見光遙感圖像為帶有地理定位信息也就是經緯度信息的、經過了方向校正的紅外與可見光遙感圖像，即2級遙感圖像，該圖像的上方對應正北方向。所述步驟SI中對所述紅外與可見光遙感圖像中的重疊區域進行尺度歸ー化的步驟進一歩包括步驟S11，根據各自的圖像分辨率計算所述紅外與可見光遙感圖像的相對像元尺寸；設輸入的紅外遙感圖像的分辨率Fl為10米，可見光遙感圖像的分辨率F2為2米，則紅外遙感圖像與可見光遙感圖像的相對像元尺寸為Fl F2 = 5。步驟S12，截取所述紅外與可見光遙感圖像的重疊區域，得到紅外與可見光遙感圖像的重疊圖像；步驟S13，根據所述相對像元尺寸將截取得到的兩幅重疊圖像調整到同樣的尺度；
根據所述步驟Sll計算得到的相對像元尺寸，將所述可見光遙感圖像的重疊圖像的尺寸調整為原來的五分之一，即可使得紅外遙感圖像與可見光遙感圖像的重疊圖像具有相同的尺度，實現所述紅外與可見光遙感圖像的重疊區域的尺度歸ー化。步驟S2，基于歸ー化后的所述紅外遙感重疊圖像與可見光遙感重疊圖像，根據特征一致性原則提取所述紅外遙感重疊圖像中有利于進行特征匹配的顯著區域，相應地得到用于圖像配準的顯著性圖像；所述有利于進行特征匹配的顯著區域指的是具有良好特征一致性的區域，即兩幅重疊圖像的該區域中均具有明顯的紋理和結構特征，并且特征具有一定相似度。圖2是本發明基于特征一致性的顯著區域分析的流程圖，如圖2所示，所述步驟S2進ー步包括以下幾個步驟步驟S21，分別對紅外遙感重疊圖像和可見光遙感重疊圖像進行降采樣處理；由于步驟SI中已經將紅外遙感重疊圖像和可見光遙感重疊圖像調整到了同樣的尺度，因此只需要對兩幅重疊圖像進行相同比例的降采樣處理即可；本發明的實施例中，將紅外遙感重疊圖像和可見光遙感重疊圖像的分辨率均降為原來的1/5。所述步驟S21的降采樣操作一方面可以有效抑制圖像中的噪聲，另ー方面還可以縮小步驟SI中利用經緯度信息對紅外與可見光遙感圖像進行粗匹配的結果中像素之間的距離，有利于接下來的特征匹配，同時還能夠減小計算量。步驟S22，在經過降采樣處理的紅外遙感重疊圖像上提取顯著邊緣特征點，即其梯度值大于指定閾值的邊緣點，得到所述紅外遙感重疊圖像的邊緣圖像；在本發明的實施例中，采用Canny算子來計算某邊緣點的梯度值,Canny算法中包含兩個閾值，本發明實施例將第一個閾值設定為60，將第二個閾值設定為第一個閾值的三倍即180。步驟S23，根據所述步驟S22檢測到的紅外遙感重疊圖像的邊緣圖像提取紅外遙感重疊圖像的輪廓曲線，并僅保留其中長度均大于指定閾值的輪廓曲線；所述步驟S23中，使用本領域通用的邊緣跟蹤方法來提取紅外遙感重疊圖像的輪廓曲線，輪廓曲線上像素的數目即為輪廓曲線的長度，該步驟在提取輪廓曲線時，只提取長度滿足要求的顯著輪廓曲線，以保證輪廓特征的穩定性，在本發明的實施例中，輪廓長度的閾值設定為100。步驟S24，對于所述步驟S23得到的紅外遙感重疊圖像中的每ー個輪廓曲線，通過在降采樣處理后的可見光遙感重疊圖像中尋找其對應匹配結果來計算每一個輪廓曲線的匹配度；所述步驟S24中尋找對應匹配結果的步驟進一歩包括如下步驟步驟S241，在可見光遙感重疊圖像上提取邊緣點，且只保留梯度值大于指定閾值的邊緣點；在本發明的實施例中，使用Sobel算子來計算該梯度值，且閾值設定為80。步驟S242，對于紅外遙感重疊圖像中的某個輪廓曲線C，將其與可見光遙感重疊圖像進行匹配，并計算該輪廓曲線C的匹配度。將該輪廓曲線C上面的每ー個點記為pi，設其坐標為(xi，yi)，如果在可見光遙感重疊圖像中以坐標(xi，yi)為中心，以r為半徑的范圍內存在與點pi的梯度方向相同的點，則認為點Pi在可見光遙感重疊圖像中存在匹配點，同時在可見光遙感重疊圖像中去除該匹配點，以避免重復匹配。按照上述方法對輪廓曲線C上的每ー個點進行匹配，得到可見光遙感重疊圖像中的多個匹配點。若輪廓曲線C的長度為N，在可見光遙感圖像的重疊圖像中匹配得到的匹配點的數目為NR，則該輪廓曲線C的匹配度為P = NR/N。步驟S25，根據所述每ー個輪廓曲線的匹配度對所述輪廓曲線附近區域的所有像素點進行賦值，即將所述輪廓曲線附近區域的所有像素點賦值為該輪廓曲線的匹配度，具有高匹配度的區域即為顯著區域。所述輪廓曲線的附近區域指的是以輪廓曲線上的點為中心，以Rl為半徑的區域，在本發明的實施例中，Rl取值為10。所述匹配度越高，就認為相應的附近區域的特征一致性越好，該區域的顯著性值 就越大。通過上述顯著區域的分析步驟不僅得到了具有良好特征一致性的區域，并且這些區域也是在兩幅圖像中均存在明顯的紋理特征的區域，因此，在這些區域提取的特征點更有利于實現特征的匹配。最終的顯著性圖像反映了在大尺度上紅外與可見光遙感圖像的重疊圖像是否一致，大尺度上特征一致的區域將在圖像精配準時對應更多地特征。步驟S3，分別提取歸ー化后的所述紅外遙感重疊圖像與可見光遙感重疊圖像中的SIFT (尺度不變特征變換)特征點，并計算相應特征點的特征描述子；在計算特征點的特征描述子時，考慮到紅外遙感圖像反映的是地物的溫度特性，其與可見光遙感圖像中的灰度值并沒有嚴格的對應關系，因此本發明使用0-180度的范圍，即認為相差180度的兩個梯度方向是相同的。該步驟中，特征點的提取和特征描述子的計算均采用本領域通用的標準SIFT方法，只是標準SIFT方法在計算梯度方向的時候，計算出的梯度方向Dir為0-360度，而本發明實施例中，根據上述考慮對其進行修改Dir = Dir% 180。步驟S4，利用所述步驟S3得到的兩幅重疊圖像的SIFT特征點的特征相似度、尺度和距離約束進行特征點匹配，得到匹配成功的特征點對；設紅外遙感重疊圖像中的特征點記為featl,其尺度為si,位置為(xl, yl),特征描述子為descrl ;可見光遙感重疊圖像中的特征點記為feat2,其尺度為s2,位置為(x2,y2)，特征描述子為descrf，其中，各特征點的尺度和位置信息均是在所述步驟S3提取特征點時得到的。如果上述兩個特征點滿足如下式所示的特征相似度、尺度和距離約束，則認為特征點featl和feat2為ー個匹配成功的特征點對DescrDist (descrl, descr2) < descrThres,sl/s2 > O. 5&sl/s2 < 2，
權利要求
1.ー種基于顯著區域分析的紅外與可見光遙感圖像配準方法，其特征在于，該方法包括以下步驟 步驟Si，根據經緯度信息計算紅外與可見光遙感圖像的重疊區域，并對所述紅外與可見光遙感圖像中的重疊區域進行尺度歸ー化，得到具有相同尺度和相同方向的紅外遙感重疊圖像與可見光遙感重疊圖像，所述紅外與可見光遙感圖像為帶有地理定位信息也就是經緯度信息的、經過了方向校正的紅外與可見光遙感圖像； 步驟S2，基于歸ー化后的所述紅外遙感重疊圖像與可見光遙感重疊圖像，根據特征一致性原則提取所述紅外遙感重疊圖像中有利于進行特征匹配的顯著區域，相應地得到用于圖像配準的顯著性圖像； 步驟S3，分別提取歸ー化后的所述紅外遙感重疊圖像與可見光遙感重疊圖像中的尺度不變特征變換SIFT特征點，并計算相應特征點的特征描述子； 步驟S4，利用所述步驟S3得到的兩幅重疊圖像的SIFT特征點的特征相似度、尺度和距離約束進行特征點匹配，得到匹配成功的特征點對； 步驟S5，根據所述步驟S4得到的特征點對在所述顯著性圖像中相應位置的像素點的值對特征點對之間的相似度進行加權，并根據加權后的各個特征點對之間的相似度對各個特征點對進行排序； 步驟S6，根據加權排序后的特征點對集合計算變換矩陣； 步驟S7，根據所述變換矩陣，將所述紅外遙感圖像變換到與所述可見光遙感圖像相同的坐標系中，得到與所述可見光遙感圖像配準的紅外遙感圖像。
2.根據權利要求I所述的方法，其特征在于，所述步驟SI中對所述紅外與可見光遙感圖像中的重疊區域進行尺度歸ー化的步驟進一歩包括 步驟S11，根據各自的圖像分辨率計算所述紅外與可見光遙感圖像的相對像元尺寸；步驟S12，截取所述紅外與可見光遙感圖像的重疊區域，得到紅外與可見光遙感圖像的重置圖像； 步驟S13，根據所述相對像元尺寸將截取得到的兩幅重疊圖像調整到同樣的尺度。
3.根據權利要求I所述的方法，其特征在于，所述步驟S2中，所述有利于進行特征匹配的顯著區域指的是具有良好特征一致性的區域，即兩幅重疊圖像的該區域中均具有明顯的紋理和結構特征，并且特征具有一定相似度。
4.根據權利要求I所述的方法，其特征在于，所述步驟S2進ー步包括以下幾個步驟 步驟S21，分別對紅外遙感重疊圖像和可見光遙感重疊圖像進行降采樣處理； 步驟S22，在經過降采樣處理的紅外遙感重疊圖像上提取顯著邊緣特征點，即其梯度值大于指定閾值的邊緣點，得到所述紅外遙感重疊圖像的邊緣圖像； 步驟S23，根據所述步驟S22檢測到的紅外遙感重疊圖像的邊緣圖像提取紅外遙感重疊圖像的輪廓曲線，并僅保留其中長度均大于指定閾值的輪廓曲線； 步驟S24，對于所述步驟S23得到的紅外遙感重疊圖像中的每ー個輪廓曲線，通過在降采樣處理后的可見光遙感重疊圖像中尋找其對應匹配結果來計算每一個輪廓曲線的匹配度； 步驟S25，根據所述每ー個輪廓曲線的匹配度對所述輪廓曲線附近區域的所有像素點進行賦值，即將所述輪廓曲線附近區域的所有像素點賦值為該輪廓曲線的匹配度，具有高匹配度的區域即為顯著區域。
5.根據權利要求4所述的方法，其特征在于，所述步驟S24中尋找對應匹配結果的步驟進ー步包括如下步驟 步驟S241，在可見光遙感重疊圖像上提取邊緣點，且只保留梯度值大于指定閾值的邊緣點； 步驟S242，對于紅外遙感重疊圖像中的某個輪廓曲線C，將其與可見光遙感重疊圖像進行匹配，并計算該輪廓曲線C的匹配度。
6.根據權利要求5所述的方法，其特征在于，所述步驟S242中，將該輪廓曲線C上面的姆ー個點記為pi，設其坐標為(xi，yi)，如果在可見光遙感重疊圖像中以坐標(xi，yi)為中心，以r為半徑的范圍內存在與點pi的梯度方向相同的點，則認為點pi在可見光遙感重疊圖像中存在匹配點，同時在可見光遙感重疊圖像中去除該匹配點，以避免重復匹配。
7.根據權利要求5所述的方法，其特征在于，若輪廓曲線C的長度為N，在可見光遙感圖像的重疊圖像中匹配得到的匹配點的數目為NR，則該輪廓曲線C的匹配度為P = NR/N。
8.根據權利要求I所述的方法，其特征在于，所述步驟S4中，設紅外遙感重疊圖像中的特征點記為featl,其尺度為si,位置為(xl,yl),特征描述子為descrl ;可見光遙感重疊圖像中的特征點記為feat2,其尺度為s2,位置為(x2, y2),特征描述子為descr2 ； 若兩個特征點滿足如下式所示的特征相似度、尺度和距離約束，則認為特征點featl和feat2為ー個匹配成功的特征點對
9.根據權利要求I所述的方法，其特征在于，所述步驟S5中，所述對特征點對之間的相似度進行加權表示為(I-DescrDist)*MAX(salI, sal2)， 其中，I-DescrDist表示特征點對之間的相似度，sail, sal2分別為顯著性圖像中，與該特征點對中的兩個特征點在各自圖像中的位置相應的位置的像素點的值，DescrDist為該特征點對中特征點描述子之間的距離。
10.根據權利要求I所述的方法，其特征在于，設排序后的特征點對集合為PAIR={pair-1, pair-2, .··, pair-i, .··, pair-n},其中，pair-i 表示特征點對，η 為特征點對的個數； 所述步驟S6中 首先獲取所述集合中與pair-i具有平移一致性的所有特征點對組成特征點對子集合； 然后，在所述特征點對子集合上使用隨機抽樣一致性RANSAC方法來計算變換矩陣，并得到內點數目Mi ； 最后，遍歷特征點對子集合中所有的特征點對，取遍歷過程中產生最大內點數M的變換矩陣作為要求得的變換矩陣。
11.根據權利要求10所述的方法，其特征在于，設pair-i的兩個特征點的位置為(xli，yli)，(x2i, y2i)，則所述平移一致性的要求可以表示為，對于特征點對集合PAIR中除第i個特征點對外的其他特征點對pair-j (j i),如果滿足如下要求,則認為其與pair-i具有平移一致性dxi = xli_x2i,dyi = yli-y2i,dxj = xlj-x2j,dyj = ylj-y2j,
全文摘要
本發明公開了一種基于顯著區域分析的紅外與可見光遙感圖像配準方法，可用于航天、航空紅外與可見光遙感圖像的配準，該方法包括以下步驟根據經緯度信息獲取相同尺度和方向的紅外與可見光圖像；根據特征一致性原則提取紅外圖像中有利于進行特征匹配的顯著區域；提取兩幅圖像中的SIFT特征點并計算特征描述子；根據特征的相似度、尺度和距離約束進行特征匹配；根據顯著圖像對特征匹配結果進行加權并排序；選取具有平移一致性的匹配結果子集合；根據選取的特征點對子集合計算內點數最大的變換矩陣；將紅外圖像變換到與可見光圖像相同的坐標系中。本發明抑制了錯誤的匹配結果對結果的影響，解決了紅外與可見光圖像由于傳感器類型不同所造成的配準問題。
文檔編號G06T7/00GK102855621SQ20121024855
公開日2013年1月2日 申請日期2012年7月18日 優先權日2012年7月18日
發明者張吉祥, 張秀玲, 田原, 王彥情, 杜鵑 申請人:中國科學院自動化研究所, 北京市遙感信息研究所