遙感影像配準方法、裝置及系統與流程

本發明涉及遙感影像處理技術領域，特別涉及多源遙感影像配準的方法、裝置和系統。

背景技術：

圖像配準是指將不同時間、不同傳感器或者不同條件下獲取的有重疊區域的兩幅圖像進行幾何校準的過程。圖像配準技術是遙感圖像處理、圖像拼接、變化監測、多傳感器影像融合等領域的基礎。圖像配準的方法大致可以分為兩類：基于灰度信息的圖像配準方法和基于特征信息的圖像配準方法。

基于灰度的圖像配準方法容易實現，只需要獲取其灰度信息，建立待配準影像和基準影像之間的相似性度量函數，利用某一種搜索算法，尋找出使得相似性度量函數達到最優值。但這種算法具有以下局限性：1、灰度匹配不具有旋轉不變的特性；2、在最優值搜索過程中需要巨大的計算量；3、對于重紋理和弱紋理區域，灰度匹配不具有抗干擾的能力。

基于特征的圖像配準方法首先從圖像中提取邊緣、角點、輪廓和區域中心等特征，然后對特征點進行描述并找到他們之間的對應關系。這種方法所提取的特征是圖像的局部特征，在局部區域進行分析，從而大大減少了圖像處理過程的運算量。而且特征對于旋轉、尺度縮放、亮度變化保持不變性，對視角變化、仿射變換、噪聲也保持一定程度的穩定性。但是，特征匹配容易出現同名點在影像上分布不均勻的情況，使得影像配準的精度分布不均勻。

技術實現要素：

本發明申請的目的在于針對現有的影像配準技術的不足，將全局配準和局部配準、灰度配準和特征配準的優勢結起來，提出一種影像配準方法、裝置、系統和計算機可讀存儲介質，以高時效、高精度的配準效果實現多源遙感影像配準。

為實現上述目的，本發明申請提出一種影像配準方法，包括：

接收待配準影像和基準影像；

對待配準影像和基準影像進行全局粗匹配，以確定待配準影像和基準影像之間的仿射變換關系；

在待配準影像上提取種子點；

根據所獲得的種子點和所確定的仿射變換關系，在基準影像上尋找匹配點作為種子點的同名點；

將種子點和對應的同名點作為影像配準的控制點數據，以實現待配準影像和基準影像的配準。

本發明申請提出一種影像配準裝置，包括：影像接收單元、粗匹配單元、種子點提取單元、同名點確定單元和配準單元，其中，

影像接收單元設置成接收待配準影像和基準影像；

粗匹配單元設置成對待配準影像和基準影像進行全局粗匹配，以確定待配準影像和基準影像之間的仿射變換關系；

種子點提取單元設置成在待配準影像上提取種子點；

同名點匹配單元設置成根據所獲得的種子點和所確定的仿射變換關系，在基準影像上獲得匹配點作為種子點的同名點；

配準單元設置成將匹配的種子點和對應的同名點作為影像配準的控制點數據，以實現待配準影像和基準影像的配準。

本發明申請提出一種影像配準系統，包括：

處理器；

存儲有計算機可讀指令的計算機可讀存儲介質，所述計算機可讀存儲介質連接到所述處理器；

所述處理器配置為執行從計算機可讀存儲介質加載的所述計算機可讀指令以執行以下操作：

接收待配準影像和基準影像；

對待配準影像和基準影像進行全局粗匹配，以確定待配準影像和基準影像之間的仿射變換關系；

在待配準影像上提取的種子點；

根據所獲得的種子點和所確定的仿射變換關系，在基準影像上獲得匹配點作為種子點的同名點；

將種子點和對應的同名點作為影像配準的控制點數據，以實現待配準影像和基準影像的配準。

本發明申請還提出一種計算機可讀存儲介質，所述計算機可讀存儲介質存儲有指令，所述指令在一個或多個處理器上運行時執行以下操作：

接收待配準影像和基準影像；

對待配準影像和基準影像進行全局粗匹配，以確定待配準影像和基準影像之間的仿射變換關系；

在待配準影像上提取種子點；

根據所獲得的種子點和所確定的仿射變換關系，在基準影像上獲得匹配點作為種子點的同名點；

將種子點和對應的同名點作為影像配準的控制點數據，以實現待配準影像和基準影像的配準。

本發明的技術方案與現有技術相比具有如下優點：

1、利用特征匹配算法進行全局快速匹配，從而縮小了局部匹配的搜索范圍，大大提高了影像間的匹配效率。

2、通過全局匹配獲得待配準影像與基準影像間的仿射變換關系后，可保持旋轉不變性，再進行灰度匹配，克服了灰度匹配不具有旋轉不變性的弊端。

3、利用特征點提取算子在待配準影像上尋找的種子點時，首先對待配準影像進行格網劃分，在每個格網內進行特征點提取，有效避免特征匹配中特征點分布不均勻的弊端。而后對種子點進行灰度匹配，有效規避了重紋理和弱紋理區的情況。

4、金字塔由粗到細逐層匹配，減小了搜索范圍和計算量，因此提高了影像間匹配效率。

附圖說明

圖1示出本發明實施例的影像配準技術方案的實現流程。

圖2示出根據本發明實施方式的遙感影像配準方法的流程圖。

圖3示出了圖2中確定待配準影像和基準影像之間的仿射變換關系的流程圖。

圖4示出了圖2中根據所獲得的種子點和所確定的仿射變換關系，在基準影像上尋找種子點的同名點的流程圖。

圖5示出了根據本發明實施方式的遙感影像配準裝置的框圖。

圖6示出了根據本發明實施方式的遙感影像配準系統的框圖。

圖7示出了接收的待配準影像和基準影像。

圖8示出了待配準影像局部的金字塔分解示意圖。

圖9示出在待配準影像上提取的種子點的示意圖以及在基準圖像確定的同名點的示意圖。

圖10(a)示出了由種子點和搜索半徑確定的待配準影像上的區域；圖10(b)示出了種子點的對應同名點在基準影像相應金字塔層上可能存在的感興趣區域；圖10(c)示出了已變換到待配準影像坐標系下的感興趣區域的示意圖。

圖11示出了根據本發明實施方式的遙感影像配準結果的示意圖。

具體實施方式

下面結合附圖將結合附圖對本發明的實施方式做進一步詳細描述。

影像配準是指將不同時間、不同傳感器或者不同條件下獲取的有重疊區域的兩幅影像進行幾何校準的過程。圖1示出本發明實施例的影像配準技術方案的實現流程。本發明的影像配準技術方案的實現流程包括：確定待配準影像和基準影像的坐標變換關系；在待配準影像上提取種子點；在基準影像上確定種子點的對應同名點；以及基于種子點和對應的同名點進行高精度配準。在確定待配準影像和基準影像的坐標變換關系的環節中，對待配準影像和基準影像分別進行金字塔分解，在金字塔的頂層通過進行全局匹配獲得待配準影像和基準影像的仿射變換關系。在基準影像上確定種子點的對應同名點的環節中，對待配準影像進行特征提取，并從特征點中選取種子點。在確定同名點的環節中，基于所確定的仿射變換關系和提取的種子點，在金字塔分解的各層上，進行從粗到精的匹配，以在基準影像上獲得匹配點作為種子點的同名點。最后，基于種子點和對應的同名點對進行高精度配準。

圖2示出根據本發明實施方式的遙感影像配準方法的流程圖。該方法包括：100、接收待配準影像和基準影像；200、對待配準影像和基準影像進行全局粗匹配，以確定待配準影像和基準影像之間的仿射變換關系；300、在待配準影像上提取種子點；400、根據所獲得的種子點和所確定的仿射變換關系，在基準影像上尋找匹配點作為種子點的同名點；500、將種子點和對應的同名點作為影像配準的控制點數據，以實現待配準影像和基準影像的配準。

圖3示出了確定待配準影像和基準影像之間的仿射變換關系的實施例。可選地，在步驟200中，對待配準影像和基準影像進行全局粗匹配，以確定待配準影像和基準影像之間的仿射變換關系包括：

210、對接收的待配準影像和基準影像分別進行金字塔分解。

金字塔分解是本領域內已有的圖像處理方法，因此本發明不再對此進行詳細的描述。本發明也不旨在對具體的金字塔分解算法作出限定，例如，可以使用高斯金字塔、小波金字塔或者其他合適的金字塔分解算法對待配準影像和基準影像分別進行金字塔分解。

220、在金字塔的頂層，利用sift特征匹配算法進行全局快速匹配，得到多對全局匹配的同名點對。

在進行sift特征匹配時，sift算法首先在尺度空間進行極值關鍵點檢測，并精確計算關鍵點的位置和所處的尺度，然后將關鍵點鄰域梯度的主方向定義為關鍵點的特征方向，以實現算子對尺度和方向的無關性，生成特征描述向量，形成特征描述符。

其次，利用關鍵點的sift特征向量中描述符的歐氏距離作為基準影像和待配準影像的相似性測度來進行特征匹配，即針對基準影像中的每個關鍵點的sift特征描述符，計算其與待配準影像的所有關鍵點的sift特征描述符的歐式距離，找到其中的最鄰近歐式距離d1與次最鄰近歐式距離d2，并將滿足下式的關鍵點對定義為一個正確的匹配關鍵點對。

其中，d是小于1的閾值。優選地，d取0.49。

應注意的是，利用sift特征匹配算法進行全局快速匹配僅是本發明申請的一個優選的實施例。其他的特征提取和匹配算法同樣可以被應用來在金字塔分解的頂層上進行全局快速匹配來獲得全局匹配的同名點對。

230，利用所述多對全局匹配的同名點對，計算待配準影像和基準影像之間的坐標變換關系。

坐標變換關系即兩幅圖像之間的變換矩陣。變換矩陣包括兩幅圖像間的平移、旋轉和縮放關系，即仿射變換關系。通過變換矩陣能夠找到一幅圖像中的點在另一幅圖像中的位置，即

或x'＝hx(2)

其中，x'＝(x',y')^t和x＝(x,y)^t是一對sift匹配點對的像素坐標，h為變換矩陣。h矩陣有8個未知參數，所以至少需4對匹配點對才能估計h矩陣。將sift匹配的特征點集代入到方程中，利用最小二乘原理求解h矩陣，從而得到待配準影像和基準影像之間的仿射變換關系。

可選地，在步驟300中，在待配準影像上提取的種子點包括：綜合考慮影像大小和設定的種子點的數量兩個因素，對待配準影像進行格網劃分；并在待配準影像的每個格網內利用harris算子提取一個特征點作為種子點。

可選地，本發明申請可以通過對待配準影像進行均勻的格網劃分使得同名點在影像上的分布更加均勻。

本發明申請利用harris算子在待配準影像上選取種子點。harris算子是由c.harris和m.j.stephens在1988年提出的一種點特征算子。harris角點提取主要包括以下幾個步驟：

(1)計算每個像素的相關矩陣m

式中，ix為x方向的差分，iy為y方向的差分，為高斯函數。

(2)計算每個像素的harris角點響應：

r＝(m11m22-m12m21)²-k(m11+m22)²(4)

其中，k＝0.04。

(3)在劃分的格網范圍內尋找極大值點，若hariss角點響應大于閾值，則視為特征點。

同樣，應注意的是，利用hariss算子提取種子點僅僅是本發明申請的一個優選的實施例。其他的角點提取算子同樣可以被應用來提取種子點。

圖4示出了根據所獲得的種子點和所確定的仿射變換關系，在基準影像上尋找的種子點的同名點的流程圖。可選地，在步驟400中，根據所獲得的種子點和所確定的仿射變換關系，在基準影像上尋找種子點的同名點包括：

410，根據設定的搜索半徑以及所確定的待配準影像和基準影像之間的仿射變換關系，確定所提取的種子點的對應同名點在基準影像相應金字塔層上可能存在的感興趣區域，并讀取金字塔層上的感興趣區的灰度值。

420，將基準影像中的所述感興趣區域通過所確定的仿射變換關系，變換到待配準影像坐標系下，進而保持其旋轉不變性。

430，根據匹配半徑，確定種子點在待配準金字塔層上的匹配區域，并讀取金字塔層上的所述匹配區域的灰度值。

440，根據搜索半徑確定已變換到待配準影像坐標系下的所述感興趣區域的對應搜索范圍，并以待配準影像的所述匹配區域作為模板，利用相似性系數作為衡量指標在金字塔層上的所述對應搜索范圍內進行灰度模板匹配。

450，將灰度模板匹配的結果作為下一層金字塔匹配的初始值，直到在金字塔底層的原始圖像上找到種子點的精確的同名點。

可選地，搜索半徑和匹配半徑都是由用戶可設置的參數。

本發明還提供一種影像配準裝置，如圖5所示。所述裝置包括影像接收單元、粗匹配單元、種子點提取單元、同名點確定單元和配準單元。影像接收單元設置成接收待配準影像和基準影像。粗匹配單元設置成對待配準影像和基準影像進行全局粗匹配，以確定待配準影像和基準影像之間的仿射變換關系。種子點提取單元設置成在待配準影像上提取種子點。同名點匹配單元設置成根據所獲得的種子點和所確定的仿射變換關系，在基準影像上尋找匹配點作為種子點的同名點。配準單元設置成將種子點和對應的同名點作為影像配準的控制點數據，以實現待配準影像和基準影像的配準。

可選地，粗匹配單元設置成通過下述方式對待配準影像和基準影像進行全局粗匹配，以來確定待配準影像和基準影像之間的仿射變換關系：

對接收的待配準影像和基準影像分別進行金字塔分解；

在金字塔的頂層，利用sift特征匹配算法進行全局快速匹配，得到多對全局匹配的同名點對；

利用所述多對全局匹配的同名點對，計算待配準影像和基準影像之間的仿射變換關系。

可選地，種子點提取單元設置成通過下述方式在待配準影像上提取種子點：綜合考慮影像大小和設定的種子點的數量兩個因素，對待配準影像進行格網劃分；并在待配準影像的每個格網內利用harris算子提取一個特征點作為種子點。

可選地，同名點確定單元設置成通過下述方式在基準影像上尋找種子點的同名點：

根據設定的搜索半徑以及所確定的待配準影像和基準影像之間的仿射變換關系，確定所提取的種子點的對應同名點在基準影像相應金字塔層上可能存在的感興趣區域，并讀取金字塔層上的所述感興趣區域的灰度值；

將基準影像中的所述感興趣區域通過所確定的仿射變換關系，變換到待配準影像坐標系下，進而保持其旋轉不變性；

根據匹配半徑，確定種子點在待配準影像金字塔層上的匹配，并讀取該金字塔層上的所述匹配區域的灰度值；

根據搜索半徑確定已變換到待配準影像坐標系下的所述感興趣區域的對應搜索范圍，并以待配準影像的所述匹配區域作為模板，利用相似性系數作為衡量指標在金字塔層上的所述對應搜索范圍內進行灰度模板匹配；

將灰度模板匹配的結果作為下一層金字塔匹配的初始值，直到在金字塔底層的原始圖像上找到種子點的精確的同名點。

本發明還提供一種影像配準系統，如圖6所示。所述系統包括處理器和存儲有計算機可讀指令的計算機可讀存儲介質，所述計算機可讀存儲介質連接到所述處理器；所述處理器配置為執行從計算機可讀存儲介質讀入所述計算機可讀指令來執行以下操作：

接收待配準影像和基準影像；對待配準影像和基準影像進行全局粗匹配，以確定待配準影像和基準影像之間的仿射變換關系；在待配準影像上提取的種子點；根據所獲得的種子點和所確定的仿射變換關系，在基準影像上獲得匹配點作為種子點的同名點；將種子點和對應的同名點作為影像配準的控制點數據，以實現待配準影像和基準影像的配準。

可選地，對待配準影像和基準影像進行全局粗匹配，以確定待配準影像和基準影像之間的仿射變換關系包括：

對接收的待配準影像和基準影像分別進行金字塔分解；

在金字塔的頂層，利用sift特征匹配算法進行全局快速匹配，得到多對全局匹配的同名點對；

利用所述多對全局匹配的同名點對，計算待配準影像和基準影像之間的仿射變換關系。

可選地，在待配準影像上提取的種子點的操作包括：綜合考慮影像大小和設定的種子點的數量兩個因素，對待配準影像進行格網劃分；以及在待配準影像的每個格網內利用harris算子提取一個特征點作為種子點。

可選地，根據所獲得的種子點和所確定的仿射變換關系，在基準影像上尋找種子點的同名點的操作包括：

根據搜索半徑以及所確定的待配準影像和基準影像之間的仿射變換關系，確定所提取的種子點的對應同名點在基準影像相應金字塔層上可能存在的感興趣區域，并讀取金字塔層上的所述感興趣區域的灰度值；

將基準影像中的所述感興趣區域通過所確定的仿射變換關系，變換到待配準影像坐標系下，進而保持其旋轉不變性；

根據匹配半徑，確定種子點在待配準影像金字塔層上的匹配區域，并讀取金字塔層上的灰度值；

根據搜索半徑確定已變換到待配準影像坐標系下的所述感興趣區域的對應搜索范圍，并以待配準影像的所述匹配區域作為模板，利用相似性系數作為衡量指標在金字塔層上的所述對應搜索范圍內進行灰度模板匹配；

將灰度模板匹配的結果作為下一層金字塔匹配的初始值，直到在金字塔底層的原始圖像上找到種子點的精確的同名點。

本發明申請還提供一種計算機可讀存儲介質，所述計算機可讀存儲介質存儲有用于執行影像配準的指令，所述指令在一個或多個處理器上運行時執行以下操作：

接收待配準影像和基準影像；

對待配準影像和基準影像進行全局粗匹配，以確定待配準影像和基準影像之間的仿射變換關系；

在待配準影像上提取種子點；

根據所獲得的種子點和所確定的仿射變換關系，在基準影像上獲得匹配點作為種子點的同名點；

將種子點和對應的同名點作為影像配準的控制點數據，以實現待配準影像和基準影像的配準。

可選地，對待配準影像和基準影像進行全局粗匹配，以確定待配準影像和基準影像之間的仿射變換關系的操作包括：

對接收的待配準影像和基準影像分別進行金字塔分解；

在金字塔的頂層，利用sift特征匹配算法進行全局快速匹配，得到多對全局匹配的同名點對；

利用所述多對全局匹配的同名點對，計算待配準影像和基準影像之間的坐標變換關系。

可選地，在待配準影像上提取種子點的操作包括：

綜合考慮影像大小和設定的種子點的數量兩個因素，對待配準影像進行格網劃分；并

在待配準影像的每個格網內利用harris算子提取一個特征點作為種子點。

可選地，根據所獲得的種子點和所確定的仿射變換關系，在基準影像上尋找種子點的同名點的操作包括：

根據設定的搜索半徑以及所確定的待配準影像和基準影像之間的仿射變換關系，確定所提取的種子點的對應同名點在基準影像相應金字塔層上可能存在的感興趣區域，并讀取金字塔層上的所述感興趣區域的灰度值；

將基準影像中的所述感興趣區域通過所確定的仿射變換關系，變換到待配準影像坐標系下，進而保持其旋轉不變性；

根據設定的匹配半徑，確定種子點在待配準影像金字塔層上的匹配區域，并讀取該金字塔層上的所述匹配區域的灰度值；

根據搜索半徑確定已變換到待配準影像坐標系下的所述感興趣區域的對應搜索范圍，并以待配準影像的所述匹配區域作為模板，利用相似性系數作為衡量指標在金字塔層上的所述對應搜索范圍內進行灰度模板匹配；

將灰度模板匹配的結果作為下一層金字塔匹配的初始值，直到在金字塔底層的原始圖像上找到種子點的精確的同名點。

配準過程實現示例說明

下面通過示例的方式說明本發明的配準方法實現的流程以及相應的中間結果。

在配準處理的開始，即在步驟100處，接收待配準影像和基準影像，如圖7所示，其中圖7(a)為待配準圖像，該待配準影像是多光譜影像的實驗數據；圖7(b)為基準圖像，該基準影像是全色影像的實驗數據。

在步驟200處，對待配準影像和基準影像進行全局粗匹配，以確定待配準影像和基準影像之間的仿射變換關系。在該步驟中，首先，對接收待配準影像和基準影像進行金字塔分解，如圖8所示，其中圖8(a)中的方框示出了待配準影像的一個局部。圖8(b)示出了該局部的金字塔分解示意圖，基準影像的金字塔分解類似，因此未示出；然后，在金字塔的頂層，利用sift特征匹配算法進行全局快速匹配，得到多對全局匹配的同名點對；最后，有利用所述多對全局匹配的同名點對，計算待配準影像和基準影像之間的坐標變換關系。

在步驟300處，在待配準影像上提取種子點。具體地，通過對待配準影像進行格網劃分；并在待配準影像的每個格網內利用harris算子提取一個特征點作為種子點。如圖9(a)所示為在待配準的影像上提取的種子點的示意圖。

在步驟400處，根據所獲得的種子點和所確定的仿射變換關系，在基準影像上尋找匹配點作為種子點的同名點。如圖9(b)示出了在基準影像上確定的同名點的示意圖。

如前所描述的，步驟400具體包括步驟410、420、430、440、以及步驟450。在步驟410中，根據設定的搜索半徑r以及所確定的待配準影像和基準影像之間的仿射變換關系，確定所提取的種子點的對應同名點在基準影像相應金字塔層上可能存在的感興趣區域，并讀取金字塔層上的感興趣區的灰度值，如圖10所示，其中圖10(a)中的正方形區域中心的“+”為種子點，長箭頭表示搜索半徑r，圖10(b)中的方框對應的基準影像區域是搜索半徑對應的感興趣區域，將該感興趣區域保存到處理器的存儲器中。

在步驟420中，將基準影像中的所述感興趣區域通過所確定的仿射變換關系，變換到待配準影像坐標系下，進而保持其旋轉不變性。圖10(c)所示為將圖10(b)的方框內的感興趣區域已變換到待配準影像坐標系下的示意圖。

在步驟430中，根據匹配半徑r，確定種子點在待配準影像的金字塔層上的匹配區域，并讀取金字塔層上的所述匹配區域的灰度值，如圖10(a)所示，其中圖10(a)中的短箭頭表示匹配半徑r，且匹配半徑r小于搜索半徑r。

在步驟440中，根據搜索半徑確定已變換到待配準影像坐標系下的所述感興趣區域的對應搜索范圍，并以待配準影像的所述匹配區域作為模板，利用相似性系數作為衡量指標在金字塔層上的所述對應搜索范圍內進行灰度模板匹配，如圖10的(c)中示出的圖像區域為所述感興趣區域的對應搜索范圍，而由紅線圍成的區域對應于模板。

在步驟450中，將灰度模板匹配的結果作為下一層金字塔匹配的初始值，直到在金字塔底層的原始圖像上找到種子點的精確的同名點。

在步驟500處，將種子點和對應的同名點作為影像配準的控制點數據，以實現待配準影像和基準影像的配準。

圖11示出了配準結果的示意圖，其中圖11(a)示出了校正后的待配準圖像與基準影像的卷簾圖；圖11(b)示出了圖11(a)中的卷簾圖的局部放大圖。

本發明申請采用的影像配準方法，結合全局配準和局部配準的優勢，結合區域配準和特征配準的特點，達到可見光近紅外譜段間配準精度(1σ)<0.3個像元，可見光近紅外譜段與中波紅外譜段間配準精度(1σ)<1個像元，配準時間<1分鐘(在多核cpu/gpu環境下)。

本發明申請支持多源遙感影像配準，如航空影像與航天影像之間的自動配準、可見光近紅外譜段間的自動配準以及可見光近紅外譜段與熱紅外譜段異源波段間的自動配準。

雖然本發明的技術方案以多源遙感影像的配準作為實施例，但是上述實施例并不旨在限制本發明的保護范圍，本發明的技術方案同樣適用于一般的圖像配準。

本領域技術人員可以理解上述方法中的全部或部分步驟可通過程序來指令相關硬件完成，所述程序可以存儲于計算機可讀存儲介質中，如只讀存儲器、磁盤或光盤等。可選地，上述實施例的全部或者部分步驟也可以使用一個或多個集成電路來實現。相應地，上述實施例中的各模塊或單元可以采用硬件的形式實現，也可以采用軟件功能模塊的形式實現。本發明不限于任何特定形式的硬件或軟件的結合。

當然，本發明還可以有其他多種實施例，在不背離本發明精神及其實質的情況下，熟悉本領域的技術人員可根據本發明做出各種相應地改變和變形，但這些改變和變形都應屬于本發明的保護范圍。