一種圖像配準方法及裝置與流程

本發明涉及智能識別、圖像處理領域，具體涉及一種圖像配準方法及裝置。

背景技術：

在視頻圖像領域，對于模糊的圖像處理，常常需要多幅相同場景的圖像來進行重建達到提高分辨率的目的。而要實現這個目的，需要進行兩幅甚至是多幅圖像之間的配準。圖像配準是將同一場景在不同時間、不同視角或者是不同傳感器拍攝的兩幅或多幅具有重疊區域的圖像進行處理的過程，它在計算機視覺、遙感技術、醫學圖像處理、圖像融合、圖像超分辨率重建等領域有著廣泛的應用。

圖像配準的現有常用方法包括灰度信息法、基于變換域法、基于特征的方法。

1)基于灰度信息法對異源圖像配準效果較好，但是計算量大，要求圖像有較大的重疊區域，容易出現局部極值；

2)基于變換域的方法是采用頻域的方法，利用傅里葉變換，通過對比、平移、旋轉、縮放在時域和頻域的對應關系，求得變換關系；

3)而基于特征的圖像配準方法是目前最常用的方法，因為這種方法只需要針對圖像特征進行分析，減少了圖像處理過程的運算量，并且對于亮度變化，圖像變形和遮擋都有較好的適應能力。這種方法首先通過提取圖像的特征，然后構造描述子，再進行兩幅圖像之間特征的匹配，最后進行融合變換，達到配準的效果。

但是現存的圖像特征提取方法，比如sift、surf等，都是基于線性的高斯金字塔進行多尺度分解來消除噪聲和提取圖像特征點。高斯分解犧牲了局部精度作為代價，容易造成邊界模糊和細節丟失。非線性的尺度分解可以解決這個問題，但非線性擴散方程并沒有解析解，只能使用數值分析的方法來求解。傳統的基于正向歐拉法求解時迭代收斂的步長太短、耗時長、計算復雜度高。

現有的比較理想的特征提取方法kaza也存在一些缺陷。kaza方法中采用加性算子分裂方法(additiveoperatorsplitting，aos)來求解非線性擴散方程，可以采用任意步長來構造穩定的非線性尺度空間，但實現復雜。加速版本的kaze方法(akaza)采用快速顯示擴散(fastexplicitdiffusion，fed)數值分析框架來求解非線性擴散濾波方程，相比aos方法在精度方面得到了較好的提升，并且降低了實現的復雜度。但是akaze方法采用的m-surf特征描述子構建的特征向量在進行特征匹配過程中耗時長且匹配精度不夠高。

技術實現要素：

為了解決上述技術問題，進一步提高圖像配準過程中的速度和精度，本發明提出一種改進的圖像配準方法及裝置，并且采用漢明距離度量圖像特征之間的相似度，減少計算量，提高配準速度。

為了達到上述目的，本發明的技術方案如下：

一種圖像配準方法具體包括以下步驟：

1)進行圖像特征提取；

2)將灰度矩引入ldb描述子，構建特征點的主方向，在對特征點描述時，將特征點的鄰域圖像塊旋轉到主方向，構建描述子；

3)進行圖像之間的特征匹配；

4)查找最佳匹配點。

本發明發明了一種改進ldb(localdifferencebinary)描述子的方法，提高匹配的精度，實現特征描述子的魯棒性。

在上述技術方案的基礎上，還可做如下改進：

作為優選的方案，步驟1)具體包括以下步驟：

1.1)構建圖像的非線性尺度空間；

1.2)進行特征點檢測，提取出特征點；

1.3)找到特征點后，進行亞像素的精確定位。

采用上述優選的方案，有效進行特征提取，提取精度高，速度快。

作為優選的方案，步驟1.1)利用非線性擴散方法和fed求解隱性差分方程的原理來構建圖像的非線性尺度空間。

采用上述優選的方案，非線性擴散濾波是一種用流動函數的散度來描述圖像亮度在不同尺度空間變化的方法。采用快速顯示擴散(fed)來求解方程，因為它結合了顯示和半隱式的優點。

作為優選的方案步驟1.2)使用非極大值抑制方法，計算圖像金字塔中每個像素點的hessian矩陣，步驟1.2)檢測中的這些特征點在非線性尺度空間上，是經過尺度歸一化之后的hessian矩陣行列式值在局部的極大值。

采用上述優選的方案，效果好。

作為優選的方案，步驟1.2)中hessian矩陣的窗口大小為3*3。

采用上述優選的方案，加快搜索速度。

作為優選的方案，步驟3)利用漢明距離的方法來度量兩個描述子之間的相似度。

采用上述優選的方案，采用漢明距離度量圖像特征之間的相似度，減少計算量，提高配準速度。

作為優選的方案，步驟4)利用knn方法來查找最佳匹配點。

采用上述優選的方案，精度高，速度快。

作為優選的方案，步驟4)中knn方法的k值取為2；

這樣對于每個特征點都有兩個待匹配點，將兩個距離記為dist1和dist2；

其中，前者為最近鄰距離，后者為次近鄰距離，如果兩者比值小于設定的閾值ratio則接受這個最近鄰的匹配點。

采用上述優選的方案，精度高，速度快。

作為優選的方案，還包括步驟5)，采用ransac方法來擬合出最優的匹配對，去除誤匹配對。

采用上述優選的方案，有效去除誤配對。

一種圖像配準裝置包括：存儲器或采集器，用于存儲或采集圖像樣本；處理器，利用圖像配準方法對圖像進行特征提取和配準。

本發明一種圖像配準裝置結構簡單，可以有效對圖像進行有效配準，效率高，精確度好。

附圖說明

圖1為本發明實施例提供的一種圖像配準方法的流程圖。

圖2為三個不同灰度分布的圖像塊(a)、(b)和(c)。

圖3為圖像對1-3。

圖4為graf組匹配正確率比對結果圖。

圖5為leuven組匹配正確率比對結果圖。

圖6為btree組匹配正確率比對結果圖。

圖7為compa組匹配正確率比對結果圖。

圖8為graf組中的圖像對1-3配準之后的效果圖。

具體實施方式

下面結合附圖詳細說明本發明的優選實施方式。

為了達到本發明的目的，一種圖像配準方法及裝置中一些實施例中，

如圖1所示，一種圖像配準方法具體包括以下步驟：

1)進行圖像特征提取；

2)將灰度矩引入ldb描述子，構建特征點的主方向，在對特征點描述時，將特征點的鄰域圖像塊旋轉到主方向，構建描述子；

3)進行圖像之間的特征匹配；

4)查找最佳匹配點。

步驟1)具體包括以下步驟：

1.1)利用非線性擴散方法和fed求解隱性差分方程的原理來構建圖像的非線性尺度空間；

1.2)進行特征點檢測，提取出特征點，這些特征點在非線性尺度空間上，是經過尺度歸一化之后的hessian矩陣行列式值在局部的極大值；

1.3)找到特征點后，進行亞像素的精確定位。

步驟3)利用漢明距離的方法來度量兩個描述子之間的相似度，采用漢明距離度量圖像特征之間的相似度，減少計算量，提高配準速度。

步驟4)利用knn方法來查找最佳匹配點，k值取為2；這樣對于每個特征點都有兩個待匹配點，將兩個距離記為dist1和dist2；

其中，前者為最近鄰距離，后者為次近鄰距離，如果兩者比值小于設定的閾值ratio則接受這個最近鄰的匹配點。

一種圖像配準裝置包括：存儲器或采集器，用于存儲或采集圖像樣本；處理器，利用圖像配準方法對圖像進行特征提取和配準。本發明一種圖像配準裝置結構簡單，可以有效對圖像進行有效配準，效率高，精確度好。

本發明提出一種圖像配準方法及裝置，具有以下有益效果：

1)將灰度矩引入到ldb描述子中，作為圖像特征的方向信息，并將其應用到圖像配準中，提高了配準的準確度。

2)本發明使用漢明距離代替歐式距離計算圖像特征向量之間的距離，提高了圖像配準的速度。

以下對本發明的方法進行具體詳細的描述。

傳統的akaze方法在提取圖像特征的時候分為三個主要的步驟：

1)利用非線性擴散方法和fed求解隱性差分方程的原理來構建非線性尺度空間；

2)檢測感興趣的特征點，這些特征點在非線性尺度空間上，是經過尺度歸一化之后的hessian矩陣行列式值在局部(3×3鄰域)的極大值；

3)構造特征向量，計算特征點的主方向，并基于一階微分圖像提取具有尺度和旋轉不變性的特征描述向量。

首先進行非線性尺度空間的構造。非線性擴散濾波是一種用流動函數的散度來描述圖像亮度在不同尺度空間變化的方法。用非線性偏微分方程來描述：

式中，div和分別代表散度和梯度；l代表圖像的亮度；c是傳導擴散函數，使得擴散自適應于圖像的局部結構，保留圖像的局部精度，其中t是尺度參數，值越大代表圖像尺度越大。

函數c定義如下：

式中函數g的定義可以根據不同的要求進行設計。在實驗中為了優先保留寬度較大的區域將g定義為：

式中，表示將原始圖像做參數為σ的高斯平滑；λ是對比度因子，控制擴散的程度，它決定圖像平滑過程中被加強或被削弱的邊緣。λ一般取經驗值，通過計算平滑圖像的梯度直方圖，取其70％以上的經驗值；一般的，值越大，保留的邊緣信息越少。

采用快速顯示擴散(fed)來求解方程(1)，因為它結合了顯示和半隱式的優點。采用盒子濾波來近似高斯內核。易于實現且計算復雜度低。fed的主要思想進行m次循環，m是圖像金字塔中組數o與層數s的積，即得到的濾波后的圖像總數；每次循環都是一個n次的迭代過程，第j次迭代步長τj的定義為：

式中，τmax是不破壞迭代過程穩定性的最大迭代步長。利用顯示擴散可以將偏微分方程(1)表示為顯示模式：

式中τ是一個常量的迭代步長；a(lⁱ)是圖像的傳導矩陣。進行迭代之后求解出的圖像亮度表示為：

l^i+1，j+1＝(i+τja(lⁱ))l^i+1，j，j＝0，...，n-1(6)

式中，i是單位陣。而l^i+1，0＝lⁱ作為初始化的先驗信息。

而每一次迭代的時間由空間濾波參數決定。對每一層的圖像進行高斯濾波的參數定義為σi：

在傳導擴散方程中以時間為單位進行迭代，所以需要將空間濾波參數轉化為時間單位，而在高斯尺度空間下，使用標準差為σ的高斯核對圖像進行卷積，相當于對圖像進行持續時間為t＝σ²/2的濾波。所以尺度參數σi轉化為時間單位的映射公式為：

當結束某一層(oi)的濾波之后，在圖像金字塔的下一層進行降采樣操作；然后修改對比度因子λ。這樣就可以得到一個o組每組s層的圖像金子塔。

然后進行特征點的檢測，提取出特征。特征點的檢測與sift方法類似。使用非極大值抑制方法，計算圖像金字塔中每個像素點的hessian矩陣，為了加快搜索速度，窗口大小固定為3*3。即在上一層和下一層及周圍共26個像素點中尋找歸一化后不同尺度的hessian矩陣行列式的局部極大值.hessian矩陣行列式的值計算如下：

式中σ是這一層的尺度參數σi的整數值。(lxx，lyy)分別是圖像水平和垂直方向的二階偏導，而lxy是交叉偏導數。

找到特征點后，再進行亞像素的精確定位.利用空間尺度的泰勒展開式：

式中，l(x)是空間尺度函數，x是特征點所在的坐標。亞像素坐標的解為：

得到亞像素的坐標后，就可以進行特征描述子的構造。本發明采用的方案是引入灰度矩到ldb中，實現特征描述子的魯棒性。ldb描述子是一種二值描述子，相比于傳統的數值描述子sift、m-sufr等，具有計算機量小，實時性強的優點。判斷一個描述子是否具良好的特性，主要有三個方面：

1)差異性，即對于不同的特征具有強區分度；

2)低計算復雜度，易于計算，匹配時消耗時間少，具有實時性；

3)魯棒性，對于光照變化，旋轉等具有不變性。

ldb描述子由于引入了圖像的一階梯度，而不僅僅是基于圖像的灰度信息，所以具有很高的差異性。如圖2所示，如果僅僅考慮平均灰度信息，那么三個圖像(a)、(b)、(c)的平均灰度是一樣的。ldb使用兩個網格內的平均灰度和水平以及垂直方向的一階梯度信息來區分三個圖像塊。

加入梯度信息雖然使描述子增強了差異性，但是沒有加入方向信息和尺度信息導致這種描述子對于圖像的旋轉和尺度變化比較敏感，降低了魯棒性。

本發明將灰度矩添加到ldb中，用它來描述特征子的方向。圖像塊的灰度矩定義為：

式中，(x，y)是像素點的坐標，p，q分別取0和1。i(x，y)代表像素點的灰度.利用灰度矩將灰度的重心定義為：

假設特征點的位置為f，則將主方向定義為向量的方向：

通過以上方法構建描述子的主方向，在對特征點進行描述時，首先將特征點的鄰域圖像塊旋轉到主方向，然后構建出描述子。

另外，為了提高的匹配的速度，在對特征點進行匹配時，首先需要度量兩個描述子之間的相似度，本發明中采用漢明距離。它對兩個相同長度的二進制字符串進行異或操作，結果中為1的字符個數即兩個字符串的漢明距離。這對于ildb二值描述子來說計算量非常小，匹配效率非常高。

在查找最佳匹配點時，采用knn方法，其中k值取為2。這樣對于每個特征點都有兩個待匹配點。不妨將兩個距離記為distl和dist2；其中前者為最近鄰距離，后者為次近鄰距離。如果兩者比值小于某個閾值ratio則接受這個最近鄰的匹配點。實驗表明，ratio的值在0.65到0.8之間為最佳。

上述的操作雖然有助于找到一些最佳的匹配點，去除一些不必要的匹配對。但是在匹配的結果中仍然會有誤匹配對。所以在實驗中再次采用ransac方法來擬合出最優的匹配對，去除誤匹配對。

以下對本發明所提出的方法進行實驗驗證。

為了驗證本發明在配準速度和精度上相比于現存方法的優勢，本發明分別使用surf、m-surf以及ildb三種描述子構建圖像特征向量，對應三種方法的實驗對比分別是surf、a-kaze和akaze-ildb。實驗中從配準正確率和配準時間兩個指標對方法做出評價分析。實驗平臺為windows7系統，cpu2.6ghz，8g內存的個人電腦。編程環境為qt4.7以及opencv3.1。實驗采用katholieke大學公開的4組圖像進行測試。

每組四幅圖像，其中一幅作為參考圖像，其余三幅作為待配準圖像。根據圖片的現實場景，每組圖像分別屬于四種類別：

1)不同視點，圖像組命名為graf；

2)不同亮度，圖像組命名為leuven；

3)不同模糊，圖像組命名為btree；

4)壓縮失真，圖像組命名為compa；

并且每組圖像中的每一對圖像1-2，1-3，1-4的配準難度是逐漸上升的。選取每組圖像中配準難度適中的圖像對1-3描述如圖3所示。

實驗分為兩部分，首先從配準時間的角度分析三種方法的效率；其次從圖像特征向量匹配正確率的角度分析三種方法所提取特征點的精確度。

方法時間上的開銷主要包括三個部分：

1)尺度空間的構造；

2)特征描述向量的構造；

3)特征向量的匹配；

為了保證實驗的一致性，三種方法采用的都是k近鄰匹配，其中k值為2。獲取最佳匹配點的閾值設置為0.8。取每組圖像3次匹配的平均時間作為結果，如表1所示：

表1三種方法針對每組圖像的平均配準時間

從表1中可以看出akaze-ildb方法除了在亮度變化的圖像組中與原始的a-kaze方法持平，其他圖像組中都具有優勢，平均配準的時間減少了約300ms。雖然surf方法在時間上具有優勢，但在下面的匹配正確率的分析中表現并不理想。

采用匹配正確率來衡量配準方法是否匹配了兩幅圖像中正確的特征點.實際方法中檢測的匹配對數量記為#matches；將這些匹配對作為輸入，使用已知輸入的單應性矩陣驗證其是否是另一幅圖中相應的正確特征點，采用歐式距離進行判斷，如果距離小于設定的閾值2.5，則將其記為正確的匹配對，總數量記為#correct，則匹配正確率的計算公式為：

如圖4-7所示，匹配正確率的值越大，表示方法提取出的特征點精確度越高。從圖3中可以看出本發明方法在圖像亮度變換、不同模糊程度以及壓縮失真的圖像匹配中比另外兩種方法有明顯優勢，這是因為akaze-ildb利用非線性尺度空間構造圖像金字塔來保持圖像局部精度和邊緣細節，所以在配準精度上保持了原始akaze方法的優勢。

通過仿射變換將參考圖像標定在待配準圖像上。圖8是graf組中的圖像對1-3配準之后的效果，左邊是參考圖像，右邊是是視點變化之后的待配準圖像，兩幅圖中的小圓圈代表的是檢測到的特征點，實線連接的是兩幅圖像中對應的特征點。最后在待配準圖像中，用實線框將左邊的參考圖像標定出來。

為了進一步地優化本發明的實施效果，在另外一些實施方式中，其余特征技術相同，不同之處在于，還包括步驟5)，采用ransac方法來擬合出最優的匹配對，去除誤匹配對。

以上的僅是本發明的優選實施方式，應當指出，對于本領域的普通技術人員來說，在不脫離本發明創造構思的前提下，還可以做出若干變形和改進，這些都屬于本發明的保護范圍。