基于稀疏張量和多視圖特征的遙感圖像融合方法與流程

本發明屬于圖像處理技術領域，更進一步涉及遙感圖像融合技術領域中的一種基于稀疏張量和多視圖特征的遙感圖像融合方法。本發明用于融合同一個傳感器獲得的關于同一個場景的多光譜圖像和全色圖像融合，在保持多光譜圖像光譜信息的同時提高圖像的空間分辨率，可應用于地形測繪與地圖更新、地物分類、遙感監測和森林資源調查、軍事偵察等領域。

背景技術：

目前，現有的遙感圖像融合方法最具代表性的是基于模型類的融合方法。該方法結合了稀疏表示理論使得融合后的圖像取得了更高的空間分辨率，它的優點在于實現簡單、速度快。但是存在的缺點是缺少了對于多光譜圖像的譜間信息的考慮，同時只是基于圖像灰度信息的處理視角過于單一，使得融合后的多光譜圖像產生了光譜扭曲。

jiangc,zhangh,shenh,etal在其發表的論文“two-stepsparsecodingforthepan-sharpeningofremotesensingimages”(《selectedtopicsinappliedearthobservationsandremotesensing》ieeejournalof,2014,7(5):1792-1805)中提出了一種兩步稀疏編碼的遙感圖像融合方法。該方法的步驟是，第一步稀疏編碼過程是低分辨多光譜圖像的圖像塊由對應位置的低分辨全色圖像塊線性表示。第二步稀疏編碼是通過低分辨字典來稀疏表示殘差。兩步稀疏編碼結束后，得到融合后的多光譜圖像。該方法存在的不足之處是，由于該方法將多光譜圖像分波段融合，沒能充分考慮對波段間的信息充分利用，使得融合結果產生了色彩失真。

上海交通大學在其擁有專利技術“一種基于稀疏表示的遙感圖像融合方法”(申請日：2013年03月29日，申請號：201310108594.3，公開號：103208102b)中公開了一種基于稀疏表示的遙感圖像融合方法。首先建立多光譜圖像與其亮度分量之間的線性回歸模型；其次利用訓練的高、低分辨率字典分別對全色圖像和多光譜圖像進行稀疏表示，并根據線性回歸模型獲得多光譜圖像亮度分量稀疏表示系數；然后根據全色圖像和亮度分量的稀疏表示系數提取細節成分，并在通用分量替換融合框架下注入到多光譜圖像各波段的稀疏表示系數中；最后進行圖像復原得到高空間分辨率的多光譜圖像。該方法存在的不足是，從單一視圖對多光譜和全色圖像進行考慮，使得融合后的圖像的空間分辨率受到制約；其次，該方法沒有考慮到多光譜的譜間關系，導致最終的融合圖像的光譜有扭曲。

技術實現要素：

本發明的目的是針對上述現有技術的不足，提出一種基于稀疏張量和多視圖特征的遙感圖像融合方法。

本發明的思路是，本發明根據待融合圖像的灰度特征、紋理特征、邊緣特征構成圖像的多視圖特征，基于非采樣輪廓變換的框架對低通系數進行融合，計算多視圖特征塊的特征接近度并構成多模字典，在多模字典下對帶通系數融合，經過逆變換后得到高分辨的多光譜圖像。由于利用了低分辨多光譜圖像多視圖特征矩陣和全色圖像多視圖特征矩陣和張量基追蹤方法對融合后圖像空譜信息進行增強，提高了融合圖像的清晰度并光譜扭曲，克服了現有圖像融合技術處理視角過于單一和欠缺對于多光譜圖像譜間關系考慮的缺點。

為實現上述目的，本發明包括如下步驟：

(1)輸入待融合圖像：

分別輸入待融合的低分辨多光譜圖像和全色圖像；

(2)提取低通和帶通系數：

(2a)從低分辨多光譜圖像中提取低分辨多光譜主成分低通系數和低分辨多光譜主成分帶通系數；

(2b)利用非采樣輪廓波變換方法，對全色圖像進行分解，得到全色圖像低通系數和全色圖像帶通系數；

(3)提取邊緣特征：

(3a)利用一二階梯度算子和拉普拉斯算子，對低分辨多光譜主成分進行梯度變換，得到低分辨多光譜主成分邊緣特征；

(3b)利用一二階梯度算子和拉普拉斯算子，對全色圖像進行梯度變換，得到全色圖像邊緣特征；

(4)獲得多視圖特征矩陣：

(4a)將低分辨多光譜主成分、低分辨多光譜主成分帶通系數、低分辨多光譜邊緣特征按第三維方向依次排列，組成低分辨多光譜多視圖特征矩陣；

(4b)將全色圖像、全色圖像帶通系數、全色圖像邊緣特征按第三維方向依次排列，組成全色圖像多視圖特征矩陣；

(5)獲得多視圖特征小塊：

(5a)利用列向量化方法，對低分辨多光譜多視圖特征矩陣進行列向量化，得到低分辨多光譜多視圖特征小塊；

(5b)利用列向量化方法，對全色圖像多視圖特征矩陣進行列向量化，得到全色圖像多視圖特征小塊；

(6)獲得特征接近度：

(6a)按照圖像塊的排列順序，依次選取低分辨多光譜多視圖特征小塊中的一個小塊；

(6b)按照下式，計算所選的低分辨多光譜多視圖特征小塊與全部的全色圖像多視圖特征小塊的特征接近度：

其中，fij表示第i個多光譜多視圖特征小塊與第j個全色圖像多視圖特征小塊的特征接近度，min表示取最小值操作，max表示取最大值操作，var表示協方差操作，t表示多光譜多視圖特征小塊和全色圖像多視圖特征小塊按第二維度方向組合得到的矩陣；

(6c)判斷是否選完所有的圖像塊，若是，則執行步驟(7)，否則，執行步驟(6a)

(7)獲得因子矩陣：

利用索引映射法，將特征接近度映射與其對應的全色圖像，獲得因子矩陣；

(8)將低分辨多光譜帶通系數按照第三維方向組合，得到低分辨多光譜帶通系數張量塊；

(9)將全色圖像帶通系數按照第三維方向組合，得到全色圖像帶通系數張量塊；

(10)獲得多模字典：

利用張量模展開方法，對低分辨多光譜帶通系數進行模方向展開，獲得多模字典；

(11)獲得稀疏系數：

(11a)使用張量基追蹤方法，獲得低分辨多光譜帶通系數在多模字典下的多光譜稀疏系數；

(11b)使用張量基追蹤方法，獲得全色圖像帶通系數在多模字典下的全色稀疏系數；

(12)獲得融合后的帶通系數：

將多光譜稀疏系數與全色稀疏系數相加，得到融合后的帶通系數；

(13)獲得融合后的多光譜圖像主成分：

利用非采樣的輪廓波變換的逆變換，將融合后的帶通系數與低分辨多光譜低通系數逆變換，得到融合后的多光譜圖像主成分；

(14)獲得融合后的多光譜圖像：

利用主成分分析逆變換方法將，將融合后的多光譜圖像主成分逆變換，得到融合后的多光譜圖像。

與現有的技術相比本發明具有以下優點：

第一，本發明能夠根據低分辨多光譜圖像多視圖特征矩陣和全色圖像多視圖特征矩陣，對低分辨多光譜圖像和全色圖像進行融合，克服了現有技術存在的只是基于圖像灰度信息的處理視角過于單一的問題，使得本發明在融合過程中增強了對空間信息的捕捉能力，融合結果具有更高的空間分辨率。

第二，本發明利用張量基追蹤方法，對低分辨多光譜圖像的帶通系數進行重構，克服了現有技術中欠缺對于多光譜圖像的譜間關系的考慮，使得本發明能夠顯著的改善融合結果的光譜扭曲現象。

附圖說明

圖1為本發明的流程圖；

圖2為本發明的仿真圖。

具體實施方式

下面結合附圖對本發明作進一步的描述。

參考附圖1，對本發明實現的步驟作進一步的詳細描述。

步驟1，輸入待融合圖像。

分別輸入待融合的低分辨多光譜圖像m和全色圖像p。

本發明的實施例中，輸入的低分辨多光譜圖像大小為64×64×4，分辨率為2m；高分辨率的全色圖像大小為256×256，分辨率為0.5m。

步驟2，提取低分辨多光譜主成分c1的低通系數lm與帶通系數hm。

第一步，利用主成分分析方法，對低分辨多光譜圖像進行主成分分析，得到低分辨多光譜的主成分c1，c1的大小為256×256。

第二步，利用非采樣輪廓波變換方法，對低分辨多光譜主成分c1進行分解，得到低分辨多光譜主成分低通系數lm和低分辨多光譜主成分帶通系數hm。

本發明的實施例在非采樣輪廓波變換中，使用的金字塔濾波器類型為“9-7”，方向濾波器組類型為“pkva”，低分辨多光譜主成分低通系數lm大小為256×256，低分辨多光譜主成分帶通系數hm大小為256×256×4。

步驟3，提取全色圖像p的低通系數lp和帶通系數hp。

利用輪廓波變換方法，對全色圖像進行分解，得到全色圖像的低通系數lp和全色圖像帶通系數hp。

本發明的實施例中，全色圖像低通系數lp大小為256×256，全色圖像帶通系數hp大小為256×256×4。

步驟4，提取待融合圖像邊緣特征fp。

第一步，利用一二階梯度算子，經過梯度變換，得到主成分c1的水平方向一階梯度f1、垂直方向上一階梯度f2、水平方向二階梯度f3、垂直方向二階梯度f4。

第二步，將主成分c1的水平方向一階梯度f1、垂直方向上一階梯度f2、水平方向二階梯度f3、垂直方向二階梯度f4按第三維的方向組合得到低分辨多光譜主成分邊緣特征fm。

第三步，利用一二階梯度算子，經過梯度變換，得到全色圖像p的水平方向一階梯度f5、垂直方向一階梯度f6、水平方向二階梯度f7、垂直方向上二階梯度f8；

第四步，將全色圖像p的水平方向一階梯度f5、垂直方向一階梯度f6、水平方向二階梯度f7、垂直方向上二階梯度f8按第三維的方向組合得到全色圖像邊緣信息fp。

步驟5，獲得低分辨多光譜的多視圖特征矩陣bm。

將低分辨多光譜主成分c1、低分辨多光譜主成分帶通系數hm、低分辨多光譜邊緣特征fm按第三維方向組合排列，得到低分辨多光譜多視圖特征矩陣bm。

步驟6，獲得全色圖像多視圖特征矩陣bp。

將全色圖像p、全色圖像帶通系數hp、全色圖像邊緣特征fp按第三維方向組合排列，組成低分辨多光譜多視圖特征矩陣bp。

步驟7，獲得低分辨多光譜多視圖特征小塊nm。

利用列向量化方法，對低分辨多光譜多視圖特征矩陣bm進行列向量化，得到低分辨多光譜多視圖特征小塊nm。

步驟8，獲得全色圖像多視圖特征小塊np。

利用列向量化方法，對全色圖像多視圖特征矩陣bp進行列向量化，得到全色圖像多視圖特征小塊np。

步驟9，獲得特征接近度。

第一步，按照圖像塊的排列順序，依次選取低分辨多光譜多視圖特征小塊nm的一個小塊。

第二步，按照下式，計算所選的低分辨多光譜多視圖特征小塊與全部的全色圖像多視圖特征小塊的特征接近度：

其中，fij表示第i個多光譜多視圖特征小塊與第j個全色圖像多視圖特征小塊的特征接近度，min表示取最小值操作，max表示取最大值操作，var表示協方差操作，t表示多光譜多視圖特征小塊和全色圖像多視圖特征小塊按第二維度方向組合得到的矩陣。

第三步，判斷是否選完所有的圖像塊，若是，則執行步驟10，否則，執行步驟9的第一步。

步驟10，獲得因子矩陣d1。

第一步，利用列向量化方法，對全色圖像進行列向量化，得到全色圖像列向量。

第二步，對所有的特征接近度由高到低排序，保留前200個特征接近度的索引。

第三步，將特征接近度的索引映射到全色圖像列向量。

第四步，在全色圖像列向量中，選取前200個特征接近度索引對應的全色圖像列向量。

第五步，將全色圖像列向量組合成矩陣，得到因子矩陣d1。

步驟11，將低分辨多光譜帶通系數hm按照第三維方向組合，得到低分辨多光譜帶通系數張量塊e1。

步驟12，將全色圖像帶通系數hp按照第三維方向組合，得到全色圖像帶通系數張量塊e2。

步驟13，獲得多模字典dn。

第一步，將低分辨多光譜帶通系數張量塊e1按照模2方向展開，得到低分辨多光譜模2矩陣d2；

第二步，將低分辨多光譜帶通系數張量塊e1張量塊按照模3方向展開，得到低分辨多光譜模3矩陣d3；

第三步，將因子矩陣d1、低分辨多光譜模2矩陣d2、低分辨多光譜模3矩陣d3組合得到多模字典dn。

步驟14，使用張量基追蹤方法，獲得低分辨多光譜帶通系數張量塊e1在多模字典dn下的多光譜稀疏系數a1。

所述張量基追蹤公式如下：

其中，min表示取最小值操作，a表示待求解的稀疏系數，m表示帶通系數，d表示多模字典，ε表示重構誤差，s.t表示限制條件的符號，||·||1表示一范數操作，表示二范數平方操作。

步驟15，使用張量基追蹤方法，獲得全色圖像帶通系數張量塊e2在多模字典dn下的全色稀疏系數a2。

所述張量基追蹤公式如下：

其中，min表示取最小值操作，a表示待求解的稀疏系數，m表示帶通系數，d表示多模字典，ε表示重構誤差，s.t表示限制條件的符號，||·||1表示一范數操作，表示二范數平方操作。

步驟16，獲得融合后的帶通系數an。

將多光譜稀疏系數a1與全色稀疏系數a2相加，得到融合后的帶通系數an＝a1+a2。

步驟17，獲得融合后的多光譜圖像主成分c2。

利用非采樣的輪廓波變換的逆變換，將融合后的帶通系數hn與低分辨多光譜低通系數lm逆變換，得到融合后的多光譜圖像主成分c2。

步驟18，獲得融合后的多光譜圖像。

利用主成分分析逆變換方法將，將融合后的多光譜圖像主成分c2逆變換，得到融合后的多光譜圖像。

下面結合附圖2對本發明的仿真效果做進一步說明。

1.仿真條件：

本發明的仿真所使用待融合的圖像由geoeye數據集提供，包括2.0m空間分辨率的低分辨多光譜圖像和0.5m空間分辨率的高分辨全色圖像。低分辨多光譜圖像具有四個光譜帶：藍色(b)，綠色(g)，紅色(r)和近紅外(nir)。

仿真環境：matlabr2014aonpcwithintel(r)core(tm)/2.50g/2.5g。

2.仿真結果與分析：

圖2(a)是本發明仿真實驗中輸入的待融合低分辨的多光譜圖像，圖2(b)是本發明仿真實驗中輸入的待融合高分辨的全色圖像，圖2(c)是高分辨多光譜圖像，作為本發明仿真實驗中的參考圖像，圖2(d)是采用本發明對圖2(a)和圖2(b)融合后獲得的高分辨多光譜圖像。

由圖2(d)與圖2(a)的比較可見，圖2(a)的圖像細節不清晰，如圖像的道路的邊緣模糊，圖像中的白色小塊不清楚，而圖2(d)在空間分辨率、光譜信息、視覺效果上明顯優于圖2(a)，且更加接近于圖2(c)的視覺效果，圖2(d)中道路輪廓更加清晰，白色小塊的空間分辨率和光譜分辨率有明顯提升。

本發明則很好地利用了附圖2(a)和附圖2(b)中待融合圖像自身的多視圖特征，對融合后圖像的空間分辨率進行增強。此外，對多光譜圖像譜間關系的考慮，使得本發明顯著的改善了融合結果的光譜扭曲現象。

綜上所述，可以看出本發明能夠很好的提升待融合圖像的空間信息和光譜信息，克服了現有圖像融合技術中視圖單一、缺少對圖像譜間信息考慮的缺點。