基于網格變形的內容感知雙目圖像縮放方法
【專利摘要】本發明公開了一種基于網格變形的內容感知雙目圖像縮放方法，步驟包括：A、輸入原始左目視圖和右目視圖，并設定目標圖像的分辨率；B、對左目視圖和右目視圖分別構造覆蓋圖像的均勻四邊形網格；C、分別計算左、右目視圖的網格級重要程度圖；D、構造左、右目視圖網格級直線特征集合；E、根據網格級重要程度圖建立網格縮放能量函數；F、根據網格級直線特征集合建立直線特征約束，采用最小二乘法進行網格縮放能量函數最小化運算，得到縮放后的左、右目視圖目標網格；G、采用貼圖的方法將原始左、右目視圖分別映射到目標網格，輸出最終的左目視圖和右目視圖。本發明能夠保留縮放后圖像的直線特征，突出重要物體，并保持雙目圖像的立體信息。
【專利說明】基于網格變形的內容感知雙目圖像縮放方法
【技術領域】
[0001]本發明屬于圖像處理領域，尤其涉及一種基于網格變形的內容感知雙目圖像縮放方法，可應用于雙目圖像的多尺度縮小和放大處理。
【背景技術】
[0002]隨著不同規格3D顯示設備的推廣，為了適應不同橫縱比顯示屏幕的播放要求，雙目圖像的非等比例縮放得到國內外學者的關注。傳統的內容感知圖像縮放方法重點研究2D圖像的縮放。研究點包括顯著區域的準確檢測，圖像扭曲、斷裂的避免，圖像主要特征和平滑性的保持等，可大致分為離散型和連續型兩種縮放方法。其中離散型方法包括基于seamcarving、分塊處理以及智能裁剪的方法，連續型方法主要是基于網格變形的圖像縮放方法。由于傳統方法沒有引入雙目圖像的立體約束，導致縮放過程中左、右目視圖對應區域縮放程度不一致，此類方法并不適用于雙目圖像的非等比例縮放。
[0003]近年來，內容感知的雙目圖像縮放研究取得一定的成果。相關方法可分為離散型方法和連續型方法。離散型方法主要是基于seam carving的方法。Utsugi Kei最早將seam carving算法用于雙目圖像縮放,之后Basha Tali等學者于2011年提出的幾何一致的seam carving雙目圖像縮放方法。這類方法通過同時刪除雙目視圖的對應seam點維持立體信息。但是離散型方法刪除了圖像有效信息，容易破壞物體結構和連續性。連續型方法主要是基于網格變形的方法，這類方法能夠一定程度上彌補離散型方法破壞圖像連續性的缺陷。Che-Han Chang等學者于2011年提出內容感知的雙目圖像編輯方法。該方法采用尺寸不變特征轉換(SIFT, Scale-1nvariant Feature Transform)稀疏匹配點在網格變形過程中加入立體約束，保持圖像的立體信息。但是，經這種方法處理后，圖像中直線物體容易發生彎曲，給用戶帶來不舒適的觀看體驗。同時尺寸不變特征轉換稀疏對應關系取決于圖像的場景結構，該方法存在應用場景的限制。
[0004]綜上可知，現有的內容感知雙目圖像縮放方法在實際使用上顯然存在局限與缺陷，所以有必要加以改進。
【發明內容】
[0005]針對現有技術在雙目圖像縮放時存在的缺陷和不足，本發明提出一種基于網格變形的內容感知雙目圖像縮放方法。該方法在網格變形過程中引入直線特征約束，能夠保留圖像的直線特征。采用梯度圖和顯著圖檢測圖像重要區域以增強圖像中的物體邊緣信息，更好地突出重要物體。并采用內容感知的隨機匹配關系有效保持雙目圖像的立體信息。
[0006]本發明所解決的技術問題可采用如下的技術解決方案來實現:
[0007]一種基于網格變形的內容感知雙目圖像縮放方法，包括以下步驟:
[0008]A、輸入原始左目視圖和右目視圖，并設定目標圖像的分辨率，確定雙目圖像在水平方向和垂直方向的縮放比例；
[0009]B、對原始左目視圖和右目視圖分別構造覆蓋圖像的均勻四邊形網格；
[0010]C、對原始左目視圖和右目視圖分別計算左、右目視圖的網格級重要程度圖；
[0011]具體的，左、右網格級重要程度圖由融合對應的顯著圖和梯度輪廓圖的方法確定。首先對左、右目視圖進行顯著區域檢測得到左、右目顯著圖，然后將左、右目視圖轉換為灰度圖像后計算出對應的左、右目梯度輪廓圖像，融合顯著圖與梯度輪廓圖得到像素級重要程度圖，對網格內的像素重要程度求平均得到網格級重要程度圖。
[0012]D、對原始左目視圖和右目視圖分別進行直線特征檢測操作，構造網格級直線特征集合;
[0013]首先利用Hough變換分別從左、右目梯度輪廓圖識別直線特征，再將直線特征從像素級別映射到網格中，構造網格級直線特征集合。
[0014]E、根據步驟C得到的左、右目視圖的網格級重要程度圖，建立網格縮放能量函數；
[0015]具體的，步驟E所述的網格縮放能量函數包括:
[0016]網格扭曲能量函數，用于限制不同重要程度的網格發生扭曲的程度；網格扭曲能量函數由網格頂點位置決定，并考慮左、右目視圖的網格級重要程度。
[0017]網格邊彎曲能量函數，用于限制網格邊盡可能不發生彎曲；
[0018]邊界失真能量函數，用于避免網格縮放過程中出現越界而丟失邊界信息；
[0019]垂直視差能量函數，用于減少縮放過程中左、右目視圖水平不對稱而產生的垂直視差；
[0020]視差一致失真能量函數，用于維持左、右目視圖重要區域的視差信息。
[0021]其中垂直視差能量函數或視差一致失真能量函數，屬于雙目圖像立體約束能量函數，用于保持雙目圖像的立體信息，采用內容感知的隨機匹配點確定。
[0022]具體的，為獲取內容感知的隨機匹配點，首先采用均勻隨機數的方法從左目視圖中選擇樣本點，并通過半全局匹配算法(SGM, Semi Global Matching)計算左目視圖的樣本點在右目視圖的匹配點。
[0023]F、根據步驟D得到的網格級直線特征集合建立直線特征約束，采用最小二乘法進行網格縮放能量函數最小化運算，并保持圖像的直線特征，得到縮放后的左、右目視圖目標網格；
[0024]G、根據步驟E得到的左、右目視圖目標網格，采用貼圖的方法將原始左、右目視圖分別映射到目標網格，輸出最終的左目視圖和右目視圖。
[0025]本發明旨在提出一種基于網格變形的內容感知雙目圖像縮放方法，構造覆蓋原始雙目圖像的均勻網格，根據網格級重要程度建立網格縮放能量函數，采用最小二乘方法對網格縮放能量函數進行最小化運算，同時保持圖像中的直線特征，得到目標網格，最后通過插值得到目標雙目圖像。其特點和優點為:
[0026]針對現有基于網格變形的雙目圖像縮放方法容易導致圖像中直線物體發生彎曲的缺點，提出采用Hough變換進行直線特征檢測，并在網格縮放過程中保留直線特征的方法。
[0027]由于尺寸不變特征轉換稀疏對應關系局限于圖像場景結構，本發明在垂直視差能量函數和視差一致失真能量函數中采用內容感知的隨機匹配點替代尺寸不變特征轉換稀疏匹配點，有效保持雙目圖像的立體信息，避免垂直視差，保持雙目圖像視差一致性。
[0028]本發明提供的雙目圖像縮放方法，可用于進行雙目圖像的多尺度縮小與放大，以適應不同橫縱比顯示屏幕的播放要求。
【專利附圖】
【附圖說明】
[0029]圖1是本發明基于網格變形的內容感知雙目圖像縮放方法的流程圖；
[0030]圖2是本發明一個實施例提供的均勻四邊形網格局部結構圖；
[0031]圖3是本發明一個實施例提供的隨機匹配點與網格頂點映射方法的示意圖；
【具體實施方式】
[0032]為了使本發明的目的、技術方案及優點更加清楚明白，以下結合附圖及實施例，對本發明進行進一步詳細說明。應當理解，此處所描述的具體實施例僅僅用以解釋本發明，并不用于限定本發明。
[0033]本發明的基本思想是:將雙目圖像縮放視為對覆蓋雙目圖像的四邊形網格進行縮放處理，通過保持圖像中的直線特征，采用最小二乘法對包含網格扭曲能量、網格邊彎曲能量、邊界失真能量、垂直視差能量和視差一致失真能量的網格縮放能量函數進行最小化迭代運算，得到目標網格，并采用貼圖的方法得到最終的目標雙目圖像。能夠有效保留圖像直線特征，突出圖像顯著區域和重要目標，同時保持雙目圖像的立體信息。
[0034]參見圖1，本發明提出一種基于網格變形的內容感知雙目圖像縮放方法，具體步驟如下:
[0035]A、輸入原始左目視圖和右目視圖，并設定目標圖像的分辨率，確定雙目圖像在水平方向和垂直方向的縮放比例；
[0036]設原始雙目圖像的分辨率為mXn，目標雙目圖像的分辯率為m’ Xn’。
[0037]B、對原始左目視圖和右目視圖分別構造覆蓋圖像的均勻四邊形網格；
[0038]采用10像素步長均勻采點的方法構造均勻四邊形網格，設M= (V, E, F)表示覆蓋圖像的四邊形網格，其中V = [V1, V2,, vn], Vi e R2表示網格頂點集，E =[e1； e2，...，en],ei e R2表示網格邊集，F = [f1； f2,..., fj,^ e R2表示網格面集。如圖2表示的網格局部結構，其中點1-4為網格頂點，邊5-8為網格邊，面9為網格面。設M’ =(V’，E’，F’)表示縮放后的目標網格，其中V’ = [Vj1, Vj2,...,v' n],v'n e R2表示目標網格頂點集。
[0039]C、對原始左目視圖和右目視圖分別計算左、右目視圖的網格級重要程度圖；
[0040]具體的，左、右網格級重要程度圖由融合對應的顯著圖和梯度輪廓圖的方法確定。首先對左、右目視圖進行顯著區域檢測得到左、右目顯著圖，然后將左、右目視圖轉換為灰度圖像后計算出對應的左、右目梯度輪廓圖像，融合顯著圖與梯度輪廓圖得到像素級重要程度圖，對網格內的像素重要程度求平均得到網格級重要程度圖。
[0041]圖像的像素級重要程度圖1h的計算公式為:
[0042]Ih = (0.3 X (10 X Is) + (1-0.3) X IE) X Is
[0043]圖像的像素級重要程度的計算包括視覺顯著性與圖像邊緣信息。其中Is表示顯著圖，Ie表示梯度輪廓圖。
[0044]D、對原始左目視圖和右目視圖分別進行直線特征檢測操作，構造網格級直線特征集合；
[0045]首先利用Hough變換分別從左、右目梯度輪廓圖識別直線特征，再將直線特征從像素級別映射到網格中，構造網格級直線特征集合。
[0046]網格級直線特征集合包括水平直線特征集合HL、垂直直線特征集合VL以及斜線特征集合OL。
[0047]具體的，HL中每一條水平線經過的網格頂點的Y坐標均相同，VL中每一條垂直線經過的網格頂點X坐標均相同。而OL中每一條斜線經過的網格頂點的X、Y坐標滿足直線函數關系。
[0048]E、根據步驟C得到的左、右目視圖的網格級重要程度圖，建立網格縮放能量函數；
[0049]具體的，步驟E所述的網格縮放能量函數包括:
[0050]網格扭曲能量函數，用于限制不同重要程度的網格發生扭曲的程度；網格扭曲能量函數由網格頂點位置決定，并考慮左、右目視圖的網格級重要程度。
[0051]設網格扭曲能量函數為Dd，則1?=0^+0^，其中/?和/?"分別為左目視圖和右目視圖的網格扭曲能量，計算公式為:
2
[0052]A/ = Σ iyHT (Vi ~Vj)~ (Vi ~ Vj )
ij'j 私el 1.n
D
2
[0053]Dd =工(Oht S (/) (V- — V) ) — (V —')
(i,j)eER{f)
[0054]其中，仍^和歷;分別為左、右目視圖每個四邊形網格扭曲失真權重因子，等于網格級重要程度。上述公式右邊的二次項是網格理想縮放與實際縮放的差異，用來衡量每個四邊形網格的失真情況。s(f)為四邊形網格的縮放比例，將網格縮放分解為X方向和Y方向的縮放，s(f) = {sx，sy}，其中，兩個方向縮放比例如下:
IIII
?γ ^x+Uv ^x, V + ^χ+1,ν+1 ^χ,ν+1
[0055]=--
V1 一 V V ι λ 一 V ,
χ+Ι,ν χ’ν x+i，v+l x’v+i
?I _ Vr,v + Vt+l,y+l _ ντ+1,ν
[0056]Sy =-:-—
'Vx,v+1 _Vv,v + Vx+15>.+1I
[0057]網格邊彎曲能量函數，用于限制網格邊盡可能不發生彎曲；
[0058]設網格邊彎曲能量函數為D1，則Dz =Df +Df，其中1#和1)/"分別為左目視圖和右目視圖的網格邊彎曲能量，計算公式為:
Df — y Il x(v.— V.) —(v.—v )
[0059]1La e \ ι jJ \ ι "
(IJ)eE1 (f)
[0060]
【權利要求】
1.一種基于網格變形的內容感知雙目圖像縮放方法，其特征在于，所述方法包括以下步驟: A、輸入原始左目視圖和右目視圖，并設定目標圖像的分辨率，確定雙目圖像在水平方向和垂直方向的縮放比例； B、對原始左目視圖和右目視圖分別構造覆蓋圖像的均勻四邊形網格； C、對原始左目視圖和右目視圖分別計算左、右目視圖的網格級重要程度圖； D、對原始左目視圖和右目視圖分別進行直線特征檢測操作，構造網格級直線特征集合； E、根據步驟C得到的左、右目視圖的網格級重要程度圖，建立網格縮放能量函數； F、根據步驟D得到的網格級直線特征集合建立直線特征約束，采用最小二乘法進行網格縮放能量函數最小化運算，并保持圖像的直線特征，得到縮放后的左、右目視圖目標網格； G、根據步驟E得到的左、右目視圖目標網格，采用貼圖的方法將原始左、右目視圖分別映射到目標網格，輸出最終的左目視圖和右目視圖。
2.根據權利要求1所述的方法，其特征在于:步驟C所述的左、右網格級重要程度圖，由融合對應的顯著圖和梯度輪廓圖的方法確定。
3.根據權利要求1所述的方法，其特征在于:步驟D所述的直線特征檢測操作，是利用Hough變換分別從左、右目梯度輪廓圖識別直線特征，再將直線特征從像素級別映射到網格中，構造網格級直線特征集合。
4.根據權利要求1所述的方法，其特征在于:步驟E所述的網格縮放能量函數包括: 網格扭曲能量函數，用于限制不同重要程度的網格發生扭曲的程度； 網格邊彎曲能量函數，用于限制網格邊盡可能不發生彎曲； 邊界失真能量函數，用于避免網格縮放過程中出現越界而丟失邊界信息； 垂直視差能量函數，用于減少縮放過程中左、右目視圖水平不對稱而產生的垂直視差; 視差一致失真能量函數，用于維持左、右目視圖重要區域的視差信息。
5.根據權利要求4所述的方法，其特征在于:所述網格扭曲能量函數由網格頂點位置決定，并考慮左、右目視圖的網格級重要程度。
6.根據權利要求4所述的方法，其特征在于:所述垂直視差能量函數或視差一致失真能量函數，屬于雙目圖像立體約束能量函數，用于保持雙目圖像的立體信息，采用內容感知的隨機匹配點確定。
7.根據權利要求6所述的方法，其特征在于:所述內容感知的隨機匹配點，采用均勻隨機數的方法從左目視圖中選擇樣本點，并通過半全局匹配算法(SGM，Semi GlobalMatching)計算左目視圖的樣本點在右目視圖的匹配點。
【文檔編號】G06T3/40GK104166992SQ201410361183
【公開日】2014年11月26日 申請日期:2014年7月25日 優先權日:2014年7月25日
【發明者】龔永義, 李可宏, 羅笑南, 關柏良, 姜靈敏 申請人:廣東外語外貿大學, 中山大學