基于分層分割的滑動窗搜索方法
【專利摘要】本發明公開了一種基于分層分割的滑動窗搜索方法，該方法首先對圖像進行超像素分割，然后在圖像超像素分割結果和區域相似度定義的基礎上，運行圖像的分層分割算法，接著根據圖像的分層分割結果產生初始窗口，并利用目標的先驗知識對窗口進行篩選，最后在剩余窗口的周圍稠密采集目標候選窗。本發明方法在保證不漏掉目標的前提下，僅產生少量候選目標位置，能夠有效緩解目標檢測任務中特征提取和分類器判決的計算量大的問題。
【專利說明】基于分層分割的滑動窗搜索方法
【技術領域】
[0001]本發明涉及屬于計算機視覺【技術領域】，涉及圖像分割技術，是目標檢測的重要組成部分，主要應用于計算機視覺智能系統的目標檢測任務。
【背景技術】
[0002]目標檢測是計算機視覺領域中最活躍的研究方向之一，已有的目標檢測系統絕大部分將目標檢測視作一個二分類問題，即在所有候選位置判斷目標是否出現。目標檢測任務主要分為訓練階段和測試階段，其中訓練階段包括特征提取和目標建模，而測試階段主要包括目標假設、特征提取和目標判決三個部分。特征提取是對訓練樣本進行量化，即把圖像轉化成向量，以便做進一步分析。目標建模是利用訓練樣本學習目標模型的參數，從而得到指定目標類的模板。目標假設是搜索出所有可能的目標候選區域用作后續的分類器判決，也被稱作目標搜索，迄今為止最常用的目標假設方法為滑動窗搜索。
[0003]傳統的滑動窗搜索方法在沒有引入任何目標先驗信息的情況下，需要遍歷搜索圖像中所有的位置和尺度，從而造成目標候選窗的數量太大，加重了目標檢測任務中特征提取和分類器判決的計算量。在目標檢測的具體實現過程中，為了滿足實際需求，往往采用以檢測精度換取檢測速度的策略，即采用相對簡單的特征提取方法表示所有可能的目標候選區域，并使用快速的分類器從中檢測出目標。因此，傳統的滑動窗搜索方法使得目標檢測任務難以同時達到很好的檢測精度和檢測速度。針對滑動窗搜索計算量大這一固有缺陷，研究人員提出了許多改進策略。已有改進策略主要有三種:級聯分類器、選擇性窗搜索和快速特征提取。
[0004]級聯分類器利用前面的若干級簡單分類器可以排除大量的不包含目標的目標候選窗，起到了顯著的加速效果。選擇性窗搜索利用目標先驗知識或者由粗到精搜索窗口空間，減少了目標候選窗的數量。快速特征提取方法減少了每個目標候選窗特征提取和分類器判決的時間，從而減少了整個目標檢測的計算量。目標檢測計算量大的根源是滑動窗搜索會產生大量的目標候選窗。盡管上述三種策略都不同程度加快了目標檢測速度，但仍然無法從根本上克服候選窗口數量過于龐大的問題。
【發明內容】
[0005]本發明目的在于克服上述現有技術的不足而提供一種基于分層分割的滑動窗搜索方法，方法在保證不漏掉目標的前提下，僅產生少量候選目標位置，能夠有效緩解目標檢測任務中特征提取和分類器判決的計算量大的問題。
[0006]實現本發明目的采用的技術方案是基于分層分割的滑動窗搜索方法，該方法包括:
[0007](I)對圖像I進行超像素分割，將分割后的超像素集合記做；
[0008](2)利用區域相似度對所述分割后的超像素集合Cig進行圖像的分層分割，得到所有分割區域構成的集合;
[0009](3)利用目標的先驗知識(大小、寬高比)對集合(中所有分割區域的外接矩形進
行篩選，在圖像金字塔中剩余窗口的周圍稠密采集窗口，從而獲得最終的目標候選窗。
[0010]在上述技術方案中，所述步驟(2)包括:
[0011](2-1)計算中所有相鄰分割區域的相似度；
[0012](2-2)將相似度最高的兩塊區域記作rml，rffl2合并得到一塊新區域rnOT ；
[0013](2-3)將新區域添加到集合C1中得到集合Ge，即Ci^ = ClgOrnew ;
[0014](2-4)刪除與區域rml和rm2相關的所有相似度，并計算rnew與相鄰區域的相似度；
[0015](2-5)判斷rn?是否為完整的圖像I，如果不是則轉到步驟(2-2)繼續執行，如果是
則結束循環，輸出所有分割區域構成的集合O
[0016]在上述技術方案中，所述步驟(3)包括:
[0017](3-1)將C中所有分割區域的外接矩形作為初始窗口 ；
[0018](3-2)從所有初始窗口中刪除大小和寬高比不滿足要求的窗口，保留下來的窗口集合記做Qwin ；
[0019](3-3)建立圖像I的M層圖像金字塔，并規定搜索窗口大小WXH，其中W是窗口寬度，H是窗口高度；
[0020](3-4)對集合Qwin中的所有窗口進行操作:對于任意一個窗口 w(i) e Qwin，根據各層圖像金字塔與原始圖像的比例關系計算出w(i)在每一層圖像金字塔中的大小
{aw(nU)}M，并與搜索窗口大小做比較，保留與WXH最接近的aw(i) (j)，即窗口 w⑴對應于
第j層圖像金字塔；
[0021](3-5)對于任意一個窗口 w⑴e Qwin，在其對應的第j層圖像金字塔窗口 w⑴附近稠密采集目標候選窗(窗口的大小為WXH)，采集得到的窗口記為集合Sw(i)，所有Sw(i)的并集即為最終的目標候選窗。
[0022]本發明方法具有以下優點:
[0023](I)與傳統的滑動窗搜索方法相比，在運算速度、目標候選窗數量和召回率等方面更具優勢；
[0024](2)在遮擋、光照變化、尺度變化等情況下，采用本發明方法產生的目標候選窗依然能夠準確地涵蓋目標。
【專利附圖】
【附圖說明】
[0025]圖1為采用本發明基于分層分割的滑動窗搜索方法的流程圖。
[0026]圖2為采用本發明方法實現搜索人臉目標的過程示意圖。圖中，圖2a為原始圖像，圖2b為超像素分割后的結果圖 ，圖2c為圖像分層分割后的結果圖；圖2d為初始窗口，圖2e為篩選后的窗口，圖2f為目標候選窗，圖2g為在上述目標候選窗基礎上,進行目標檢測的結果。
[0027]圖3為本發明方法對加州理工人臉數據庫和PASCAL V0C2009目標數據庫中的圖像進行搜索的結果不意圖。圖中，圖3a為原始圖片，圖3b為目標候選窗，圖3c為與ground-truth重疊超過50%的目標候選窗。
【具體實施方式】
[0028]下面結合附圖和具體實施例對本發明作進一步的詳細說明。
[0029]如圖1和圖2所示，本發明一種基于分層分割的滑動窗搜索方法包括:
[0030]S100、對圖像I進行超像素分割，將分割后的超像素集合記做Cig。
[0031]圖像分割是把圖像細分為構成它的子區域或對象，并從中提出感興趣目標。分割的程度取決于要解決的問題，本實施例中，分割程度是一個可調的重要指標:如果分割過于精細，幾乎可以保證一個區域僅對應一個目標，但是會把一個完整目標分成多份，從而增加后續處理的計算負擔；如果分割過于粗糙，就很難保證一個區域對應一個目標，往往會把背景和目標合并成一個區域，影響最終候選窗的定位精度。
[0032]超像素是指圖像中一系列位置相鄰且具有相似顏色、灰度、紋理等特征的像素構成的小區域。超像素分割則是以超像素代替原來的像素點作為節點進行圖像分割，把圖像分成了多個小區域，每個小區域即為一個超像素。該方法不能確保每個超像素對應一個完整的目標，但以較高概率使每個超像素只對應一個目標。因此，超像素分割可以大大減小圖像處理的規模，帶來計算上的優勢。
[0033]如圖2a所示的原始圖像I，進行超像素分割如圖2b所示。
[0034]S200、采用圖像的分層分割對所述分割后的超像素集合(吐理后輸出所有分割
區域構成的集合Q2fi，具體包括以下步驟:`[0035]S201、計算C中所有相鄰分割區域的相似度；
[0036]任意兩個相鄰圖像區域a和b的相似度定義如下:
[0037]S (a, b) = (1- λ ) (1-S。(a, b)) + λ Sap (a, b)
[0038]其中Su (a, b)為a和b共有的面積占圖像面積的比列。Su (a, b)越小，則S(a, b)越大；該項作用是傾向讓小區域先進行合并，并防止單個區域一個接一個的吞噬其它區域。Sap (a, b)定義為兩個區域a和b的外觀相似度。
[0039]S202、將相似度最高的兩塊區域記作r.rm2合并得到一塊新區域rnew ；
[0040]S203、將新區域添加到集合C中得到集合，即Gg = C1seg Vjrnew ;
[0041]S204、刪除與區域rml和rm2相關的所有相似度，并計算rnew與相鄰區域的相似度；
[0042]S205、判斷rn?是否為完整的圖像I，如果不是則轉到步驟(2-2)繼續執行，如果是
則結束循環，輸出所有分割區域構成的集合。分層分割后的圖像如圖2c所示。
[0043]S300、利用目標的先驗知識(大小、寬高比)對集合中所有分割區域的外接矩形
進行篩選，在圖像金字塔中剩余窗口的周圍稠密采集窗口，從而獲得最終的目標候選窗，具體包括以下步驟:
[0044]S301、柯(戶所有分割區域的外接矩形作為初始窗口，如圖2d所示。
[0045]S302、刪除大小和寬高比不滿足要求的窗口，保留下來的窗口集合記做Qwin,如圖2e所示。以人臉檢測為例，規定把窗口像素個數小于2500大于20000、寬高比小于0.4大于1.1的所有窗口去除。通過簡單的篩選僅保留約1/3的初始窗口，從而減少了運算量。
[0046]S303、建立圖像I的M層圖像金字塔，并規定搜索窗口大小WXH，其中W是窗口寬度，H是窗口高度。一幅圖像的金字塔是一系列以金字塔形狀排列的分辨率逐步降低的圖像集合，金字塔的底部是待處理圖像的高分辨率表示，而頂部是低分辨率的近似，當向金字塔的上層移動時，尺寸和分辨率就降低。以人臉檢測為例，每一層金字塔搜索窗的大小設為72X 100像素，人臉檢測的搜索窗大小為7200。
[0047]S304、對集合Qwin中的所有窗口進行操作:對于任意一個窗口 w(i) e Qwin，根據各層圖像金字塔與原始圖像的比例關系計算出w(i)在每一層圖像金字塔中的大小
Kvm%，并與搜索窗口大小做比較，保留與WXH最接近的aw(i) (j)，即窗口 W⑴對應于
第j層圖像金字塔。舉例說明，假設窗口 w(i)在原始圖像中的大小為140X198像素，當第j層圖像金字塔為原始圖像一半大小時，w(i)在該層的大小為70X99像素，此時與搜索窗72X100最接近，則稱窗口 w(i)對應于第j層圖像金字塔。
[0048]S305、對于任意一個窗口 w⑴e Qwin，在其對應的第j層圖像金字塔窗口 w⑴附近稠密采集目標候選窗(窗口的大小為WXH),如圖2f所示。采集得到的窗口記為集合Swω,所有Sw(i)的并集即為最終的目標候選窗。在所有目標候選窗上進行目標檢測的后續處理，結果如圖2g所示。
[0049]下面采用上述本發明的方法對加州理工人臉數據庫和PASCAL V0C2009目標數據庫中的圖像進行搜索。加州理工人臉數據庫包含450張彩色圖片，每張圖片中有且只有一個人臉。所有人臉都正對鏡頭，平面內偏轉較小，采集人臉的環境相對比較簡單。V0C2009數據庫中的目標會受到復雜背景、光照變化和遮擋的干擾，且各類目標的形狀、尺度、姿態都有較大變化，與實際應用的`環境類似，因此給目標的搜索帶來了一定的挑戰。
[0050]搜索結果評價指標:窗口 C和ground-truth窗Cgt的相對重疊面積來評價定位精度，當窗口 C與Cgt的相對重疊面積大于0.5時,則認為C為一個有效的目標候選窗,且與Cgt對應的目標被召回，否則判定目標被漏掉。
[0051]實驗結果與分析:
[0052](I)圖像尺度越大，圖像分割越精細，產生的目標候選窗就越多，召回率也越高。因此，通過調整圖像尺度改變目標召回率和目標候選窗的數量。下表1給出了本發明召回率和平均目標候選窗數量的關系，可以看出召回率達到99.3%時，平均目標候選窗的數量小于800個。對于傳統的滑動窗搜索而言，實驗中滑動窗口搜索步長為4個像素，在整個圖像金字塔中遍歷搜索目標一共產生超過86萬個目標候選窗，即使把滑動窗口搜索步長設為8個像素，也會產生21萬個目標候選窗。顯而易見本發明中的滑動窗搜索方法允許在目標檢測任務中采用更復雜的特征和分類器，而不會加重計算消耗。
[0053]
【權利要求】
1.一種基于分層分割的滑動窗搜索方法，其特征在于，包括: (1)對圖像I進行超像素分割，將分割后的超像素集合記做( (2)利用區域相似度對所述分割后的超像素集合Cig進行圖像的分層分割，輸出所有分割區域構成的集合 (3)利用目標的先驗知識(大小、寬高比)對集合中所有分割區域的外接矩形進行篩選，在圖像金字塔中剩余窗口的周圍稠密采集窗口，從而獲得最終的目標候選窗。
2.根據權利要求1所述基于分層分割的滑動窗搜索方法，其特征在于，所述步驟(2)包括: (2-1)計算所有相鄰分割區域的相似度； (2-2)將相似度最高的兩塊區域記作rml，rffl2合并得到一塊新區域rnOT ； (2-3)將新區域添加到集合Cig中得到集合，即=C1 U.(2-4)刪除與區域rml和rm2相關的所有相似度，并計算rnOT與相鄰區域的相似度； (2-5)判斷rnOT是否為完整的圖像I，如果不是則轉到步驟(2-2)繼續執行，如果是則結束循環，輸出所有分割區域構成的集合Cl。
3.根據權利要求1所述基于分層分割的滑動窗搜索方法，其特征在于，所述步驟(3)包括: (3-1)將中所有分割區域的外接矩形作為初始窗口 ； (3-2)從所有初始窗口中刪除大小和寬高比不滿足要求的窗口，保留下來的窗口集合記做Qwin ； (3-3)建立圖像I的M層圖像金字塔，并規定搜索窗口大小WXH，其中W是窗口寬度，H是窗口聞度； (3-4)對集合Qwin中的所有窗口進行操作:對于任意一個窗口 w(i) e Qwin,根據各層圖像金字塔與原始圖像的比例關系計算出w(i)在每一層圖像金字塔中的大小{?。(刀匕，并與搜索窗口大小做比較，保留與WXH最接近的Bww (j)，即窗口 w(i)對應于第j層圖像金字塔； (3-5)對于任意一個窗口 w(i) e Qwin，在其對應的第j層圖像金字塔窗口 w(i)附近稠密采集目標候選窗(窗口的大小為WXH)，采集得到的窗口記為集合Swω，所有Sw(i)的并集即為最終的目標候選窗。
【文檔編號】G06K9/62GK103870834SQ201410134646
【公開日】2014年6月18日 申請日期:2014年4月3日 優先權日:2014年4月3日
【發明者】張琰, 蔡靜, 韓丹, 陳亮, 張荊沙, 李道清 申請人:張琰, 蔡靜, 韓丹