一種多特征多模型的行人檢測方法
【專利摘要】本發明公開一種多特征多模型的行人檢測方法，包括：用ICF+Adaboost分類器A處理視頻幀RGB圖像，用基于前景掩碼行人檢測分類器處理前景掩碼；將2個分類器的檢測結果合并，按閾值劃分為高置信度行人檢測結果和低置信度行人檢測結果；采用ICF+Adaboost分類器B、DPM行人檢測分類器分別對低置信度行人檢測結果進行檢測，將2個分類器檢測結果合并，并將檢測到的每個行人的檢測計分、重疊率、寬高比、分類器序號和前景比率作為特征向量，輸入1個裁決SVM中，判斷檢測到的行人是否為正確的行人檢測，并輸出新的行人檢測結果，并將此結果與高置信度行人檢測結果合并為一個合集作為最終檢測結果。本發明有效地解決目前行人檢測中存在的誤判率較高問題，并提高檢測率。
【專利說明】
一種多特征多模型的行人檢測方法
技術領域
[0001]本發明涉及視頻分析技術領域，具體涉及一種多特征多模型的行人檢測方法。
【背景技術】
[0002]目前行人檢測的方法較多，如集成通道特征(ICF:1ntegrated ChannelFeatures)+Adaboost,H0G+SVM(H0G:Histograms of Oriented Gradients ,SVM:SupportVector Machine) ,DPM(Deformable Part Model)模型，還有基于深度學習的檢測和基于前景掩碼的檢測方法等，這些方法應用于實際的監控視頻時，往往存在高檢測率和低誤判率之間的難以同時兼容的問題，從而給進一步的視頻高級分析(如行人檢索)帶來困難。
[0003]對于單個的基于機器學習的行人檢測方法，存在的主要問題是不能很好的適應各種實際場景，對于較為清晰的視頻能得到較好的檢測效果，而對于比較模糊的視頻則漏檢率較高;若加大訓練集的數目，則對于一些場景檢測效果較好，而對于另外一些場景則誤判率較高。而基于前景掩碼的行人檢測方法往往導致較高的誤判率。
[0004]目前，普遍使用的行人檢測方法有:Piotr Dollar的toolbox(http://vis1n.ucsd.edu/ —pdollar/toolbox/doc/index.html)中的ICF+Adaboost，DPM(DPM:Deformable Part Mo del)模型(http:/ / www.cs.berkeley.edu/ —rbg/latent/index.html),H0G+SVM(Histograms of Oriented Gradients for Human Detect1n,Dalai)。其中ICF+Adaboost的速度最快，效果較好;DPM模型的效果好但是速度慢;而HOG+SVM則速度中等且效果較好。還有其他的很多行人檢測方法被提出來，如H0G+LBP+IKSVM，在實際視頻(如安防監控)中的應用效果和前述的3種方法相差不大。各種檢測方法都存在高檢測率和低誤報率之間的難以兼容的矛盾，即用一種方法難以獲得適應面較廣、檢測率高、誤判率低、速度比較快的行人檢測效果。
[0005]如何采用一種智能化的方法，能把各種檢測方法很好的結合起來，達到適應面廣、檢測率高、誤判率低、速度較快的比較理想的效果，是人們研究的方向。
【發明內容】
[0006]本發明的目的為了克服上述現有技術存在的缺陷和問題，提供一種多特征多模型的行人檢測方法。本發明具有適應面較廣、檢測率高、誤判率低、速度比較快的特點。
[0007]本發明的技術方案為:
[0008]一種多特征多模型的行人檢測方法，基于P1tr DolIar的toolbox可以得到I個準確率較高的ICF+Adaboost分類器(即圖3中的ICF+Adaboost分類器B)，它和DPM行人檢測分類器有一個共同點，就是如果將視頻幀rgb圖像放大1.5 — 2倍后再檢測，則可以達到高檢測率、低誤報率的效果;但是放大圖像后檢測速度會變慢；同時這2個檢測方法有一定的互補性，即對于一些場景的視頻，可能ICF+Adaboost分類器B的檢測率高，而DPM行人檢測分類器的檢測率低。因此，本發明從提高行人檢測效率的角度考慮，將檢測分為2個階段:1階段和2階段；I階段(見圖2)使用靈敏度較高的ICF+Adaboost分類器A和基于前景掩碼的行人檢測分類器，得到檢測率較高但是可能誤報率較高的行人檢測結果，這個階段的檢測速度較快。接下來的2階段主要用來刪除I階段的低置信度行人檢測結果中的誤判，由于I階段的低置信度行人檢測結果的行人數量不多，所以可以將這些檢測detect1rubox(見圖4)對應的rgb圖像塊延伸放大后再檢測，這樣可以達到高檢測率和低誤報率，同時也能達到較快的檢測速度。行人檢測2階段使用了2個分類器:ICF+Adaboost分類器B和DPM行人檢測分類器，并使用一個裁決SVM來刪除行人檢測2階段的檢測結果中的誤判。
[0009]關于ICF+Adaboost分類器A和ICF+Adaboost分類器B的區別:對于同樣的圖像，分類器A的檢測率較高，同時誤報率也較高;分類器B的檢測率不高，但是誤報率較低。
[0010]—種多特征多模型的行人檢測方法，其特征在于包括以下步驟:
[0011](I)提取前景掩碼:對于輸入的視頻，采用高斯混合模型(GMM)的方法來建立背景模型，分析每一幀視頻的前景，并采用形態學操作進行去噪處理，獲得前景掩碼；
[0012](2)行人檢測I階段的行人檢測:參見圖2，使用ICF+Adaboost分類器A處理視頻流中的每一個視頻幀的RGB圖像得到行人檢測結果;基于前景掩碼行人檢測分類器處理每一個視頻幀對應的前景掩碼，先進行形態學處理，然后提取連通域，并計算每個連通域的寬高比(wh_rat1)，然后將寬高比在一定閾值范圍內的連通域作為行人檢測結果;然后將上述的2個分類器處理的行人檢測結果合并，再將合并后的行人檢測結果按檢測計分(score)劃分置信度，設置一個score的閾值，大于此閾值的行人檢測結果為高置信度行人檢測結果，存入行人檢測最終結果集，低于此閾值的行人檢測結果為低置信度行人檢測結果，作為行人檢測2階段的輸入數據；
[0013](3)行人檢測2階段的行人檢測:參見圖3，輸入為行人檢測I階段的低置信度行人檢測結果，采用ICF+Adaboost分類器B和DPM行人檢測分類器分別對輸入的低置信度行人檢測結果進行檢測，并提取檢測方框detect1rubox(見圖4)重疊率、score、分類器序號、寬高比和前景比率組成裁決特征向量，利用一個裁決SVM進行分析，刪除誤判，得到行人檢測的最終結果集；
[0014](4)將行人檢測I階段的高置信度行人檢測結果和行人檢測2階段的行人檢測結果合并，成為最終的行人檢測結果集。
[0015]參見圖3，步驟(3)行人檢測2階段的行人檢測具體步驟為:對于行人檢測I階段的低置信度檢測結果中的每個檢測方框(detect1n_box)，向X和Y方向延伸，形成一個擴大的矩形區域，這樣每個detect1n_box轉換為一個擴大的矩形區域;接下來在每個矩形區域內進行檢測，先提取此矩形區域對應的視頻幀RGB圖像塊，并放大一定的倍數，這樣使得各種顏色和邊沿特征更加明顯;然后分別用ICF+Adaboost分類器B和DPM行人檢測分類器分別對上述的延伸并放大的RGB圖像塊進行檢測，形成2個檢測結果集，這2個結果集會存在一些重疊的detect 1n_box，此時若多個detect 1n_box的重疊率很高，則只保留I個;最后計算每個detect1n_box的檢測情況并形成裁決特征向量，裁決特征向量包括:檢測計分score、分類器編號、重疊率、寬高比和前景比率，將此裁決特征向量輸入一個裁決SVM，若裁決SVM輸出值大于0，則判斷此detect1n_box為正確的行人檢測，并保留，若輸出值小于O，則認為是誤判，并刪除。
[0016]本發明有效地解決目前行人檢測中存在的誤判率較高的問題，并提高檢測率。
【附圖說明】
[0017]圖1為本發明的行人檢測整體流程圖。
[0018]圖2為本發明的行人檢測I階段流程圖。
[0019]圖3為本發明的行人檢測2階段流程圖。
[0020]圖4為detect1n_box和score不意圖。
[0021 ] 圖5為detect1n_box對應的前景示意圖。
【具體實施方式】
[0022]下面對結構附圖對本發明作進一步描述。如圖1、圖2、圖3、圖4、圖5所示。
[0023](I)提取前景掩碼
[0024]對于輸入的視頻，分析每一幀的前景掩碼，分析方法為高斯混合模型(GMM)，若視頻的分辨率較高，可以按原視頻的尺寸比例將高度縮小為500像素，以加快分析速度。分析后，每一幀有2個數據，I個為視頻幀rgb圖像，另一個為以邏輯值表示的前景掩碼。
[0025](2)行人檢測I階段的行人檢測
[0026]參見圖2，對于視頻的每一幀rgb圖像，采用“ICF+Adaboost分類器A”進行行人檢測，得到行人檢測結果集I。
[0027]下面對檢測計分(S卩檢測score)進行說明:
[0028]參見圖4，對于以下3種分類器:10?+六(1&130081:分類器六、10?+六(1&130081:分類器13和DPM行人檢測分類器，當分類器對視頻幀rgb圖像的每個滑動窗口進行特征計算和分類判斷時，得到一個分類判斷值，即為分類score，或稱檢測計分score，若score大于O，則認為滑動窗口內包含了行人，而對于不同的檢測結果，score不同，一般范圍為[-300,300] ,score的值越大，表示檢測到行人的可能性也越大，即置信度越高。
[0029]“ICF+Adaboost分類器A”采用以下方法獲得:選取公開的行人訓練數據集，包括:INRIA、Caltech和ETH，選取高度超過60像素的行人作為正樣本，并經過左右鏡像、模糊化、加噪聲的方法來獲得更多正樣本，這樣得到約15000個正樣本;然后以這些數據集中的負樣本和網絡采集的無行人的圖片集一起，形成負樣本集，大約100萬個負樣本；使用P1trDoIIar的tooIbox(http://vis1n.ucsd.edu/ —pdollar/toolbox/doc/index.html)中的ICF+Adaboost模型進行訓練，得到分類器。
[0030]對于視頻的每一幀rgb圖像對應的前景掩碼，采用“基于前景掩碼的行人檢測分類器”進行行人檢測，主要判斷依據為行人的輪廓特征，先對前景掩碼進行形態學處理，包括:刪除較小的噪聲連通域，在y方向進行膨脹以連接分斷的連通域。然后計算每個連通域的外接矩形寬高比，即:wh_rat1=width/height，若某個連通域的wh_rat1處在某個閾值范圍中，如[0.3，0.8]，則認為此連通域為行人，并形成行人檢測結果集2(見圖2)，并將每個detect1n_box設置一個相同的較小的大于O的score，如0.1。
[0031]這樣獲得2個檢測結果集，分別為“行人檢測結果集I”和基于前景掩碼的行人檢測結果集2。
[0032]接下來對于上述2個結果集的相互重疊率大于一定閾值的多個detect1n_box，只保留I個，即保留“行人檢測結果集I”中的detect1rubox。這樣將2個結果集合并，形成I個合集。然后將此合集中的全部detect 1n_box按檢測score分為2類，大于某個閾值的視為“高置信度行人檢測結果”，其他的作為“低置信度行人檢測結果”，設置的閾值使一部分“行人檢測結果集I”的detect1n_box和全部“行人檢測結果集2”的detect1n_box將作為“低置信度行人檢測結果” ο “高置信度行人檢測結果”直接存入最終行人檢測結果集。
[0033](3)行人檢測2階段
[0034]在實踐中發現，將視頻幀rgb圖像放大后，如放大1.5 — 2倍后，檢測的準確率會增加；同時DPM(DPM:Deformable Part Model)行人檢測分類器的準確率較高且誤判率較低，但是檢測速度較慢;所以本發明將行人檢測分為2個階段，在此階段，只對行人檢測I階段產生的“低置信度行人檢測結果集”再次檢測，既滿足高檢測率、低誤判率，又能達到較快的檢測速度。
[0035]參見圖3，對于“低置信度行人檢測結果集”中的每個detect1rubox，根據detect 1n_box的X座標，y座標,width ,height確定在視頻幀rgb圖像上的位置，先在X和y軸的方向延伸形成一個更大的矩形區域，即包含更多的視頻幀范圍以獲得更好的檢測效果；然后將此矩形區域放大1.5 — 2倍，使得顏色和梯度更加明顯；這樣對于每個detect1n_box，獲得一個延伸并放大的rgb圖像塊。
[0036]對于每個延伸并放大的rgb圖像塊，分別用“ICF+Adaboost分類器B”和“DPM行人檢測分類器”進行檢測，獲得行人檢測結果集I和行人檢測結果集2(見圖3)。
[0037]“ICF+Adaboost分類器B”具有檢測率不高但是誤判率低的特點，采用以下方法獲得:選取公開的行人訓練數據集INRIA，選取高度超過100像素的行人作為正樣本，并經過左右鏡像、模糊化、加噪聲的方法來獲得更多正樣本，這樣得到約3000個正樣本；然后以INIRIA數據集中的負樣本和網絡采集的無行人的圖片集一起，形成負樣本集，大約3萬個負樣本；使用P1tr DoIIar的tooIbox(http: // vis1n.ucsd.edu/—pdollar/toolbox/doc/index.html)中的ICF+Adaboost模型進行訓練，得到分類器。INRIA正樣本的特點是圖像清晰，彳丁人具有$父尚的尚度。
[0038]對于每個延伸并放大的rgb圖像塊，還用“DPM行人檢測分類器”進行行人檢測，直接使用開源的模型和行人檢測分類器，可參見:http://www.cs.berkeley.edu/— rbg/latent/index.html。
[0039]這樣由2種分類器獲得2個檢測結果集，然后合并為I個檢測結果集;在這個結果集中，若存在多個相互重疊的detect1rubox，且重疊率超過一定閾值，則只保留I個，可保留任意一個。這樣經過合并和“消除重疊detect1rubox”的處理之后，得到一個合并后的檢測結果集。然后經過“裁決SVM”來消除其中的誤判，得到一個新的檢測結果集，作為行人檢測2階段的輸出。
[0040](4)行人檢測2階段中的“裁決SVM”
[0041]行人檢測2階段有一個重要的分類器，ΒΓ裁決SVM”，用于判斷上述“步驟(3)行人檢測2階段”中的“行人檢測結果集I”和“行人檢測結果集2”(見圖3)中哪些是行人，SPTP(True Positive)，哪些是誤判，即FP(False Positive)。下面詳細說明“裁決SVM”的特征向量的產生和“裁決SVM”的訓練方法。
[0042]“裁決SVM”的特征向量的產生方法如下:
[0043]對于上述的“步驟(3)行人檢測2階段”中的“行人檢測結果集I”和“行人檢測結果集2”中的每個detect1rubox，可以計算I個特征向量(下稱裁決特征向量)，包括以下元素:
[0044][a]重疊率，若本(^丨6(31:;[011_1301和其他的(16丨6(31:;[011_1301存在重疊，可計算本detect1n_box和其他detect1n_box之間的重疊率，取最大重疊率作為此特征元素，可為[0,1)；
[0045][b]分類器序號，即此detect1rubox由哪種分類器檢測得到，行人檢測2階段使用的分類器為“ICF+Adaboost分類器B”或“DPM行人檢測分類器”；
[0046][c]檢測score，這是分類器的輸出值，可為O — 300;
[0047][d]寬高比，即:detect1n_box寬度/detect1n_box高度；
[0048][e]前景比率，detect1n_box內的前景像素點數目/總像素點數目，可參見圖5 ；
[0049]這樣將每個detect1rubox轉換為I個特征向量，然后輸入到裁決SVM，得出是否為行人(即TP)的最終判斷，判斷規則為:若裁決SVM輸出值大于0，則認為是正確的行人(SPTP)，若裁決SVM輸出值小于0，則認為是誤判(即FP)。
[0050]本發明使用IKSVM( ,http: //ttic.uchicag0.edu/ —smaji/pro jects/f iksvm/)，比經典SVM(如libsvm)的速度更快，且支持非線性，可以得到更好的分類效果。
[0051 ] “裁決SVM”的訓練方法如下:
[0052]選擇一些典型場景的視頻，如:學校，小區，街道，車站，商場，工廠，并選擇包含各種季節(如夏、冬)，各種氣候條件(晴天、陰天、雨天)，各種時段(早、中、晚)的視頻。對于這些視頻，按照上述的2個階段(即行人檢測I階段和行人檢測2階段)進行行人檢測，由于訓練時沒有“裁決SVM”，對于“行人檢測2階段”得到的行人檢測detect1rubox，采用人工來辨別是否為正確的行人(即TP)，將屬于正確行人檢測的detect1rubox作為正樣本，而將屬于錯誤行人檢測(即FP)的detect1n_box作為負樣本，搜集約3000個正樣本和3000個負樣本，計算上述的“裁決特征向量”，輸入IKSVM進行訓練得到“裁決SVM”。
[0053]下面對裁決SVM的輸出值進行說明:
[0054]SVM的輸出值可以為實數，將大于O的檢測認為是正確的行人檢測，并保留；而將小于O的檢測認為是錯誤的行人檢測，并被刪除。
[0055](5)最后階段
[0056]將行人檢測I階段得到的高置信度行人檢測結果集(見圖2)和行人檢測2階段得到的行人檢測結果(見圖3)合并，成為行人檢測最終結果集。
【主權項】
1.一種多特征多模型的行人檢測方法，其特征在于包括以下步驟: (1)提取前景掩碼:對于輸入的視頻，采用高斯混合模型(GMM)的方法來建立背景模型，分析每一幀視頻的前景，并采用形態學操作進行去噪處理，獲得前景掩碼； (2)行人檢測I階段的行人檢測:使用ICF+Adaboost分類器A處理視頻流中的每一個視頻幀的RGB圖像得到行人檢測結果;基于前景掩碼行人檢測分類器處理每一個視頻幀對應的前景掩碼，先進行形態學處理，然后提取連通域，并計算每個連通域的寬高比(wh_rat1)，然后將寬高比在一定閾值范圍內的連通域作為行人檢測結果;然后將上述的2個分類器處理的行人檢測結果合并，再將合并后的行人檢測結果按檢測計分(score)劃分置信度，設置一個score的閾值，大于此閾值的行人檢測結果為高置信度行人檢測結果，存入行人檢測最終結果集，低于此閾值的行人檢測結果為低置信度行人檢測結果，作為行人檢測2階段的輸入數據； (3)行人檢測2階段的行人檢測:對于輸入的低置信度行人檢測結果，采用ICF+Adaboost分類器B和DPM行人檢測分類器分別對輸入的行人檢測結果進行檢測，并提取檢測方框(detect1rubox)重疊率、score、分類器序號、寬高比和前景比率組成裁決特征向量，利用一個裁決SVM進行分析，刪除誤判，得到一個新的行人檢測結果； (4)將行人檢測I階段的高置信度行人檢測結果和行人檢測2階段的行人檢測的最終結果合并，成為行人檢測最終結果集。2.根據權利要求1所述的多特征多模型的行人檢測方法，其特征在于:步驟(3)行人檢測2階段的行人檢測具體步驟為:對于行人檢測I階段的低置信度檢測結果中的每個檢測方框(detect1n_box)，向X和Y方向延伸，形成一個擴大的矩形區域，這樣每個detect1n_box轉換為一個擴大的矩形區域;接下來在每個矩形區域內進行檢測，先提取此矩形區域對應的視頻幀RGB圖像塊，并放大一定的倍數，這樣使得各種顏色和邊沿特征更加明顯;然后分別用ICF+Adaboost分類器B和DPM行人檢測分類器分別對上述的延伸并放大的RGB圖像塊進行檢測，形成2個檢測結果集，這2個結果集會存在一些重疊的detect1n_box，此時若多個detect1n_box的重疊率很高，則只保留I個;最后計算每個detect1n_box的檢測情況并形成裁決特征向量，裁決特征向量包括:檢測計分score、分類器編號、重疊率、寬高比和前景比率，將此裁決特征向量輸入一個裁決SVM，若裁決SVM輸出值大于0，則判斷此detect1n_box為正確的行人檢測，并保留，若輸出值小于0，則認為是誤判，并刪除。
【文檔編號】G06K9/00GK105913003SQ201610212821
【公開日】2016年8月31日
【申請日】2016年4月7日
【發明人】陳昌海
【申請人】國家電網公司, 湖北科能電力電子有限公司