一種基于Bag-of-features模型的自學習行人計數方法及裝置制造方法
【專利摘要】本發明涉及一種基于Bag-of-features模型的自學習行人計數方法，該計數方法包括：建立預先采集的視頻圖像樣本的Bag-of-features模型，采用支持向量機作為分類器訓練獲得初始狀態下的基于Bag-of-features模型的行人分類器；提取符合支持向量機基本分類條件的當前視頻圖像的前景區域，并對當前視頻圖像的搜索窗口進行區域劃分，根據所述前景區域和所述搜索窗口內的特征點提取當前視頻圖像的高置信度樣本；根據提取的高置信度樣本實時更新Bag-of-features模型的參數，進而更新基于Bag-of-features模型的行人分類器，通過所述行人分類器實現行人計數。本發明能夠自動提取視頻中的高置信度行人和非行人樣本，進行實時調整Bag-of-features模型參數，提高系統對多場景的適應能力和計數準確性。
【專利說明】-種基于Bag-of-features模型的自學習行人計數方法及 裝置
【技術領域】
[0001] 本發明涉及數字圖像處理、計算機視覺、模式識別領域，特別是涉及一種基于 Bag-of-features模型的自學習行人計數方法和裝置。
【背景技術】
[0002] 基于視頻的行人計數系統能夠智能分析圖像，得到攝像機視野范圍內的行人數 目，在公共場所有很大的應用價值。隨著計算機視覺計數的飛速發展，該領域的研究和產品 化受到廣泛關注。
[0003] 基于行人檢測跟蹤的行人計數算法是一種主流的方法。該方法首先通過背景 建模、幀差法等方法分割出前景區域，檢測行人目標，并進一步跟蹤檢出區域，實現行人 計數° 例如，Zhao 等人（Xi Zhao, E. Delleandrea, Liming Chen. A People Counting System based on Face Detection and Tracking in a Video.Proc of6th IEEE International Conference on Advanced Video and Signal Based Surveillance. Genoa, Italy, 2009:67-72)和 Zu 等人（Keju Zu, Fuqiang Liu, and Zhipeng Li. Counting pedestrian in crowded subway scene. IEEE2nd International Congress on In Image and Signal Processing, 2009)采用檢測跟蹤行人頭部的方法，Li等人（M. Li, Z. Zhang, K. Huang,and T.Tan. Estimating the number of people in crowded scenes by MID based foreground segmentation and head-shoulder detection. Proc of19th IEEE International Conference on Pattern Recognition. Tampa, Florida, USA, 2008:1 - 4) 采用頭肩檢測的方法來實現行人計數。Wen等人（Wusheng Wen, Mengfen Ho, and Chunglin Huang. People tracking and counting for applications in video surveillance system. International Conference on In Audio, Language and Image Processing, 2008)先采用模板匹配的方法檢測前景中的行人區域，并進一步采 用霍夫變換的方法最終確定行人頭部輪廓。Rittscher等人（Jens Rittscher, Peter H Tu, and Nils Krahnstoever.Simultaneous estimation of segmentation and shape. IEEE Computer Society Conference on In Computer Vision and Pattern Recognition, pages486 - 493, 2005)利用行人輪廓的先驗知識分割前景圖像，得到行人個 體并計數，該類方法假設行人個體是互不遮擋的，適用于行人密度較低的場景。
[0004] 現有及上述的基于行人檢測的人數計數算法在行人檢測環節大都采用離線訓練 的分類器，通過人工收集大量樣本訓練分類器以實現行人檢測。然而在實際應用中，視頻監 控系統將面臨復雜多樣的應用場景，場景中的行人樣本和背景差異很大，離線采集訓練不 僅耽誤時間更重要的是影響了系統的實際應用價值。
【發明內容】
[0005] 鑒于以上問題，本發明提供了一種基于視覺詞袋模型Bag-of-features模 型的在線自適應學習的行人計數方法，通過在線自動采集高置信度樣本，實時更新 Bag-of-feature模型參數，使系統在Bag-of-features模型上具備自適應學習功能，有效 提高了系統對不同場景的適應能力，減少人工干預，增加應用價值。
[0006] 本發明的目的通過以下技術方案來實現：
[0007] -種基于Bag-of-features模型的自學習行人計數方法包括：
[0008] 建立預先采集的視頻圖像樣本的Bag-of-features模型，采用支持向量機作為分 類器訓練獲得初始狀態下的基于Bag-of-features模型的行人分類器；
[0009] 提取符合支持向量機基本分類條件的當前視頻圖像的前景區域，并對當前視頻圖 像的搜索窗口進行區域劃分，根據所述前景區域和所述搜索窗口內的特征點提取當前視頻 圖像的高置信度樣本；
[0010] 根據提取的高置信度樣本實時更新Bag-of-features模型的參數，進而更新基于 Bag-of-features模型的行人分類器，通過所述行人分類器實現行人計數。
[0011] 進一步，所述建立視頻圖像樣本的Bag-of-features模型包括如下步驟：
[0012] 提取預先采集的視頻圖像中的正樣本和負樣本中的感興趣特征點，對感興趣特征 點進行特征描述；其中，所述正樣本為行人樣本，所述負樣本為非行人樣本；
[0013] 采用聚類方法將進行特征描述的感興趣特征點劃分成不同的類別，將每一個類別 作為一個視覺詞條，所有的類別構成Bag-of-features模型的視覺詞典庫；
[0014] 將正樣本和負樣本分別劃分成η個區域，將每個區域以及正樣本和負樣本作為整 體區域內的特征點與視覺詞條進行樣本映射，獲得每個特征點的直方圖，形成視頻圖像樣 本的Bag-of-features模型；其中，η不小于正整數4。
[0015] 進一步，所述提取符合支持向量機基本分類條件的當前視頻圖像的前景運動區域 包括：
[0016] 采用混合高斯背景建模方法提取當前視頻圖像的背景區域，將所述背景區域與當 前圖像幀進行比較，提取當前視頻圖像的前景區域；
[0017] 所述根據所述前景區域和所述搜索窗口內的特征點提取當前視頻圖像的高置信 度樣本包括，當所述搜索窗口內的前景像素點的數目與搜索窗口內所有像素點的數目之比 不小于設定閾值時，將所述搜索窗口提取為高置信度正樣本；當所述搜索窗口內的前景像 素點的數目與搜索窗口內所有像素點的數目之比小于設定閾值時，將所述搜索窗口提取為 高置信度負樣本。
[0018] 進一步，所述對當前視頻圖像的搜索窗口進行區域劃分包括：
[0019] 將搜索窗口沿橫向平均分為3個橫向子區域，沿縱向平均分為2個縱向子區域；
[0020] 所述根據所述前景區域和所述搜索窗口內的特征點提取當前視頻圖像的高置信 度樣本包括，
[0021] 統計各個橫向子區域和縱向子區域內的特征點的數目；
[0022] 當各個橫向子區域之間的特征點的數目差異和各個縱向子區域之間的特征點的 數目差異不大于設定閾值時，將所述搜索窗口提取為高置信度正樣本；
[0023] 當各個橫向子區域之間的特征點的數目差異和各個縱向子區域之間的特征點的 數目差異小于設定閾值時，將所述搜索窗口提取為高置信度負樣本。
[0024] 進一步，所述根據提取的高置信度樣本對Bag-of-features模型的各項參數進行 實時更新包括：
[0025] 提取所述高置信度正樣本和所述高置信度負樣本中的感興趣特征點，對感興趣特 征點進行特征描述，將每個感興趣特征點根據歐氏距離映射到距離最近的m個視覺詞條； 其中，m小于視覺詞條的總數目；
[0026] 根據每個視覺詞條所映射的感興趣特征點的數目，對所有視覺詞條進行降序排 序；
[0027] 在降序排序后的視覺詞條中選擇包含正樣本數目最多的N+個在支持向量機分類 器中權重為正的視覺詞條和包含負樣本數目最多的f個在支持向量機分類器中權重為負 的視覺詞條；
[0028] 將待更新的詞條進行維度加和并加權方式，對已選擇的N+個視覺詞條和f個視覺 詞條進行更新。
[0029] 進一步，所述提取預先采集的視頻圖像中的正樣本和負樣本中的感興趣特征點包 括：
[0030] 提取正樣本和負樣本中的邊緣信息,通過對邊緣信息的下采樣獲得正樣本和負樣 本中的感興趣特征點。
[0031] 進一步，所述對感興趣特征點進行特征描述包括：
[0032] 選擇以關鍵點為中心的16 X 16區域，計算每個區域中每個特征點的梯度值，將 16 X 16區域中所有特征點的梯度值用一個中心在該區域中央且標準差為1.5倍的區域寬 度的高斯函數加權；所述關鍵點為感興趣特征點
[0033] 將所述16 X 16區域分為16個4X4的小區域，在每個小區域中統計所有特征點 的梯度直方圖，將直方圖分為8個方向，形成128維特征向量；其中，在統計所有特征點的梯 度直方圖時，將所有大于設定閾值的梯度直方圖均設置為該設定閾值；
[0034] 將所述特征向量歸一化完成對感興趣特征點的特征描述。
[0035] 進一步，所述獲得每個特征點的直方圖包括：
[0036] 所述樣本映射為將正樣本和負樣本中的每個特征點用視覺詞典庫中的視覺詞條 近似代替，通過統計視覺詞典庫中每個視覺詞條在樣本圖像中出現的次數得到相應直方圖 特征；或者，所述樣本映射為將正樣本和負樣本中的每個特征點根據歐式距離映射到距離 最近的m個視覺詞條，通過統計視覺詞典庫中每個視覺詞條在樣本圖像中出現的次數得到 相應直方圖特征；其中，m小于視覺詞條的總數目。
[0037] 本發明還提供一種基于Bag-of-features模型的自學習行人計數裝置，該計數 裝置包括：Bag-of-features模型及行人分類器建立模塊，用于建立預先采集的視頻圖像 樣本的Bag-of-features模型，采用支持向量機作為分類器訓練獲得初始狀態下的基于 Bag-of-features模型的行人分類器；高置信度樣本提取模塊，用于提取符合支持向量機 基本分類條件的當前視頻圖像的前景區域，并對當前視頻圖像的搜索窗口進行區域劃分， 根據所述前景區域和所述搜索窗口內的特征點提取當前視頻圖像的高置信度樣本；更新模 塊，用于根據提取的高置信度樣本實時更新Bag-of-features模型的參數，進而更新基于 Bag-of-features模型的行人分類器，通過所述行人分類器實現行人計數。
[0038] 本發明的優點在于：
[0039] 本發明能夠自動提取視頻中的高置信度行人和非行人樣本，以此獲取該場景內行 人和背景特點，并根據提取的高置信度樣本實時更新Bag-of-features模型的參數，實現 了在使用多攝像頭的大場景環境下對行人數量的準確統計。
【專利附圖】
【附圖說明】
[0040] 圖1為本發明第一實施例提供的行人計數方法流程圖；
[0041] 圖2為本發明第一實施例提供的建立Bag-of-features模型的方法流程圖；
[0042] 圖3為本發明第一實施例提供的連接圖像邊緣點的示意圖；
[0043] 圖4為本發明第一實施例提供的樣本映射的硬投票示意圖；
[0044] 圖5為本發明第一實施例提供的樣本映射的軟投票示意圖；
[0045] 圖6為本發明第一實施例提供的提取高置信度樣本的方法流程圖；
[0046] 圖7為本發明第一實施例提供的搜索窗口進行區域劃分的示意圖；
[0047] 圖8為本發明第一實施例提供的基于Bag-Of-Features模型參數更新的方法流程 圖；
[0048] 圖9為本發明第二實施例提供的行人計數裝置圖。
【具體實施方式】
[0049] 本發明實現基于Bag-of-features模型的在線自適應學習的區域行人計數方法。 首先預先采集訓練樣本，包括正負樣本(正樣本為行人樣本，負樣本為非行人樣本，非必須 為當前場景)，提取正負樣本中的感興趣特征點，采用SIFT特征（Scale-invariant feature transform)的描述方法描述該感興趣特征點。對訓練樣本采用K-means聚類方法將進行特 征描述的感興趣特征點劃分成不同的類別得到視覺詞條（codebook)，并生成特征最終得到 初始的Bag-of-features模型。在實時運行階段，當針對特定場景進行區域行人計數時，該 方法能夠實時采集當前場景下的高置信度正負樣本，并實時更新Bag-of-features模型的 各項參數，從而提高系統對特定場景的自適應能力。
[0050] 圖1所示為本發明行人計數方法流程圖，該方法包括：
[0051] 建立預先采集的視頻圖像樣本的Bag-of-features模型，采用支持向量機作為分 類器訓練獲得初始狀態下的基于Bag-of-features模型的行人分類器；所述初始狀態是針 對某一應用場景時，系統剛開始運行的狀態。
[0052] 提取符合支持向量機基本分類條件的當前視頻圖像的前景區域，并對當前視頻圖 像的搜索窗口進行區域劃分，根據所述前景區域和所述搜索窗口內的特征點提取當前視頻 圖像的高置信度樣本；
[0053] 根據提取的高置信度樣本實時更新Bag-of-features模型的參數，進而更新基于 Bag-of-features模型的行人分類器，通過所述行人分類器實現行人計數。
[0054] 圖2為本發明建立Bag-of-features模型的方法流程圖。如圖2所示，建立視頻 圖像樣本的Bag-of-features模型包括如下步驟：
[0055] 步驟一：提取感興趣特征點并進行特征點描述；具體為：提取預先采集的視頻圖 像中的正樣本和負樣本中的感興趣特征點，對感興趣特征點進行特征描述；其中，所述正樣 本為行人樣本，所述負樣本為非行人樣本。
[0056] 1)步驟一包括提取訓練樣本的感興趣特征點，采用如下方法：
[0057] 為了獲得足夠的感興趣特征點，先預先采集訓練樣本，包括正負樣本(行人樣本和 非行人樣本)，首先提取樣本邊緣信息，對邊緣信息下采樣得到感興趣特征點。下采樣的采 樣頻率與對感興趣特征點數目的需求相關。此處的下采樣指對每一幀視頻圖像中的像素點 間隔提取，取采樣頻率為6個像素間隔。
[0058] 本發明采用Canny算子進行邊緣檢測以提取樣本邊緣信息。Canny算子采用的是 先平滑然后求導數的方法，具體包括如下步驟：
[0059] (a)采用Canny算子用高斯函數對樣本圖像進行圖像平滑，并去除圖像噪聲。
[0060] 高斯函數用公式（1)表示：
[0061]
【權利要求】
1. 一種基于Bag-of-features模型的自學習行人計數方法，其特征在于，該計數方法 包括： 建立預先采集的視頻圖像樣本的Bag-of-features模型，采用支持向量機作為分類器 訓練獲得初始狀態下的基于Bag-of-features模型的行人分類器； 提取符合支持向量機基本分類條件的當前視頻圖像的前景區域，并對當前視頻圖像的 搜索窗口進行區域劃分，根據所述前景區域和所述搜索窗口內的特征點提取當前視頻圖像 的高置信度樣本； 根據提取的高置信度樣本實時更新Bag-of-features模型的參數，進而更新基于 Bag-of-features模型的行人分類器，通過所述行人分類器實現行人計數。
2. 根據權利要求1所述的一種基于Bag-of-features模型的自學習行人計數方法，其 特征在于，所述建立視頻圖像樣本的Bag-of-features模型包括如下步驟： 提取預先采集的視頻圖像中的正樣本和負樣本中的感興趣特征點，對感興趣特征點進 行特征描述；其中，所述正樣本為行人樣本，所述負樣本為非行人樣本； 采用聚類方法將進行特征描述的感興趣特征點劃分成不同的類別，將每一個類別作為 一個視覺詞條，所有的類別構成Bag-of-features模型的視覺詞典庫； 將正樣本和負樣本分別劃分成n個區域，將每個區域以及正樣本和負樣本作為整體區 域內的特征點與視覺詞條進行樣本映射，獲得每個特征點的直方圖，形成視頻圖像樣本的 Bag-of-features模型；其中，n不小于正整數4。
3. 根據權利要求1或2所述的一種基于Bag-of-features模型的自學習行人計數 方法，其特征在于，所述提取符合支持向量機基本分類條件的當前視頻圖像的前景區域包 括： 采用混合高斯背景建模方法提取當前視頻圖像的背景區域，將所述背景區域與當前圖 像幀進行比較，提取當前視頻圖像的前景區域； 所述根據所述前景區域和所述搜索窗口內的特征點提取當前視頻圖像的高置信度樣 本包括，當所述搜索窗口內的前景像素點的數目與搜索窗口內所有像素點的數目之比不小 于設定閾值時，將所述搜索窗口提取為高置信度正樣本；當所述搜索窗口內的前景像素點 的數目與搜索窗口內所有像素點的數目之比小于設定閾值時，將所述搜索窗口提取為高置 信度負樣本。
4. 根據權利要求3所述的一種基于Bag-of-features模型的自學習行人計數方法，其 特征在于，所述對當前視頻圖像的搜索窗口進行區域劃分包括： 將搜索窗口沿橫向平均分為3個橫向子區域，沿縱向平均分為2個縱向子區域； 所述根據所述前景區域和所述搜索窗口內的特征點提取當前視頻圖像的高置信度樣 本包括， 統計各個橫向子區域和縱向子區域內的特征點的數目； 當各個橫向子區域之間的特征點的數目差異和各個縱向子區域之間的特征點的數目 差異不大于設定閾值時，將所述搜索窗口提取為高置信度正樣本； 當各個橫向子區域之間的特征點的數目差異和各個縱向子區域之間的特征點的數目 差異小于設定閾值時，將所述搜索窗口提取為高置信度負樣本。
5. 根據權利要求4所述的一種基于Bag-of-features模型的自學習行人計數方法，其 特征在于，所述根據提取的高置信度樣本對Bag-of-features模型的參數進行實時更新包 括： 提取所述高置信度正樣本和所述高置信度負樣本中的感興趣特征點，對感興趣特征點 進行特征描述，將每個感興趣特征點根據歐氏距離映射到距離最近的m個視覺詞條；其中， m小于視覺詞條的總數目； 根據每個視覺詞條所映射的感興趣特征點的數目，對所有視覺詞條進行降序排序； 在降序排序后的視覺詞條中選擇包含正樣本數目最多的N+個在支持向量機分類器中 權重為正的視覺詞條和包含負樣本數目最多的f個在支持向量機分類器中權重為負的視 覺詞條； 將待更新的詞條進行維度加和并加權方式，對已選擇的N+個視覺詞條和f個視覺詞條 進行更新。
6. 根據權利要求2所述的一種基于Bag-of-features模型的自學習行人計數方法，其 特征在于，所述提取預先采集的視頻圖像中的正樣本和負樣本中的感興趣特征點包括：提 取正樣本和負樣本中的邊緣信息，通過對邊緣信息的下采樣獲得正樣本和負樣本中的感興 趣特征點。
7. 根據權利要求6所述的一種基于Bag-of-features模型的自學習行人計數方法，其 特征在于，所述對感興趣特征點進行特征描述包括 ： 選擇以關鍵點為中心的16X16區域，計算每個區域中每個特征點的梯度值，將每個區 域中所有特征點的梯度值用一個中心在該區域中央且標準差為1. 5倍的區域寬度的高斯 函數加權；其中，所述關鍵點為感興趣特征點； 將所述16X 16區域分為16個4X4的小區域，在每個小區域中統計所有特征點的梯度 直方圖，將梯度直方圖分為8個方向，形成128維特征向量；其中，在統計所有特征點的梯度 直方圖時，將所有大于設定閾值的梯度直方圖均設置為該設定閾值； 將所述特征向量歸一化完成對感興趣特征點的特征描述。
8. 所述根據權利要求7所述的一種基于Bag-of-features模型的自學習行人計數方 法，其特征在于，所述獲得每個特征點的直方圖包括：所述樣本映射為將正樣本和負樣本中 的每個特征點用視覺詞典庫中的視覺詞條近似代替，通過統計視覺詞典庫中每個視覺詞條 在樣本圖像中被映射的次數得到相應直方圖特征；或者，所述樣本映射為將正樣本和負樣 本中的每個特征點根據歐式距離映射到距離最近的m個視覺詞條，通過統計視覺詞典庫中 每個視覺詞條在樣本圖像中被映射的次數得到相應直方圖特征；其中，m小于視覺詞條的 總數目。
9. 一種基于Bag-of-features模型的自學習行人計數裝置，其特征在于，所述計數裝 置包括： Bag-of-features模型及行人分類器建立模塊，用于建立預先采集的視頻圖像樣 本的Bag-of-features模型，采用支持向量機作為分類器訓練獲得初始狀態下的基于 Bag-of-features模型的行人分類器； 高置信度樣本提取模塊，用于提取符合支持向量機基本分類條件的當前視頻圖像的前 景區域，并對當前視頻圖像的搜索窗口進行區域劃分，根據所述前景區域和所述搜索窗口 內的特征點提取當前視頻圖像的高置信度樣本； 更新模塊，用于根據提取的高置信度樣本實時更新Bag-of-features模型的參數，進 而更新基于Bag-of-features模型的行人分類器，通過所述行人分類器實現行人計數。
【文檔編號】G06M11/00GK104517127SQ201310449781
【公開日】2015年4月15日 申請日期:2013年9月27日 優先權日:2013年9月27日
【發明者】黃磊, 李靜雯 申請人:漢王科技股份有限公司