一種運動目標檢測與跟蹤的方法和系統的制作方法

專利名稱：一種運動目標檢測與跟蹤的方法和系統的制作方法
技術領域：
本發明涉及圖像處理技術領域，特別是涉及一種運動目標檢測與跟蹤的 方法和系統。
背景技術：
智能視頻監控是基于計算機視覺技術對監控場景內的視頻圖像進行分 析，提取場景中的關鍵信息，并形成相應事件和告警的監控方式，智能視頻 監控在公共安全保護、交通管理等方面有著極其廣泛的應用。
智能視頻監控系統一般使用攝像機或者網絡攝像頭對某 一場景進行連 續不斷的拍攝，然后對采集的視頻流進行處理，檢測其中的運動目標，并對 運動目標進行分類、跟蹤、識別等后續處理。運動目標的^^測和跟蹤是智能 視頻監控的基礎，對各種后續處理有重要意義，對整個監控系統的性能影響 重大。
現有的運動目標檢測與跟蹤方法有很多，如中國專利申請號為
200710020067.1以及200710072546.8的專利。這些方法使用的運動目標檢 測技術都是基于相鄰幀圖像的幀間差分或者改進的幀間差分，理論上過于簡 單，只能處理背景比較筒單、環境干擾比較小的場景。但如果場景受到光照、 天氣等因素的干擾，就會出現大量的錯誤檢測結果。

發明內容
本發明所要解決的技術問題是提供一種運動目標檢測與跟蹤的方法和 系統，以解決現有的目標檢測與跟蹤方法對復雜場景，容易出現大量錯誤檢 測結果的問題。
為了解決上述問題，本發明公開了一種運動目標檢測與跟蹤的方法，包
括
利用當前輸入圖像和當前背景圖像進行差分計算，得到背景差分圖像； 利用當前輸入圖像的前若干幀圖像中的像素點的像素值，計算當前輸入圖像的像素點的概率密度值，并將所述概率密度值與預先設定的閾值進行比
較，得到核密度估計差分圖像；
將所述背景差分圖像和核密度估計差分圖像進行融合處理，得到從當前 輸入圖像中提取出的運動目標圖像；
將當前輸入圖像中提取出的運動目標圖像與之前的幀圖像中提取出的 運動目標圖像進行匹配，并根據匹配結果得到目標跟蹤結果。
其中，所述將背景差分圖像和核密度估計差分圖像進行融合處理，具體 包括針對當前輸入圖像中的任意一個像素點，比較所述背景差分圖像中相 應像素點的像素值與核密度估計差分圖像中相應像素點的像素值，若相等， 則將該像素值賦值給融合后圖像中相應的像素點；若不相等，則分別計算背 景差分圖像中相應像素點的熵值，以及核密度估計差分圖像中相應像素點的 熵值，并進行比較，將熵值大的像素點的像素值賦值給融合后圖像中相應的 像素點；對當前輸入圖像中的所有像素點進行上述處理。
優選的，所述將背景差分圖像和核密度估計差分圖像進行融合處理，具 體包括將所述背景差分圖像和核密度估計差分圖像進行邏輯與。
優選的，所述將當前輸入圖像中提取出的運動目標圖像與之前的幀圖像 中提取出的運動目標圖像進行匹配，并根據匹配結果得到目標跟蹤結果，具 體包括設定{4 表示當前輸入圖像中提取出的運動目標圖像的特征信息， {^}么表示之前的幀圖像中提取出的運動目標圖像的特征信息，其中M和N 均表示運動目標圖像的個數；針對{4}仏中的每個運動目標圖像，利用特征信 息分別與{57"=中的運動目標圖像進行相似度計算，并將相似度最大的兩個 運動目標圖像作為相匹配的目標；根據匹配結果得到如下目標跟蹤結果如 果M = iV且和都分別匹配上，則所有目標都在監控范圍內運動； 如果M^vV且(4^中有運動目標沒有匹配上，則監控范圍內出現新的運動目 標；如果M^iV且^》;i,中有運動目標沒有匹配上，則有運動目標離開了監控范圍。
優選的，所述利用特征信息進行相似度計算，具體包括利用運動目標 圖像的特征信息中的位置信息進行相似度計算。其中，所述利用當前輸入圖像和當前背景圖像進行差分計算，得到背景
差分圖像，具體包括將當前輸入圖像中任意一個像素點的像素值，分別與
當前短期背景圖像和長期背景圖像中相應像素點的像素值，取差的絕對值， 然后再將最小的絕對值與預先設定的閾值進行比較，如果大于所述閾值，則
將該像素點確定為前景點；否則，確定為背景點；對當前輸入圖像中的所有 像素點進行上述處理，最終得到背景差分圖像。
本發明還提供了一種運動目標檢測與跟蹤的方法，包括
利用當前輸入圖像和當前背景圖像進行差分計算，得到背景差分圖像；
針對所述背景差分圖像中判斷為前景點的像素點，進行如下計算利用
當前輸入圖像的前若干幀圖像中的像素點的像素值，計算所述背景差分圖像
中判斷為前景點的像素點的概率密度值，并將所述概率密度值與預先設定的
闊值進行比較，得到核密度估計差分圖像；
針對所述背景差分圖像中判斷為背景點的像素點，直接將所述核密度估
計差分圖像中的相應像素點設置為背景點；
利用所述核密度估計差分圖像，得到從當前輸入圖像中提取出的運動目
標圖像；
將當前輸入圖像中提取出的運動目標圖像與之前的幀圖像中提取出的 運動目標圖像進行匹配，并根據匹配結果得到目標跟蹤結果。
本發明還提供了一種運動目標檢測方法，包括
利用當前輸入圖像和當前背景圖像進行差分計算，得到背景差分圖像；
利用當前輸入圖像的前若干幀圖像中的像素點的像素值，計算當前輸入 圖像的像素點的概率密度值，并將所述概率密度值與預先設定的閾值進行比 較，得到核密度估計差分圖像；
將所述背景差分圖像和核密度估計差分圖像進行融合處理，得到從當前 輸入圖像中提取出的運動目標圖像。
優選的，所述將背景差分圖像和核密度估計差分圖像進行融合處理，具 體包括將所述背景差分圖像和核密度估計差分圖像進行邏輯與，得到融合
10后的運動目標圖像。
本發明還提供了 一種運動目標檢測方法，包括
利用當前輸入圖像和當前背景圖像進行差分計算，得到背景差分圖像；
針對所述背景差分圖像中判斷為前景點的像素點，進行如下計算利用 當前輸入圖像的前若千幀圖像中的像素點的像素值，計算所述背景差分圖像 中判斷為前景點的像素點的概率密度值，并將所述概率密度值與預先設定的 閾值進行比較，得到核密度估計差分圖像；
針對所述背景差分圖像中判斷為背景點的像素點，直接將所述核密度估 計差分圖像中的相應像素點設置為背景點；
利用所述核密度估計差分圖像，得到從當前輸入圖像中提取出的運動目 標圖像。
本發明還提供了 一種運動目標檢測與跟蹤的系統，包括
背景差分單元，用于利用當前輸入圖像和當前背景圖像進行差分計算， 得到背景差分圖像；
核密度估計差分單元，用于利用當前輸入圖像的前若干幀圖像中的像素 點的像素值，計算當前輸入圖像的像素點的概率密度值，并將所述概率密度 值與預先設定的閾值進行比較，得到核密度估計差分圖像；
融合處理單元，用于將所述背景差分圖像和核密度估計差分圖像進行融 合處理，得到從當前輸入圖像中提取出的運動目標圖像；
目標跟蹤單元，用于將當前輸入圖像中提取出的運動目標圖像與之前的 幀圖像中提取出的運動目標圖像進行匹配，并根據匹配結果得到目標跟蹤結 果。
其中，所述融合處理單元包括比較子單元，用于針對當前輸入圖像中 的任意一個像素點，比較所述背景差分圖像中相應像素點的像素值與核密度 估計差分圖像中相應像素點的像素值，若相等，則將該像素值賦值給融合后 圖像中相應的像素點；若不相等，則觸發熵值計算子單元；熵值計算子單元， 用于分別計算背景差分圖像中相應像素點的熵值，以及核密度估計差分圖像中相應像素點的熵值，并進行比較，將熵值大的像素點的像素值賦值給融合
后圖像中相應的像素點；對當前輸入圖像中的所有像素點進行上述處理，最 終得到融合后的圖像，從所述融合后的圖像中提取出運動目標圖像。
優選的，所述融合處理單元包括計算子單元，用于將所述背景差分圖 像和核密度估計差分圖像進行邏輯與，得到融合后的運動目標圖像。
優選的，所述目標跟蹤單元包括目標匹配子單元，用于針對"t中 的每個運動目標圖像，利用特征信息分別與中的運動目標圖像進行相 似度計算，并將相似度最大的兩個運動目標圖像作為相匹配的目標；其中，
表示當前輸入圖像中提取出的運動目標圖像的特征信息，表示之
前的幀圖像中提取出的運動目標圖像的特征信息，其中M和N均表示運動 目標圖像的個數；目標跟蹤結果子單元，用于根據匹配結果得到如下目標跟 蹤結果如果M^W且M^和A&都分別匹配上，則所有目標都在監控范
圍內運動；如果^^W且"《'中有運動目標沒有匹配上，則監控范圍內出現 新的運動目標；如果似-W且Ad中有運動目標沒有匹配上，則有運動目標
離開了監控范圍。
本發明還提供了 一種運動目標檢測與跟蹤的系統，包括 背景差分單元，用于利用當前輸入圖像和當前背景圖像進行差分計算， 得到背景差分圖像；
核密度估計差分單元，用于針對所述背景差分圖像中判斷為前景點的像 素點，進行如下計算利用當前輸入圖像的前若干幀圖像中的像素點的像素 值，計算所述背景差分圖像中判斷為前景點的像素點的概率密度值，并將所 述概率密度值與預先設定的閾值進行比較，得到核密度估計差分圖像；針對 所述背景差分圖像中判斷為背景點的像素點，直接將所述核密度估計差分圖 像中的相應像素點設置為背景點；
目標提取單元，用于利用所述核密度估計差分圖像，得到從當前輸入圖 像中提取出的運動目標圖像；
目標跟蹤單元，用于將當前輸入圖像中提取出的運動目標圖像與之前的 幀圖像中提取出的運動目標圖像進行匹配，并根據匹配結果得到目標跟蹤結
12果。
本發明還提供了一種運動目標檢測裝置，包括
背景差分單元，用于利用當前輸入圖像和當前背景圖像進行差分計算，
得到背景差分圖像；
核密度估計差分單元，用于利用當前輸入圖像的前若干幀圖像中的像素 點的像素值，計算當前輸入圖像的像素點的概率密度值，并將所述概率密度
值與預先設定的閾值進行比較，得到核密度估計差分圖像；
融合處理單元，用于將所述背景差分圖像和核密度估計差分圖像進行融
合處理，得到從當前輸入圖像中提取出的運動目標圖像。
優選的，所述融合處理單元包括計算子單元，用于將所述背景差分圖
像和核密度估計差分圖像進行邏輯與，得到融合后的運動目標圖像。
本發明還提供了一種運動目標檢測裝置，包括
背景差分單元，用于利用當前輸入圖像和當前背景圖像進行差分計算， 得到背景差分圖像；
核密度估計差分單元，用于針對所述背景差分圖像中判斷為前景點的像 素點，進行如下計算利用當前輸入圖像的前若干幀圖像中的像素點的像素 值，計算所述背景差分圖像中判斷為前景點的像素點的概率密度值，并將所 述概率密度值與預先設定的閾值進行比較，得到核密度估計差分圖像；針對 所述背景差分圖像中判斷為背景點的像素點，直接將所述核密度估計差分圖 像中的相應像素點設置為背景點；
目標提取單元，用于利用所述核密度估計差分圖像，得到從當前輸入圖 像中提取出的運動目標圖像。
與現有技術相比，本發明具有以下優點
首先，本發明提出一種將背景差分與核密度估計差分相融合的運動目標 檢測方法。背景差分是通過當前輸入圖像與保存的一幅背景圖像的差異來檢 測出運動目標圖像，該方法可以對圖像變化緩慢的場景進行運動目標的檢
13測。而核密度估計差分是將當前輸入圖像與之前若干幀圖像進行比較，如果 當前圖像發生了劇烈的變化，則與其前若干幀圖像的差異必然很大，因此可 以實現對快速變化的圖像的檢測。而且，核密度估計差分是一種非常精確的 方法，效果很好但是運算量比較大，借助于背景差分可以提高其運算速度。
綜上所述，背景差分檢測圖像中的慢變化，而核密度估計差分檢測圖像 中的快變化。將所述兩種方法結合起來，充分發揮了兩種方法的優點，可以 在環境變換的復雜場景下，更好地檢測出圖像的變化，從而提高檢測準確率。
其次，在將背景差分與核密度估計差分相結合的時候，可以使用背景差
分的結果對核密度估計差分進行加速處理，即針對背景差分圖像中判斷為 前景點的像素點，進行核密度估計差分；而針對所述背景差分圖像中判斷為 背景點的像素點，直接將所述核密度估計差分圖像中的相應像素點設置為背 景點。這樣得到的圖像可以不進行融合處理，而直接檢測出運動目標。這種 處理方式可以提高計算效率。
再次，本發明提出的運動目標跟蹤方法，是將前后兩幀中的所有運動目 標分別進行匹配跟蹤，因此可以同時處理多個運動目標的跟蹤問題。而且， 在匹配過程中是利用運動目標圖像的特征信息中的位置信息來進行計算，因 此算法簡單，運行速度快，能夠滿足實時處理的需求。


圖1是本發明實施例所述一種運動目標^^測方法的流程圖2.1是本發明實施例中的當前輸入圖像；
圖2.2是對圖2.1進行融合處理后的圖像；
圖3是本發明實施例所述一種運動目標跟蹤方法的流程圖4是本發明實施例所述的圖像中連通區域的外接矩形示意圖5是本發明實施例所述一種運動目標檢測與跟蹤系統的結構圖6是本發明優選實施例所述一種運動目標檢測與跟蹤系統的結構圖7是本發明實施例所述一種運動目標檢測裝置的結構圖8是本發明優選實施例所述一種運動目標;險測裝置的結構圖。
具體實施例方式
為使本發明的上述目的、特征和優點能夠更加明顯易懂，下面結合附圖 和具體實施方式
對本發明作進一步詳細的說明。
針對環境變換的復雜場景，本發明提出了一種運動目標檢測和跟蹤方 法，通過將背景差分與核密度估計差分兩種方法相結合，可以從輸入圖像中
準確地^r測出運動目標的變化；同時，所述跟蹤方法可以對多個運動目標進 行實時跟蹤處理。下面分別詳細說明所述運動目標;險測方法和運動目標跟蹤 方法。
參照圖1，是本發明實施例所述一種運動目標4企測方法的流程圖。 S101，建立并初始化背景模型；
建立背景模型的目的是從輸入圖像中估計出監控場景的背景信息。本實 施例中，由于主要使用背景差分和核密度估計差分兩種方法檢測前景圖像 (即運動目標)，所以需要的背景模型包括兩種用于背景差分的背景模型 和用于核密度估計差分的背景模型。
其中，用于背景差分的背景模型又可以包括短期背景圖像和長期背景圖 像，均初始化為輸入的第一幀圖像。所述短期背景圖像是指更新速度較快的 背景模型，所述長期背景圖像是指更新速度較慢的背景模型。
建立核密度估計差分的背景模型的方法是保留當前輸入圖像的前N幀 圖像作為參考圖像，設當前輸入圖像的幀序號為K，當前輸入圖像對應的視 頻幀圖像為IMG(K)，則參考圖像對應的視頻幀圖像分別為IMG(K-N), IMG(K-N+1)， ...， IMG(K-1),這N幀圖像就是當前輸入圖像的核密度估計 差分的背景模型。
S102,對當前輸入圖像進行預處理；
預處理的主要目的是利用圖像濾波技術處理輸入圖像，以降低輸入圖像 的噪聲。圖像濾波技術有多種方法，如中值濾波等方法，在此不再詳述。本 步驟是優化處理步驟，可以選擇也可以不選擇。
對預處理后的圖像分別進行背景差分和核密度估計差分，這兩個步驟可 以并行執行，也可以順次執行，順次執行時不限定先后順序。S103,利用當前輸入圖像和當前背景圖像進行差分計算，得到背景差分
圖像；
具體過程是針對輸入圖像/中任意位置"力的像素點/"力，計算該點 的像素值(即輸入灰度值)與當前短期背景圖像中相應點像素值的差的絕對 值，設為difl;再計算該點的像素值與當前長期背景圖像中相應點像素值的 差的絕對值，設為dif2。然后，計算difl和dif2的最小值dif，并設定閾值 Th,如果dif大于Th，則認為該點是前景點，否則認為該點是背景點(通常， 前景點設為1，背景點設為0)。對輸入圖像/中的所有象素點完成上述處理 之后，就得到了前景圖像&,也就是所述的背景差分圖像。
S104，利用當前輸入圖像的前若干幀圖像中的像素點的像素值，計算當 前輸入圖像的像素點的概率密度值，并將所述概率密度值與預先設定的閾值
進行比較，得到核密度估計差分圖像；
具體過程是對于當前輸入圖像的前N幀圖像(即當前的背景圖像)， 假設x,，x2,L ^分別是圖像中同一位置的像素點的像素值x,的一組觀察值樣 本，利用這些樣本，采用核密度估計算法計算出t時刻的輸入圖像上的任何 一個像素點的概率密度值SO,):
其中，d表示像素點的顏色特征的維數，。，"2,L ，^是預先給定的常數。
根據以上公式，對于任一輸入的圖像，利用前N幀圖像的像素值，可以快速
地計算出該圖像的各個像素點的概率密度值。
公式(1)體現的是當前輸入圖像中的某一位置的像素點的像素值x,,
分別與當前輸入圖像的前N幀圖像的同一位置的像素點的像素值A,X2,L xw 的差異情況。如果《(A)的值很小，則表明x,與x,，x2,L ^相比差異很大，表明 在x,處發生了像素值的突變，即有運動的情況發生。設定閾值th，對于輸入 圖像的每個像素點x,的概率密度值Prh)，如果"X,)"/2,則這個像素點就被
1w d認為是前景點，否則認為是背景點(通常，前景點設為1，背景點設為O)。 對輸入圖像中的所有象素點完成上述處理之后，得到二值化后的前景圖像 ,咖，也就是所述的核密度估計差分圖像。其中，閾值th是全局閾值，可以 調節。
S105，將所述背景差分圖像和核密度估計差分圖像進行融合處理，得到 從當前輸入圖像中提取出的運動目標圖像；
獲取&和&朋之后，利用這兩個前景圖像進行融合，以消除兩幅前景圖
的檢測誤差。融合方法有多種，下面列舉兩種來說明。
一種比較簡單的融合方法是，將&和&朋進行邏輯與，計算公式如下 FO,力=As (x,力& &。￡ 0'力；
其中，&表示的是按位與操作，F"力表示融合后的像素點。上式表明， 在&和中都是前景點的像素點，融合后才能成為前景點。 另一種融合方法是
設背景差分圖像和核密度估計差分圖像分別表示為/,和/2,圖像融合的 目標是結合A和A提供的信息合成一幅新的圖像73。融合過程是對于任意 一個像素點，比較其在A和/2中的像素值大小
如果/1(",") = /20，"，則/30,v)",0,v)^20,v),即將該像素值賦值給融合 后圖像/3中相應的像素點；
否則，計算/,("，v)和/2(",v)處的信息，將信息更豐富的像素點的像素值 賦給/30,力。
通常可以用熵來定義信息的豐富程度，熵值越大，信息越豐富。所以通 過計算/>,力和/2(",力處的熵值信息，將熵值較大的像素點的像素值賦值給/3
中相應的像素點。計算熵值時，可以提取以(",力為中心的一個小區域R，計 算R的局部熵值，來作為(",v)的信息量的表征。
一般可以按照如下公式計算 J>(01og2p(/)
利用上述融合方法得到的融合后圖像為黑白二值圖像，該圖像中的前景 點圖像即為運動目標，所以從該圖像中可以得到運動目標的圖像。參照圖2.1
17所示，是當前的輸入圖像，圖2.2是融合后的圖像，其中白色人影即為運動 目標圖像。
S106，更新當前的背景模型。
對當前輸入圖像進行檢測之后，還需要對當前的背景圖像進行更新，更 新后的背景圖像用于下一幀輸入圖像的檢測。
背景更新也有多種方法，本實施例僅舉例說明
對于短期背景圖像和長期背景圖像的更新，可以使用加權平均(Running Average)的方法進行更新。具體為在每個像素點處，將當前輸入圖像的 像素值的百分之十和當前背景圖像的像素值的百分之九十相力口，作為更新后 的背景圖〗象的像素值，對所有像素點完成上述操作后，就得到了更新后的背 景圖像。這是對長期背景圖像的更新，而對于短期背景圖像，由于其更新速 度較快，所以當前輸入圖像的像素值的百分比會提高一些，例如百分之二十， 與當前背景圖像的像素值的百分之八十相加。上述百分比數值僅作為舉例說 明。
對于核密度估計差分的背景圖像，更新方法如下
設當前輸入圖像的幀序號為K,對應圖像為IMG(K)，保存的前N幀圖 像分別為IMG(K-N)， IMG(K-N+1), IMG(K-1)，其中IMG(K-N)保存時 間最長，IMG(K-1)保存時間最短，所以用IMG(K)直接替換IMG(K-N)，而 其他背景圖像均保持不變。
本實施例釆用的背景更新方法通過簡單的增加新的樣本，忽略舊的樣 本，實現背景模型的自適應性更新，策略簡單，自適應能力強，效果好，可 以隨著監控場景的變化而自適應的更新背景模型，處理監控場景不斷變化的 情況。
完成背景更新之后，返回S102，繼續對下一幀圖像進行檢測。 綜上所述，背景差分是通過當前輸入圖像與保存的一幅背景圖像的差異 來檢測出運動目標圖像，該方法可以對圖像變化緩慢的場景進行運動目標的 檢測。而核密度估計差分是將當前輸入圖像與之前若干幀圖像進行比較，如 果當前圖像發生了劇烈的變化，則與其前若干幀圖像的差異必然很大，因此可以實現對快速變化的圖像的檢測。而且，核密度估計差分是一種非常精確 的方法，效果很好但是運算量比較大，借助于背景差分可以提高其運算速度。 因此，背景差分檢測圖像中的慢變化，而核密度估計差分檢測圖像中的快變 化。將所述兩種方法結合起來，充分發揮了兩種方法的優點，可以在環境變 換的復雜場景下，更好地檢測出圖像的變化，從而提高檢測準確率。
基于上述檢測方法，本發明還提供了另 一用于4全測運動目標的優選實施 例。該實施例對圖像分別進行背景差分和核密度估計差分時，可以采用一種
更高效的處理方式，如下
首先利用當前輸入圖像和當前背景圖像進行差分計算，得到背景差分圖 像；然后，將背景差分的閾值設置的比較小，這樣，對于背景差分已經判斷 為背景點的像素位置(即靜止的像素點)，由于像素值變化非常小，就不需 要進行核密度差分了，可以直接設置為背景點，因此只需要在背景差分判斷 為前景點的像素位置(即運動的像素點)進行核密度差分就可以。最后得到 的核密度估計差分圖像可以不再與背景差分圖像進行融合處理。利用所述核 密度估計差分圖像，就可以得到從當前輸入圖像中提取出的運動目標圖像， 該圖像中的前景點圖像即為要提取的運動目標。
上述處理方式可以提高計算效率。這種需要使用背景差分的結果對核密 度估計差分進行加速處理時，就需要先執行背景差分再執行核密度估計差 分。當然，最后也可以對背景差分圖像和核密度估計差分圖像進行融合處理， 進一步提高檢測準確率。
利用上述方法檢測出每一幀圖像中的運動目標之后，可以對運動目標進 行跟蹤。本發明提出一種運動目標跟蹤方法，可以同時處理多個運動目標的 跟蹤問題；而且，算法簡單，運行速度快，能夠滿足實時處理的需求。
參照圖3,是本發明實施例所述一種運動目標跟蹤方法的流程圖。
S301，在融合后的圖像中確定出運動目標圖像；
具體為對融合后的二值圖像進行邊界跟蹤(Bound Tracking)或者邊
19緣點連接(Edge Point Linking),得到圖像中每個連通區域的邊界，用一個 外接矩形框表示一個獨立的連通區域，如圖4所示，每個矩形中的連通區域 即表示一個運動目標。
S302，將當前輸入圖像中提取出的運動目標圖像與之前的幀圖像中提取 出的運動目標圖像進行匹配；
本實施例采用的匹配方法如下
構造一個用以描述運動目標信息的數據結構str—Trklnfo,負責記錄所有 已經存在的運動目標的位置、大小、運動方向、瞬時速度、運動軌跡等特征 信息(可以根據實際需要適當的設置需要記錄的信息)，并將這些特征信息 表示成W》二，其中N表示已經存在的運動目標的數目。設當前輸入圖像上 檢測到的運動目標有M個，提取其特征信息表示成MC 。
匹配的目的就是從(4t找到與"(中對應的運動目標，從而將不同幀 圖像中的同一運動目標關聯起來，并不斷更新str—Trklnfo中保存的已經存在 的運動目標的位置信息，最后得到各個運動目標完整的運動軌跡。
匹配過程是分別計算4與A的相似度，即將W^中的每個運動目標分 別與{&}^中的每個運動目標進行相似度計算。本實施例采用的相似度計算 方法是分別計算4與^之間的相似性距離"(4,A), / = 1，2，LM, 7' = U,LiV。
相似性距離的具體定義可以有多種選擇，例如一種最簡單的方法就是將 其定義為4與A所在的外接矩形的重合程度，計算公式如下
d(4,^,-) =-^--
jminOS(4)，早》)，
其中s(4), s( &)分別表示4和A的面積。
如兩者無重疊部分，則認為4與A的相似度為零；如有重疊部分，重疊 區域越大，相似度越大。
上述相似度計算是利用運動目標的特征信息中的位置信息來進行計算， 因此算法簡單，運行速度快，能夠滿足實時處理的需求。當然，相似度的計 算也可以使用其他特征信息，本實施例不作限定。
對每一組4和A計算相似度之后，根據計算結果確定匹配結果。具體為針對"}仏中的每一個運動目標，求出t8;}^中與該運動目標的相似性距離最 大的一個運動目標，作為與該運動目標相匹配的結果。例如，{4}^中有三個 運動目標4、 4和4, {^}二也有三個運動目標《、A和A，當4分別與A、 A和A計算時，如果A與4的相似度最大，則A與4相匹配。這樣，就可以 同時處理多個運動目標的跟蹤問題。
S303,完成上述匹配過程后，根據匹配結果得到目標跟蹤結果，并更新 str—Trklnfo中的運動目標信息。
根據匹配結果得到如下目標跟蹤結果
(1) 如果M:iV且M,^和^^都分別匹配上，則所有目標都在監控范 圍內運動，用{4}=中的運動目標信息更新；
(2) 如果M^JV且M^,中有運動目標沒有匹配上，則監控范圍內出現
新的運動目標，需要將這些未匹配上的運動目標作為新的運動目標添加到 str—Trklnfo中；
(3) 如果M^W且^(中有運動目標沒有匹配上，則有運動目標離開 了監控范圍，需要將這些未匹配上的運動目標從str一Trklnfo中刪除。
優選的，在實際情況下，由于誤差和噪聲的存在，對于當前沒有匹配的 運動目標，可以先暫時保留其相關信息，并在以后連續幾幀圖像中進行匹酉己， 如果一直都沒有匹配，就認為是新的運動目標出現(情況(2))或者現有運 動目標離開監控范圍(情況(3))。
目標跟蹤完成之后，將str一Trklnfo中所有的運動目標的信息{^"=1輸出， 就完成了運動目標檢測與跟蹤的任務。
需要說明的是，上述運動目標檢測方法和運動目標跟蹤可以分別單獨使 用，即該運動目標;險測方法可以配合其他的跟蹤方法，或者該運動目標跟蹤 方法配合其他的檢測方法。但如果上述兩種方法配合使用，處理效果會更好。
針對上述方法實施例的說明，本發明還提供了相應的系統實施例。 參照圖5，是本發明實施例所述一種運動目標檢測與跟蹤系統的結構圖。 所述系統主要包括背景差分單元U51,用于利用當前輸入圖像和當前背景圖像進行差分計 算，得到背景差分圖像；
核密度估計差分單元U52，用于利用當前輸入圖像的前若干幀圖像中的 像素點的像素值，計算當前輸入圖像的像素點的概率密度值，并將所述概率 密度值與預先設定的閾值進行比較，得到核密度估計差分圖像；
融合處理單元U53,用于將所述背景差分圖像和核密度估計差分圖像進 行融合處理，得到從當前輸入圖像中提取出的運動目標圖像；
目標跟蹤單元U54,用于將當前輸入圖像中提取出的運動目標圖像與之 前的幀圖像中提取出的運動目標圖像進行匹配，并根據匹配結果得到目標跟 蹤結果。
其中，所述背景差分單元U51通過以下方式獲得背景差分圖像'.將當前
輸入圖像中任意一個像素點的像素值，分別與當前短期背景圖像和長期背景 圖像中相應像素點的像素值，取差的絕對值，然后再將最小的絕對值與預先 設定的闞值進行比較，如果大于所述閾值，則將該像素點確定為前景點；否 則，確定為背景點；對當前輸入圖像中的所有像素點進行上述處理，最終得 到背景差分圖像。
其中，所述融合處理單元U53可以包括
比較子單元，用于針對當前輸入圖像中的任意一個像素點，比較所述背 景差分圖像中相應像素點的像素值與核密度估計差分圖像中相應像素點的 像素值，若相等，則將該像素值賦值給融合后圖像中相應的像素點；若不相 等，則觸發熵值計算子單元；
熵值計算子單元，用于分別計算背景差分圖像中相應像素點的熵值，以 及核密度估計差分圖像中相應像素點的熵值，并進行比較，將熵值大的像素 點的像素值賦值給融合后圖像中相應的像素點；
對當前輸入圖像中的所有像素點進行上述處理，最終得到融合后的圖 像，從所述融合后的圖像中提取出運動目標圖像。
但優選的，所述融合處理單元U53可以采用一種更簡單的方式實現，包
括計算子單元，用于將所述背景差分圖像和核密度估計差分圖像進行邏輯 與，得到融合后的運動目標圖像。
其中，所述目標跟蹤單元U54包括
目標匹配子單元，用于針對M^中的每個運動目標圖像，利用特征信 息分別與中的運動目標圖像進行相似度計算，并將相似度最大的兩個 運動目標圖像作為相匹配的目標；
其中，{4}仏表示當前輸入圖像中提取出的運動目標圖像的特征信息， ^d表示之前的幀圖像中提取出的運動目標圖像的特征信息，其中M和N 均表示運動目標圖像的個數；
目標跟蹤結果子單元，用于根據匹配結果得到如下目標跟蹤結果
如果M = W且{4}j!,和都分別匹配上，則所有目標都在監控范圍內 運動；
如果M # w且{4中有運動目標沒有匹配上，則監控范圍內出現新的運 動目標；
如果M - w且中有運動目標沒有匹配上，則有運動目標離開了監控范圍。
在上述系統實施例的基礎上，所述系統還可以進一 步包括 預處理單元，用于利用圖像濾波技術處理輸入圖像，以降低輸入圖像的
噪聲；然后再觸發背景差分單元U51和核密度估計差分單元U52進行運動
目標;險測。
背景建模單元，用于建立兩種背景模型，分別是用于背景差分的背景模 型和用于核密度估計差分的背景模型；其中，用于背景差分的背景模型又包 括短期背景圖像和長期背景圖像。
背景更新單元，用于對當前的背景圖像(包括背景差分的背景模型和核 密度估計差分的背景模型)進行更新，更新后的背景圖像用于下一幀輸入圖 像的檢測。具體可參見上述方法實施例中的更新方式。
背景差分單元U51和核密度估計差分單元U52需要利用背景建模單元 建立的兩種背景模型進行運動目標檢測，檢測完當前幀之后，觸發背景更新
23單元更新當前的背景模型。
優選的，本發明還提供了 一種更高效的運動目標檢測與跟蹤系統實施
例。參照圖6，是優選實施例所述一種運動目標;險測與跟蹤系統的結構圖。 所述系統主要包括
背景差分單元U61,用于利用當前輸入圖像和當前背景圖像進行差分計 算，得到背景差分圖像；
核密度估計差分單元U62,用于針對所述背景差分圖像中判斷為前景點 的像素點，進行如下計算利用當前輸入圖像的前若干幀圖像中的像素點的 像素值，計算所述背景差分圖像中判斷為前景點的像素點的概率密度值，并 將所述概率密度值與預先設定的閾值進行比較，得到核密度估計差分圖像； 針對所述背景差分圖像中判斷為背景點的像素點，直接將所述核密度估計差 分圖像中的相應像素點設置為背景點；
目標提取單元U63,用于利用所述核密度估計差分圖像，得到從當前輸 入圖像中提取出的運動目標圖像；
目標跟蹤單元U64，用于將當前輸入圖像中提取出的運動目標圖像與之 前的幀圖像中提取出的運動目標圖像進行匹配，并根據匹配結果得到目標跟 蹤結果。
進一步，所述系統還可以包括預處理單元，背景建模單元，背景更新 單元。各單元具體描述可參見對圖5的說明，在此不再詳述。
上述核密度估計差分單元U62只需要在背景差分判斷為運動的像素位 置進行核密度估計差分，對于背景差分已經判斷為靜止的像素位置，由于像 素值變化非常小，就不需要進行核密度差分，可以直接設置為背景點，因此 大大提高了計算效率。
本發明還提供了 一種運動目標檢測裝置的實施例。
參照圖7，是本發明實施例所述一種運動目標檢測裝置的結構圖。所述
裝置主要包括
背景差分單元U71，用于利用當前輸入圖像和當前背景圖像進行差分計算，得到背景差分圖像；
核密度估計差分單元U72，用于利用當前輸入圖像的前若千幀圖像中的 像素點的像素值，計算當前輸入圖像的像素點的概率密度值，并將所述概率 密度值與預先設定的閾值進行比較，得到核密度估計差分圖像；
融合處理單元U73,用于將所述背景差分圖像和核密度估計差分圖像進
行融合處理，得到從當前輸入圖像中提取出的運動目標圖像。 優選的，所述融合處理單元U73進一步包括
計算子單元，用于將所述背景差分圖像和核密度估計差分圖像進行邏輯 與，得到融合后的運動目標圖像。 進一步，所述裝置還可以包括
預處理單元U74，用于利用圖像濾波技術處理輸入圖像，以降低輸入圖 像的噪聲；然后再觸發背景差分單元U71和核密度估計差分單元U72進行 運動目標4企測。
背景建模單元U75,用于建立兩種背景模型，分別是用于背景差分的背 景模型和用于核密度估計差分的背景模型；其中，用于背景差分的背景模型 又包括短期背景圖像和長期背景圖像。
背景更新單元U76，用于對當前的背景圖像(包括背景差分的背景模型
和核密度估計差分的背景模型)進行更新，更新后的背景圖像用于下一幀輸 入圖像的檢測。
優選的，本發明還提供了一種更高效的運動目標檢測裝置的實施例。參 照圖8，是優選實施例所述一種運動目標檢測裝置的結構圖。所述裝置主要 包括
背景差分單元U81,用于利用當前輸入圖像和當前背景圖像進行差分計 算，得到背景差分圖像；
核密度估計差分單元U82,用于針對所述背景差分圖像中判斷為前景點 的像素點，進行如下計算利用當前輸入圖像的前若干幀圖像中的像素點的 像素值，計算所述背景差分圖像中判斷為前景點的像素點的概率密度值，并 將所述概率密度值與預先設定的閾值進行比較，得到核密度估計差分圖像；針對所述背景差分圖像中判斷為背景點的像素點，直接將所述核密度估計差
分圖像中的相應像素點設置為背景點；
目標提取單元U83,用于利用所述核密度估計差分圖像，得到從當前輸
入圖像中提取出的運動目標圖像。
進一步，所述裝置還可以包括預處理單元U84,背景建模單元U85, 背景更新單元U86。各單元具體描述可參見對圖7的說明，在此不再詳述。
上述運動目標^r測與跟蹤系統可以在環境變換的復雜場景下，更好地才企 測出圖像的變化，從而提高檢測準確率。而且，可以同時處理多個運動目標 的跟蹤問題，能夠滿足實時處理的需求。
本說明書中的各個實施例均采用遞進的方式描述，每個實施例重點說明 的都是與其他實施例的不同之處，各個實施例之間相同相似的部分互相參見 即可。對于系統或裝置實施例而言，由于其與方法實施例基本相似，所以描 述的比較簡單，相關之處參見方法實施例的部分說明即可。
以上對本發明所提供的一種運動目標檢測與跟蹤的方法和系統，以及一 種運動目標;險測方法和裝置，進行了詳細介紹，本文中應用了具體個例對本 發明的原理及實施方式進行了闡述，以上實施例的說明只是用于幫助理解本 發明的方法及其核心思想；同時，對于本領域的一般技術人員，依據本發明 的思想，在具體實施方式
及應用范圍上均會有改變之處，綜上所述，本說明 書內容不應理解為對本發明的限制。
權利要求
1、一種運動目標檢測與跟蹤的方法，其特征在于，包括利用當前輸入圖像和當前背景圖像進行差分計算，得到背景差分圖像；利用當前輸入圖像的前若干幀圖像中的像素點的像素值，計算當前輸入圖像的像素點的概率密度值，并將所述概率密度值與預先設定的閾值進行比較，得到核密度估計差分圖像；將所述背景差分圖像和核密度估計差分圖像進行融合處理，得到從當前輸入圖像中提取出的運動目標圖像；將當前輸入圖像中提取出的運動目標圖像與之前的幀圖像中提取出的運動目標圖像進行匹配，并根據匹配結果得到目標跟蹤結果。
2、 根據權利要求1所述的方法，其特征在于，所述將背景差分圖像和 核密度估計差分圖像進行融合處理，具體包括將所述背景差分圖像和核密度估計差分圖像進行邏輯與。
3、 根據權利要求1所述的方法，其特征在于，所述將背景差分圖像和 核密度估計差分圖像進行融合處理，具體包括針對當前輸入圖像中的任意 一個像素點，比較所述背景差分圖像中相應 像素點的像素值與核密度估計差分圖像中相應像素點的像素值，若相等，則 將該像素值賦值給融合后圖像中相應的像素點；若不相等，則分別計算背景差分圖像中相應像素點的熵值，以及核密度 估計差分圖像中相應像素點的熵值，并進行比較，將熵值大的像素點的像素 值賦值給融合后圖^f象中相應的像素點；對當前輸入圖像中的所有像素點進行上述處理。
4、 根據權利要求1所述的方法，其特征在于，所述將當前輸入圖像中 提取出的運動目標圖像與之前的幀圖像中提取出的運動目標圖像進行匹配， 并根據匹配結果得到目標跟蹤結果，具體包括設定{4}仏表示當前輸入圖像中提取出的運動目標圖像的特征信息， {&}:表示之前的幀圖像中提取出的運動目標圖像的特征信息，其中M和N 均表示運動目標圖像的個數；針對"t中的每個運動目標圖像，利用特征信息分別與中的運動目標圖像進行相似度計算，并將相似度最大的兩個運動目標圖像作為相匹配的目標；根據匹配結果得到如下目標跟蹤結果如果m-w且M^和A^都分別匹配上，則所有目標都在監控范圍內 運動；如果m-且Mt中有運動目標沒有匹配上，則監控范圍內出現新的運 動目標；如果似#iv且{&"=1中有運動目標沒有匹配上，則有運動目標離開了監控 范圍。
5、 根據權利要求4所述的方法，其特征在于，所述利用特征信息進行 相似度計算，具體包括利用運動目標圖像的特征信息中的位置信息進行相似度計算。
6、 根據權利要求1所述的方法，其特征在于，所述利用當前輸入圖像 和當前背景圖像進行差分計算，得到背景差分圖像，具體包括將當前輸入圖像中任意一個像素點的像素值，分別與當前短期背景圖像 和長期背景圖像中相應像素點的像素值，取差的絕對值，然后再將最小的絕對值與預先設定的閾值進行比較，如果大于所述閾值，則將該像素點確定為 前景點；否則，確定為背景點；對當前輸入圖像中的所有像素點進行上述處理，最終得到背景差分圖像。
7、 一種運動目標;險測與跟蹤的方法，其特征在于，包括利用當前輸入圖像和當前背景圖像進行差分計算，得到背景差分圖像；針對所述背景差分圖像中判斷為前景點的像素點，進行如下計算利用 當前輸入圖像的前若干幀圖像中的像素點的像素值，計算所述背景差分圖像 中判斷為前景點的像素點的概率密度值，并將所述概率密度值與預先設定的 閾值進行比較，得到核密度估計差分圖像；針對所述背景差分圖像中判斷為背景點的像素點，直接將所述核密度估 計差分圖像中的相應像素點設置為背景點；利用所述核密度估計差分圖像，得到從當前輸入圖像中提取出的運動目標圖像；將當前輸入圖像中提取出的運動目標圖像與之前的幀圖像中提取出的 運動目標圖像進行匹配，并根據匹配結果得到目標跟蹤結果。
8、 一種運動目標^r測方法，其特征在于，包括利用當前輸入圖像和當前背景圖像進行差分計算，得到背景差分圖像； 利用當前輸入圖像的前若干幀圖像中的像素點的像素值，計算當前輸入圖像的像素點的概率密度值，并將所述概率密度值與預先設定的閾值進行比較，得到核密度估計差分圖像；將所述背景差分圖像和核密度估計差分圖像進行融合處理，得到從當前輸入圖像中提取出的運動目標圖像。
9、 根據權利要求8所述的方法，其特征在于，所述將背景差分圖像和 核密度估計差分圖像進行融合處理，得到從當前輸入圖像中提取出的運動目 標圖像，具體包括將所述背景差分圖像和核密度估計差分圖像進行邏輯與，得到融合后的 運動目標圖像。
10、 一種運動目標沖企測方法，其特征在于，包括利用當前輸入圖像和當前背景圖像進行差分計算，得到背景差分圖像；針對所述背景差分圖像中判斷為前景點的像素點，進行如下計算利用 當前輸入圖像的前若干幀圖像中的像素點的像素值，計算所述背景差分圖像 中判斷為前景點的像素點的概率密度值，并將所述概率密度值與預先設定的 閾值進行比較，得到核密度估計差分圖像；針對所述背景差分圖像中判斷為背景點的像素點，直接將所述核密度估 計差分圖像中的相應像素點設置為背景點；利用所述核密度估計差分圖像，得到從當前輸入圖像中提取出的運動目 標圖像。
11、 一種運動目標檢測與跟蹤的系統，其特征在于，包括 背景差分單元，用于利用當前輸入圖像和當前背景圖像進行差分計算，得到背景差分圖像；核密度估計差分單元，用于利用當前輸入圖像的前若干幀圖像中的像素 點的像素值，計算當前輸入圖像的像素點的概率密度值，并將所述概率密度值與預先設定的閾值進行比較，得到核密度估計差分圖像；融合處理單元，用于將所述背景差分圖像和核密度估計差分圖像進行融合處理，得到從當前輸入圖像中提取出的運動目標圖像；目標跟蹤單元，用于將當前輸入圖像中提取出的運動目標圖像與之前的幀圖像中提取出的運動目標圖像進行匹配，并根據匹配結果得到目標跟蹤結果。
12、 根據權利要求11所述的系統，其特征在于，所述融合處理單元包括計算子單元，用于將所述背景差分圖像和核密度估計差分圖像進行邏輯 與，得到融合后的運動目標圖像。
13、 根據權利要求11所述的系統，其特征在于，所述融合處理單元包括比較子單元，用于針對當前輸入圖像中的任意一個像素點，比較所述背 景差分圖像中相應像素點的像素值與核密度估計差分圖像中相應像素點的 像素值，若相等，則將該像素值賦值給融合后圖像中相應的像素點；若不相 等，則觸發熵值計算子單元；熵值計算子單元，用于分別計算背景差分圖像中相應像素點的熵值，以 及核密度估計差分圖像中相應像素點的熵值，并進行比較，將熵值大的像素 點的像素值賦值給融合后圖像中相應的像素點；對當前輸入圖像中的所有像素點進行上述處理，最終得到融合后的圖 像，從所述融合后的圖像中提取出運動目標圖像。
14、 根據權利要求11所述的系統，其特征在于，所述目標跟蹤單元包括目標匹配子單元，用于針對M^中的每個運動目標圖像，利用特征信 息分別與中的運動目標圖像進行相似度計算，并將相似度最大的兩個運動目標圖像作為相匹配的目標；其中，{41表示當前輸入圖像中提取出的運動目標圖像的特征信息， {&}二表示之前的幀圖像中提取出的運動目標圖像的特征信息，其中M和N 均表示運動目標圖像的個數；目標跟蹤結杲子單元，用于根據匹配結果得到如下目標跟蹤結果 如果M-iV且^4J仏和A^都分別匹配上，則所有目標都在監控范圍內 運動；如果m - iv且{4中有運動目標沒有匹配上，則監控范圍內出現新的運 動目標；如果m # iv且A &中有運動目標沒有匹配上，則有運動目標離開了監控 范圍。
15、 一種運動目標檢測與跟蹤的系統，其特征在于，包括 背景差分單元，用于利用當前輸入圖像和當前背景圖像進行差分計算，得到背景差分圖像；核密度估計差分單元，用于針對所述背景差分圖像中判斷為前景點的像 素點，進行如下計算利用當前輸入圖像的前若干幀圖像中的像素點的像素 值，計算所述背景差分圖像中判斷為前景點的像素點的概率密度值，并將所 述概率密度值與預先設定的闊值進行比較，得到核密度估計差分圖像；針對 所述背景差分圖像中判斷為背景點的像素點，直接將所述核密度估計差分圖 像中的相應像素點設置為背景點；目標提取單元，用于利用所述核密度估計差分圖像，得到從當前輸入圖 像中提取出的運動目標圖像；目標跟蹤單元，用于將當前輸入圖像中提取出的運動目標圖像與之前的 幀圖像中提取出的運動目標圖像進行匹配，并根據匹配結果得到目標跟蹤結 果。
16、 一種運動目標;險測裝置，其特征在于，包括 背景差分單元，用于利用當前輸入圖像和當前背景圖像進行差分計算，得到背景差分圖像；核密度估計差分單元，用于利用當前輸入圖像的前若干幀圖像中的像素點的像素值，計算當前輸入圖像的像素點的概率密度值，并將所述概率密度值與預先設定的闊值進行比較，得到核密度估計差分圖像；融合處理單元，用于將所述背景差分圖像和核密度估計差分圖像進行融 合處理，得到從當前輸入圖像中提取出的運動目標圖像。
17、 才艮據權利要求16所述的裝置，其特征在于，所述融合處理單元包括計算子單元，用于將所述背景差分圖像和核密度估計差分圖像進行邏輯 與，得到融合后的運動目標圖像。
18、 一種運動目標檢測裝置，其特征在于，包括 背景差分單元，用于利用當前輸入圖像和當前背景圖像進行差分計算，得到背景差分圖像；核密度估計差分單元，用于針對所述背景差分圖像中判斷為前景點的像 素點，進行如下計算利用當前輸入圖像的前若干幀圖像中的像素點的像素 值，計算所述背景差分圖像中判斷為前景點的像素點的概率密度值，并將所 述概率密度值與預先設定的閾值進行比較，得到核密度估計差分圖像；針對 所述背景差分圖像中判斷為背景點的像素點，直接將所述核密度估計差分圖 像中的相應像素點設置為背景點；目標提取單元，用于利用所述核密度估計差分圖像，得到從當前輸入圖 像中提取出的運動目標圖像。
全文摘要
本發明提供了一種運動目標檢測與跟蹤的方法和系統，以解決現有的目標檢測與跟蹤方法對復雜場景，容易出現大量錯誤檢測結果的問題。所述方法在檢測運動目標時，將背景差分和核密度估計差分結合起來，對兩種檢測方法得到的圖像進行融合處理，以消除兩幅前景圖的檢測誤差，最終提取出運動目標。然后，對檢測出的運動目標進行跟蹤。本發明可以在環境變換的復雜場景下，更好地檢測出圖像的變化，從而提高檢測準確率。而且，可以同時處理多個運動目標的跟蹤問題。
文檔編號G06T7/20GK101493944SQ200910079300
公開日2009年7月29日 申請日期2009年3月6日 優先權日2009年3月6日
發明者磊 王, 謝東海, 英 黃 申請人:北京中星微電子有限公司