專利名稱：人體行為特征提取方法、系統及異常行為檢測方法和系統的制作方法
技術領域：
本發明涉及模式識別技術領域，更具體地說，涉及一種人體行為特征提取方法、系統及異常行為檢測方法和系統。
背景技術：
人體異常行為檢測是計算機視覺領域中最活躍的研究課題之一，目前在超市、銀行、運輸中心以及醫院的安保和預警的智能化方面有著廣泛的應用前景。人體異常行為檢測是指首先對自定義的正常行為和異常行為分別進行分析與建模，然后根據目標行為與正 常行為和異常行為兩者的相似程度來為目標行為進行分類，從而判斷目標行為是否異常；其中，目標行為指待檢測的人體行為。此處，正常行為主要指日常生活中經常出現的表現正常的行為，如走路、小跑、拍手鼓掌等行為；而異常行為主要是與正常行為相反，表現過于激烈的行為，如快跑、揮拳、揮手求救等行為；顯然對于正常行為和異常行為的界定可通過自定義形式完成。圖I為現有技術人體異常行為檢測的方法流程圖，參照圖1，該方法可以包括步驟步驟S100、依據背景模型對視頻圖像序列進行前景提取，得出人體動作圖像序列，目前所得的人體動作圖像序列一般均是經過二值化處理后的圖像序列，可詳見圖2所示出的經過二值化處理后的人體動作圖像的圖像效果；步驟S110、從人體動作圖像序列中提取出人體行為特征，即得出人體動作圖像序列的原始特征值；步驟S120、從人體行為特征中選擇出反映人體行為模式的特征，如在一定準則下，在η個人體動作圖像序列的原始圖像特征值中選m個圖像特征值來反映人體行為模式，以降低計算難度；步驟S130、對所述反映人體行為模式的特征進行分類處理，得出識別結果，即人體行為是異常還是正常。其中，從人體動作圖像序列中提取出人體行為特征的實現方式，目前主要使用立方體高階局部自相關特征提取法進行，對于立方體高階局部自相關特征提取法而言，人體動作圖像序列的原始特征值可用人體動作圖像的高階局部自相關函數值表示。立方體高階局部自相關特征提取法不僅能反映圖像內部的空間特征，還可能反映前后圖像之間的時間特征。立方體高階局部自相關特征提取法主要包括兩個過程立方數據(cubic data)的更新和圖像序列的掃描。其中cubic data更新主要為將人體動作圖像逐一導入到計算機中，并在時間軸t軸上排列，如圖3所示，一個圖像序列可被看成一個三維數據，X軸和y軸為某張圖像中的橫縱軸線，t軸為時間軸，為了獲取人體行為特征，需要選取t軸上一個連續的含有一定數量圖像的圖像序列作為一個數據單元，記為cubicdata，為了持續地獲得cubic data以分析人體的動作狀況，在每次進行立方數據更新時，需要將新的人體動作圖像按時間順序逐一插入到圖像序列當中，其中，每次進行立方數據更新時插入一個人體動作圖像，而原來人體動作圖像序列中的圖像，在插入新圖像的同時也按照時間順序逐一被刪除出圖像序列，整個cubic data的更新過程就是一個隊列的插入和刪除過程，遵循著先進先出后進后出的原則。每次人體動作圖像序列特征值的更新都只需減去刪除的圖像的特征值，加上新加入圖像的特征值即可。在實現cubic data更新的同時，立方體高階局部自相關特征提取法需采用預設的251個掩碼模板逐一對cubic data中的圖像進行掃描并賦值，進而提取出賦值后的圖像特征，實現人體行為特征的提取。可以看出，在人體行為特征的提取過程中，立方體高階局部自相關特征提取法的cubic data的更新是采用逐一更新的辦法，S卩，每次移入一幀圖像同時移出一幀圖像，而在用掩碼模板對圖像序列進行掃描時，也采用的是逐一掃描的方法，這使得的系統的數據處理量較大，占用系統資源過多，導致人體行為特征的提取速度較慢。
發明內容
有鑒于此，本發明實施例提供一種人體行為特征提取方法、系統及異常行為檢測方法和系統，以解決現有技術在人體行為特征的提取過程中系統的數據處理量較大 ，占用系統資源過多，導致人體行為特征的提取速度較慢的問題。為實現上述目的，本發明實施例提供如下技術方案一種人體行為特征提取方法，包括在每次進行立方數據更新時，將預設個數的圖像幀插入立方數據的圖像序列中，及將圖像序列中原來存在的對應預設個數的圖像幀按照時間順序刪除出立方數據的圖像序列中；其中，所述預設個數為大于I且不影響人體運動連續性的圖像幀的個數；按照預設的每次掃描立方數據的圖像時的掩碼模板移動的像素數，對立方數據的圖像進行掃描并賦值；其中，所述預設的掩碼模板移動的像素數為大于I且不影響人體姿態和輪廓的像素數；提取賦值后的特征，形成人體行為特征。其中，所述預設個數為3，所述預設的掩碼模板移動的像素數為3。其中，所述對立方數據的圖像進行掃描并賦值包括采用枚舉法，依據鄰接表中預置的立方數據中每個像素與每個像素的相關特征的對應關系，對立方數據中的圖像進行掃描；當掃描到一個像素時，對該像素的像素值賦值，將該像素的像素值賦值給與該像素對應的相關特征；其中，所述相關特征為與像素對應的圖像高階局部自相關函數。其中，所述立方數據中每個像素與每個像素相關特征的對應關系的預置過程包括確定立方數據中每個像素的相關特征的維數編號；設置每個像素與每個像素的相關特征的維數編號的對應關系。本發明實施例還提供一種人體行為特征提取系統，包括立方數據更新模塊，用于在每次進行立方數據更新時，將預設個數的圖像幀插入立方數據的圖像序列中，及將圖像序列中原來存在的對應預設個數的圖像幀按照時間順序刪除出立方數據的圖像序列中；其中，所述預設個數為大于I且不影響人體運動連續性的圖像幀的個數；掃描賦值模塊，用于按照預設的每次掃描立方數據的圖像時的掩碼模板移動的像素數，對立方數據的圖像進行掃描并賦值；其中，所述預設的掩碼模板移動的像素數為大于I且不影響人體姿態和輪廓的像素數；提取模塊，用于提取賦值后的特征，形成人體行為特征。
其中，所述預設個數為3，所述預設的掩碼模板移動的像素數為3。其中，所述掃描賦值模塊包括掃描單元，用于采用枚舉法，依據鄰接表中預置的立方數據中每個像素與每個像素的相關特征的對應關系，對立方數據中的圖像進行掃描；賦值單元，用于在所述掃描單元掃描到一個像素時，對該像素的像素值賦值，將該像素的像素值賦值給與該像素對應的相 關特征；其中，所述相關特征為與像素對應的圖像高階局部自相關函數。其中，所述系統還包括編號確定模塊，用于確定立方數據中每個像素的相關特征的維數編號；對應關系設置模塊，用于設置每個像素與每個像素的相關特征的維數編號的對應關系。本發明實施例還提供一種異常行為檢測方法，包括依據背景模型對視頻圖像序列進行前景提取，得出人體動作圖像序列；從人體動作圖像序列中提取出人體行為特征；從人體行為特征中選擇出反映人體行為模式的特征；對所述反映人體行為模式的特征進行分類處理，得出識別結果；其中，所述從人體動作圖像序列中提取出人體行為特征的過程具體為上述所述的人體行為特征提取方法。其中，所述依據背景模型對視頻圖像序列進行前景提取，得出人體動作圖像序列包括采用高斯濾波和背景建模法從視頻圖像序列中刪除背景，提取出初始的人體動作圖像序列；對所述初始的人體動作圖像序列進行二值化處理，形態學濾波去除噪聲，得到人體動作圖像序列。其中，所述從人體行為特征中選擇出反映人體行為模式的特征包括采用主成分分析法對所述人體行為特征進行降維處理，從所述人體行為特征中選取出反映高階相關函數的特征向量；采用fisher線性判別法對所述反映高階相關函數的特征向量進行降維處理，從所述反映高階相關函數的特征向量中選取出反映人體行為模式的特征變量。本發明實施例還提供一種異常行為檢測系統，包括人體動作圖像序列提取模塊，用于依據背景模型對視頻圖像序列進行前景提取，得出人體動作圖像序列；如上述所述的人體行為特征提取系統，用于從人體動作圖像序列中提取出人體行為特征；特征選擇模塊，用于從人體行為特征中選擇出反映人體行為模式的特征；分類模塊，用于對所述反映人體行為模式的特征進行分類處理，得出識別結果。其中，所述動作圖像序列提取模塊包括初始序列提取單元，用于采用高斯濾波和背景建模法從視頻圖像序列中刪除背景，提取出初始的人體動作圖像序列；
序列處理單元，用于對所述初始的人體動作圖像序列進行二值化處理，形態學濾波去除噪聲，得到人體動作圖像序列。其中，所述特征選擇模塊包括主成分分析單元，用于采用主成分分析法對所述人體行為特征進行降維處理，從所述人體行為特征中選取出反映高階相關函數的特征向量；線性判別單元,用于采用fisher線性判別法對所述反映高階相關函數的特征向量進行降維處理，從所述反映高階相關函數的特征向量中選取出反映人體行為模式的特征變量。基于上述技術方案，鑒于人體異常行為的識別采用的是統計屬于各個不同動作的特征值數目，選取最多的一種作為最終的判斷；同時由于人體運動的連續性，因此均勻的從適當個數的圖像幀中抽取一個來進行掃描，所獲取的特征值并不會影響人體行為特征提取的準確性，還可提高運算速度；并且對于只要求判斷動作類型的異態識別來說，在每次掃描立方數據圖像時，在適當的掩碼模板移動的像素數范圍內進行立方數據的圖像掃描，對于最后的掃描結果的準確性并不會產生變化，因此通過適當的改變掩碼模版的掃描間距可使得掩碼模版數量減小，提高人體行為特征的提取速度。本發明實施例提供的人體行為特征提取方法通過預設的在每次進行立方數據更新時，插入立方數據的圖像序列中的圖像幀的個數，和預設的每次掃描立方數據的圖像時的掩碼模板移動的像素數，可在不影響人體行為特征提取結果的情況下，加快立方數據的更新速度和改變掩碼模板的掃描間距，減小數據處理量，提高人體行為特征的提取速度，本發明實施例提供的人體行為特征提取方法解決了現有技術在人體行為特征的提取過程中系統的數據處理量較大，占用系統資源過多，導致人體行為特征的提取速度較慢的問題。
為了更清楚地說明本發明實施例或現有技術中的技術方案，下面將對實施例或現有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發明的一些實施例，對于本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他的附圖。圖I為現有技術人體異常行為檢測的方法流程圖；圖2為二值化處理后的圖像效果圖；圖3為立方數據的示意圖；圖4為本發明實施例提供的人體行為特征提取方法的流程圖；圖5為Λ 1=3時，Λ η與識別率的變化情況關系圖；圖6為Λη=3時，Δ1與識別率的變化情況關系圖；圖7為本發明實施例提供的對立方數據的圖像進行掃描并賦值的方法流程圖；圖8為掩碼層以及各層標簽的示意圖；圖9為本發明實施例提供的人體行為特征提取系統的結構框圖；圖10為本發明實施例提供的掃描賦值模塊的結構框圖；圖11為本發明實施例提供的人體行為特征提取系統的另一結構框圖；圖12為本發明實施例提供的人體異常行為檢測方法的流程圖13為本發明實施例提供的從人體行為特征中選擇出反映人體行為模式的特征的方法流程圖；圖14為本發明實施例提供的未經過特征選擇前的特征分布情況示意圖；圖15為本發明實施例提供的經過特征選擇后的特征分布情況示意圖；圖16為本發明實施例提供的經過特征選擇后的特征分布情況的另一示意圖；圖17為本發明實施例提供的人體異常行為檢測系統的結構框圖；圖18為本發明實施例提供的人體動作圖像序列提取模塊的結構框圖；
圖19為本發明實施例提供的選擇模塊的結構框圖。
具體實施例方式下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發明一部分實施例，而不是全部的實施例。基于本發明中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都屬于本發明保護的范圍。圖4為本發明實施例提供的人體行為特征提取方法的流程圖，下述方法流程基于由人體動作圖像序列構成的立方數據的基礎上，參照圖4，該方法可以包括步驟S200、在每次進行立方數據更新時，將預設個數的圖像幀插入立方數據的圖像序列中，及將圖像序列中原來存在的對應預設個數的圖像幀按照時間順序刪除出立方數據的圖像序列中；其中，所述預設個數為大于I且不影響人體運動連續性的圖像幀的個數。為便于理解，步驟S200示出的立方數據更新方式，現設圖像序列中原始存在XI、X2…X6共六個圖像幀，如果每次進行立方數據更新時預設的插入立方數據的圖像序列中的圖像幀個數為3個，則在進行一次立方數據更新時，可將Tl、X8和X9這3個圖像幀中插入圖像序列中，且按照插入的時間順序設置于X6之后，由于X1、X2和X3這3個圖像幀為最早設置于圖像序列中的，因此按照時間順序，在X7、X8和X9這3個圖像幀插入圖像序列的同時，將XI、X2和X3這3個圖像幀刪除出圖像序列中。步驟S200中所描述的立方數據更新遵循先進先出后進后出的原則。上述假設僅為便于理解本發明實施例提供的立方數據更新方案，其不應成為本發明的限制。步驟S210、按照預設的每次掃描立方數據的圖像時的掩碼模板移動的像素數，對立方數據的圖像進行掃描并賦值；其中，所述預設的掩碼模板移動的像素數為大于I且不影響行人姿態和輪廓的像素數。相對現有技術，步驟S210中掩碼模板對圖像掃描并不是逐一進行的，而是調整了掩碼模板的掃描間距，即在預設掩碼模板移動的像素數的間距的基礎上，對圖像序列的掃描；在每次進行圖像掃描時，掩碼模板將不再逐一的掃描每個像素，而是以預設掩碼模板移動的像素數為基礎，進行跳段式的圖像掃描，即對于預設掩碼模板移動的像素數中的像素只掃描其中一個像素。步驟S220、提取賦值后的特征，形成人體行為特征。
通過背景技術的描述可以看出，現有技術對cubic data的更新是采用逐一更新的辦法，即，每次移入一幀圖像同時移出一幀圖像，而在用掩碼模板對圖像序列進行掃描時也采用的是逐一掃描的方法，將圖像序列中的每一個像素都掃描到，這對于一般的計算機是一個龐大的開銷。而鑒于后續用到的模式識別方法采用的是統計屬于各個不同動作的特征值數目，選取最多的一種作為最終的判斷；同時，由于人體運動的連續性，因此均勻的從適當個數的圖像幀中抽取一個來進行掃描，獲取特征值將不會影響最后人體行為特征提取的準確性，同時算法的運算速度將獲得成倍的增長。而現有技術中掩碼模板的掃描都是逐一進行的，這無疑將在某種程度上產生對同一像素的重復掃描，同一信息的重復提取；同時，從另一個角度理解，若將圖像進行一定比例的縮小，圖像中行人的姿態和輪廓將不會受到太大的變化，對于只要求判斷運動類型的異態識別來說，在每次掃描立方數據圖像時，在適當的掩碼模板移動的像素數范圍內進行立方數據的圖像掃描，對于最后的掃描結果的準確性并不會產生變化，因此通過適當的改變掩碼模版的掃描間距可使得掩碼模版數量減小，提聞人體行為特征的提取速度。基于上述考慮，可設定兩個變量Λη和Λ I分別表示立方數據每次更新時，所更新的圖像幀數和每次掃描圖像時的掩碼模板移動的像素數，在設定圖像識別率的情況下，運用網格法掃描，搜索Λη和Al的最佳取值。如果直接從以Λη為X軸，Λ I為y軸，識別率為z軸的三維圖像中無法較為明顯的看出Λη，Al與識別率的變化關系，為了更明顯的顯示出參數間的變化關系，圖5示出了Δ 1=3時，Λ η與識別率的變化情況關系圖，圖6示出了 Λη=3時，△ I與識別率的變化情況關系圖；經分析在Λη和Al都取值為3時，視頻的識別率較高且運算效率較優，此時算法 的運算效率將提升9倍。因此圖I所示方法中，在每次進行立方數據更新時，插入立方數據的圖像序列中的圖像幀的個數可以為3個，每次掃描立方數據的圖像時的掩碼模板移動的像素數可以為3個。顯然，在Λ η的選取不影響人體運動連續性，Δ I的選取不影響人體姿態和輪廓的情況下，還可設置其他數值的Λη和Al，如Λ η可取2至5的范圍，Λ I可取2至5的范圍，這些范圍的數值組合均不會影響人體行為特征提取的正確性。本發明實施例提供的人體行為特征提取方法通過預設的在每次進行立方數據更新時，插入立方數據的圖像序列中的圖像幀的個數，和預設的每次掃描立方數據的圖像時的掩碼模板移動的像素數，可在不影響人體行為特征提取結果的情況下，加快立方數據的更新速度和改變掩碼模板的掃描間距，減小數據處理量，提高人體行為特征的提取速度，本發明實施例提供的人體行為特征提取方法解決了現有技術在人體行為特征的提取過程中系統的數據處理量較大，占用系統資源過多，導致人體行為特征的提取速度較慢的問題。由于現有技術直接使用251個掩碼模板對圖像序列進行逐一掃描并賦值，這無疑將給運算打來巨大的壓力。而在這些圖像序列中像素與某些相關特征是對應的，相關特征為與像素對應的圖像高階局部自相關函數，這些相關特征可以在對應像素賦值的情況下，實現相關特征的同步賦值。因此本發明實施例在圖I所示方法的基礎上，提供一種圖I所述步驟S210中對立方數據的圖像掃描并賦值的具體實現方式，圖7為本發明實施例提供的對立方數據的圖像進行掃描并賦值的方法流程圖，該方法可以包括步驟S211、采用枚舉法，依據鄰接表中預置的立方數據中每個像素與每個像素的相關特征的對應關系，對立方數據中的圖像進行掃描；步驟S212、當掃描到一個像素時，對該像素的像素值賦值，將該像素的像素值賦值給與該像素對應的相關特征。本發明實施例采用鄰接表記錄立方數據中每一個像素與該像素相關特征的對應關系；可選的，可通過確定立方數據中每個像素的相關特征的維數編號，設置每個像素與每個像素的相關特征的維數編號的對應關系的方式，實現每一個像素與該像素相關特征的對應關系的記錄。在鄰接表記錄了對應關系的基礎上，采用枚舉法對立方數據的圖像進行掃描，當掃描到一個像素，對該像素的像素值賦值時，可同步的對該像素的相關特征進行賦值，相關特征的賦值與所賦的像素值相等。這樣省去了現有技術在圖像掃描過程中，多次對像素相關特征進行賦值的過程，提高了人體行為特征的提取速度。需要說明的是，本發明領域人員可以知悉如何使用枚舉法，此處再贅述。顯然，鄰接表記錄對應關系的方式并不局限于通過相關特征的維數編號進行，還可通過設置各相關特征的標識，通過記錄標識與像素·的對應關系，實現每一個像素與該像素相關特征的對應關系的記錄。下面以圖8對圖7所示方法進行說明。下述說明僅為便于理解圖7所示方法，其不應成為本發明實施例的限制。圖8為掩碼層以及各層標簽的示意圖，圖中I1里a像素的相關特征的維數編號為15至Ij 39，在使用枚舉法對圖像進行掃描時，只需將特征向量預先賦值為全I向量，再對立方體中除中心外的28個像素進行掃描，若該像素取值為零，則將該像素對應編號的特征值賦值為零。如，M^1中a像素值為零，則編號為15到39的特征取值為零，以此類推，即可實現對立方數據的圖像進行掃描并賦值。經過統計，對每一個非零像素進行模板的掃描時，平均需做的判定數、非零像素數以及需做與運算的次數分別為28次、16個和347次，遠遠優于原有直接掃描法的251次和741次，在每一次掃描中可以在效率上獲得至少一倍的提高，這些提高在整個視頻的特征形成的過程中將讓這個算法獲得2倍以上的運算速度的提升。可以看出，如果圖I所示方法中每次進行立方數據更新時，插入立方數據的圖像序列的圖像幀數為3，且每次掃描立方數據的圖像時的掩碼模板移動的像素數為3，并且圖I所示步驟S210中對立方數據的圖像進行掃描并賦值的實現方式采用圖7所示，那么人體行為特征的提取速度將較現有技術提升18倍。下面對本發明實施例提供的人體行為特征提取系統進行描述，所描述的人體行為特征提取系統與上文描述的人體行為特征提取方法相互對應，兩者可相互參照。圖9為本發明實施例提供的人體行為特征提取系統的結構框圖，參照圖9，該系統可以包括立方數據更新模塊100，用于在每次進行立方數據更新時，將預設個數的圖像幀插入立方數據的圖像序列中，及將圖像序列中原來存在的對應預設個數的圖像幀按照時間順序刪除出立方數據的圖像序列中；其中，所述預設個數為大于I且不影響人體運動連續性的圖像幀的個數。掃描賦值模塊110，用于按照預設的每次掃描立方數據的圖像時的掩碼模板移動的像素數，對立方數據的圖像進行掃描并賦值；其中，所述預設的掩碼模板移動的像素數為大于I且不影響人體姿態和輪廓的像素數。
提取模塊120，用于提取賦值后的特征，形成人體行為特征。其中，在每個立方數據更新時間內插入立方數據的圖像序列中的圖像幀的個數可選為2至5，優選為3，每次掃描立方數據圖像時的掩碼模板移動的像素數可選為2至5，優選為3.
其中，掃描賦值模塊110的結構可如圖10所示，包括掃描單元111，用于采用枚舉法，依據鄰接表中預置的立方數據中每個像素與每個像素的相關特征的對應關系，對立方數據中的圖像進行掃描；賦值單元112，用于在掃描單元111掃描到一個像素時，對該像素的像素值賦值，將該像素的像素值賦值給與該像素對應的相關特征。其中，所述相關特征為與像素對應的圖像高階局部自相關函數。圖11為本發明實施例提供的人體行為特征提取系統的另一結構框圖，結合圖9和圖11所示，該系統還可以包括編號確定模塊130，用于確定立方數據中每個像素的相關特征的維數編號；對應關系設置模塊140，用于設置每個像素與每個像素的相關特征的維數編號的對應關系。基于上文描述的人體行為特征提取方法，下面將提供一種人體異常行為檢測方法，下文所描述的人體異常行為檢測方法中，從人體動作圖像序列中提取出人體行為特征的方式可參照上文描述的人體行為特征提取方法，兩者可相互參照。圖12為本發明實施例提供的人體異常行為檢測方法的流程圖，參照圖12，該方法可以包括步驟S300、依據背景模型對視頻圖像序列進行前景提取，得出人體動作圖像序列；步驟S300的實現方式可選為采用高斯濾波和背景建模法從視頻圖像序列中刪除背景，提取出初始的人體動作圖像序列；對所述初始的人體動作圖像序列進行二值化處理，形態學濾波去除噪聲，得到人體動作圖像序列，人體動作圖像序列由多個人體動作圖像構成，人體動作圖像為經過二值化處理后的圖像，具體可參見圖2所示。步驟S310、從人體動作圖像序列中提取出人體行為特征；步驟S310的實現方式，可參照上文描述的人體行為特征提取方法，唯一需要考慮的是，此處的人體動作圖像序列是以立方數據的形式存在。步驟S320、從人體行為特征中選擇出反映人體行為模式的特征；步驟S320的實現方式可如圖13所示，包括步驟S321、采用主成分分析法對所述人體行為特征進行降維處理，從所述人體行為特征中選取出反映高階相關函數的特征向量；在步驟S310提取出人體行為特征后，表現人體行為特征的數據為251維，通過主成分分析法從人體行為特征中選取出能夠反映出高階相關函數的前40個特征向量，則此時原本251維的特征數據已降至40維，大大減小了計算壓力；通過主成分分析法進行降維處理后，人體行為特征的行為模式的解釋已99%。步驟S322、采用fisher線性判別法對所述反映高階相關函數的特征向量進行降維處理，從所述反映高階相關函數的特征向量中選取出反映人體行為模式的特征變量。
通過fisher線性判別法對反映高階相關函數的前40個特征向量作進一步降維處理，可使得最后得到的特征變量為8個，大大減少了后續分類器的分類工作。參照圖14，圖15和圖16，圖14，圖15和圖16分別以行走(walking)和跑步(running)為例，對未經特征選擇時的特征向量以及經過圖13所示方法所進行的特征選擇后的特征向量的分布情況進行了說明，其中，圖14為本發明實施例提供的未經過特征選擇前的特征分布情況示意圖，圖15為本發明實施例提供的經過特征選擇后的特征分布情況示意圖，圖16為本發明實施例提供的經過特征選擇后的特征分布情況的另一示意圖。可以看出，通過圖13所示方法進行處理后，不同動作的向量空間的維數得到了降低，并且更加聚攏，更易于人體行為的分析。步驟S330、對所述反映人體行為模式的特征進行分類處理，得出識別結果。
具體的，可將反映人體行為模式的特征與正常行為和異常行為兩者的相似程度進行比對，從而將該特征所反映的人體行為分類至正常行為或異常行為，完成人體異常行為的檢測。經米用基于KNN (Κ-Nearest Neigllbors)算法構成的分類器以MultimodalDatabase of Gestures with Speech中的25個實驗對象,6個動作,在不同方向，不同著裝的情況下拍攝的600個視頻圖像為實驗主體所進行的實驗來看，本發明實施例提供的人體異常行為檢測方法在提高了檢測速度的情況下，所進行的人體異常行為檢測，可獲得94. 5%的識別準確率。基于上文所描述的人體行為特征提取系統，下面對本發明實施例提供的人體異常行為檢測系統進行描述。所描述的人體異常行為檢測系統可與上文描述的人體異常行為檢測方法對應，兩者可相互參照。圖17為本發明實施例提供的人體異常行為檢測系統的結構框圖，該系統可以包括人體動作圖像序列提取模塊200，用于依據背景模型對視頻圖像序列進行前景提取，得出人體動作圖像序列；人體行為特征提取系統210，用于從人體動作圖像序列中提取出人體行為特征；具體的，人體行為特征提取系統210的結構可如上文所述，可進行參照。特征選擇模塊220，用于從人體行為特征中選擇出反映人體行為模式的特征；分類模塊230，用于對所述反映人體行為模式的特征進行分類處理，得出識別結
果O其中，人體動作圖像序列提取模塊200的結構可如圖18所示，包括初始序列提取單元201，用于采用高斯濾波和背景建模法從視頻圖像序列中刪除背景，提取出初始的人體動作圖像序列；序列處理單元202，用于對所述初始的人體動作圖像序列進行二值化處理，形態學濾波去除噪聲，得到人體動作圖像序列。選擇模塊220的結構可如圖19所示，包括主成分分析單元221，用于采用主成分分析法對所述人體行為特征進行降維處理，從所述人體行為特征中選取出反映高階相關函數的特征向量；線性判別單元222，用于采用fisher線性判別法對所述反映高階相關函數的特征向量進行降維處理，從所述反映高階相關函數的特征向量中選取出反映人體行為模式的特
征變量。本說明書中各個實施例采用遞進的方式描述，每個實施例重點說明的都是與其他實施例的不同之處，各個實施例之間相同相似部分互相參見即可。對于實施例公開的裝置而言，由于其與實施例公開的方法相對應，所以描述的比較簡單，相關之處參見方法部分說明即可。專業人員還可以進一步意識到，結合本文中所公開的實施例描述的各示例的單元及算法步驟，能夠以電子硬件、計算機軟件或者二者的結合來實現，為了清楚地說明硬件和軟件的可互換性，在上述說明中已經按照功能一般性地描述了各示例的組成及步驟。這些功能究竟以硬件還是軟件方式來執行，取決于技術方案的特定應用和設計約束條件。專業技術人員可以對每個特定的應用來使用不同方法來實現所描述的功能，但是這種實現不應認為超出本發明的范圍。
結合本文中所公開的實施例描述的方法或算法的步驟可以直接用硬件、處理器執行的軟件模塊，或者二者的結合來實施。軟件模塊可以置于隨機存儲器(RAM)、內存、只讀存儲器(ROM)、電可編程ROM、電可擦除可編程ROM、寄存器、硬盤、可移動磁盤、CD-ROM、或技術領域內所公知的任意其它形式的存儲介質中。對所公開的實施例的上述說明，使本領域專業技術人員能夠實現或使用本發明。對這些實施例的多種修改對本領域的專業技術人員來說將是顯而易見的，本文中所定義的一般原理可以在不脫離本發明的精神或范圍的情況下，在其它實施例中實現。因此，本發明將不會被限制于本文所示的這些實施例，而是要符合與本文所公開的原理和新穎特點相一致的最寬的范圍。
權利要求
1.一種人體行為特征提取方法，其特征在于，包括 在每次進行立方數據更新時，將預設個數的圖像幀插入立方數據的圖像序列中，及將圖像序列中原來存在的對應預設個數的圖像幀按照時間順序刪除出立方數據的圖像序列中；其中，所述預設個數為大于I且不影響人體運動連續性的圖像幀的個數； 按照預設的每次掃描立方數據的圖像時的掩碼模板移動的像素數，對立方數據的圖像進行掃描并賦值；其中，所述預設的掩碼模板移動的像素數為大于I且不影響人體姿態和輪廓的像素數； 提取賦值后的特征，形成人體行為特征。
2.根據權利要求I所述的方法，其特征在于，所述預設個數為3，所述預設的掩碼模板移動的像素數為3。
3.根據權利要求I或2所述的方法，其特征在于，所述對立方數據的圖像進行掃描并賦值包括 采用枚舉法，依據鄰接表中預置的立方數據中每個像素與每個像素的相關特征的對應關系，對立方數據中的圖像進行掃描； 當掃描到一個像素時，對該像素的像素值賦值，將該像素的像素值賦值給與該像素對應的相關特征；其中，所述相關特征為與像素對應的圖像高階局部自相關函數。
4.根據權利要求3所述的方法，其特征在于，所述立方數據中每個像素與每個像素相關特征的對應關系的預置過程包括 確定立方數據中每個像素的相關特征的維數編號； 設置每個像素與每個像素的相關特征的維數編號的對應關系。
5.一種人體行為特征提取系統，其特征在于，包括 立方數據更新模塊，用于在每次進行立方數據更新時，將預設個數的圖像幀插入立方數據的圖像序列中，及將圖像序列中原來存在的對應預設個數的圖像幀按照時間順序刪除出立方數據的圖像序列中；其中，所述預設個數為大于I且不影響人體運動連續性的圖像幀的個數； 掃描賦值模塊，用于按照預設的每次掃描立方數據的圖像時的掩碼模板移動的像素數，對立方數據的圖像進行掃描并賦值；其中，所述預設的掩碼模板移動的像素數為大于I且不影響人體姿態和輪廓的像素數； 提取模塊，用于提取賦值后的特征，形成人體行為特征。
6.根據權利要求5所述的系統，其特征在于，所述預設個數為3，所述預設的掩碼模板移動的像素數為3。
7.根據權利要求5或6所述的系統，其特征在于，所述掃描賦值模塊包括 掃描單元，用于采用枚舉法，依據鄰接表中預置的立方數據中每個像素與每個像素的相關特征的對應關系，對立方數據中的圖像進行掃描； 賦值單元，用于在所述掃描單元掃描到一個像素時，對該像素的像素值賦值，將該像素的像素值賦值給與該像素對應的相關特征；其中，所述相關特征為與像素對應的圖像高階局部自相關函數。
8.根據權利要求7所述的系統，其特征在于，還包括 編號確定模塊，用于確定立方數據中每個像素的相關特征的維數編號；對應關系設置模塊，用于設置每個像素與每個像素的相關特征的維數編號的對應關系O
9.一種異常行為檢測方法，其特征在于，包括 依據背景模型對視頻圖像序列進行前景提取，得出人體動作圖像序列； 從人體動作圖像序列中提取出人體行為特征； 從人體行為特征中選擇出反映人體行為模式的特征； 對所述反映人體行為模式的特征進行分類處理，得出識別結果； 其中，所述從人體動作圖像序列中提取出人體行為特征的過程具體為權利要求I至4任一項所述的方法。
10.根據權利要求9所述的方法，其特征在于，所述依據背景模型對視頻圖像序列進行前景提取，得出人體動作圖像序列包括 采用高斯濾波和背景建模法從視頻圖像序列中刪除背景，提取出初始的人體動作圖像序列； 對所述初始的人體動作圖像序列進行二值化處理，形態學濾波去除噪聲，得到人體動作圖像序列。
11.根據權利要求9或10所述的方法，其特征在于，所述從人體行為特征中選擇出反映人體行為模式的特征包括 采用主成分分析法對所述人體行為特征進行降維處理，從所述人體行為特征中選取出反映高階相關函數的特征向量； 采用fisher線性判別法對所述反映高階相關函數的特征向量進行降維處理，從所述反映高階相關函數的特征向量中選取出反映人體行為模式的特征變量。
12.—種異常行為檢測系統，其特征在于，包括 人體動作圖像序列提取模塊，用于依據背景模型對視頻圖像序列進行前景提取，得出人體動作圖像序列； 如權利要求5至8任一項所述的人體行為特征提取系統，用于從人體動作圖像序列中提取出人體行為特征； 特征選擇模塊，用于從人體行為特征中選擇出反映人體行為模式的特征； 分類模塊，用于對所述反映人體行為模式的特征進行分類處理，得出識別結果。
13.根據權利要求12所述的系統，其特征在于，所述動作圖像序列提取模塊包括 初始序列提取單元，用于采用高斯濾波和背景建模法從視頻圖像序列中刪除背景，提取出初始的人體動作圖像序列； 序列處理單元，用于對所述初始的人體動作圖像序列進行二值化處理，形態學濾波去除噪聲，得到人體動作圖像序列。
14.根據權利要求12或13所述系統，其特征在于，所述特征選擇模塊包括 主成分分析單元，用于采用主成分分析法對所述人體行為特征進行降維處理，從所述人體行為特征中選取出反映高階相關函數的特征向量； 線性判別單元，用于采用fisher線性判別法對所述反映高階相關函數的特征向量進行降維處理，從所述反映高階相關函數的特征向量中選取出反映人體行為模式的特征變量。
全文摘要
本發明實施例提供一種人體行為特征提取方法、系統及異常行為檢測方法和系統；其中人體行為特征提取方法可以包括在每次進行立方數據更新時，將預設個數的圖像幀插入立方數據的圖像序列中，及將圖像序列中原來存在的對應預設個數的圖像幀按照時間順序刪除出立方數據的圖像序列中；其中，所述預設個數為大于1且不影響人體運動連續性的圖像幀的個數；按照預設的每次掃描立方數據的圖像時的掩碼模板移動的像素數，對立方數據的圖像進行掃描并賦值；其中，所述預設的掩碼模板移動的像素數為大于1且不影響人體姿態和輪廓的像素數；提取賦值后的特征，形成人體行為特征。
文檔編號G06K9/46GK102902972SQ20121034173
公開日2013年1月30日 申請日期2012年9月14日 優先權日2012年9月14日
發明者劉杰, 陳鵬, 吳磊, 武德安, 馮江遠, 夏云霓 申請人:成都國科海博計算機系統有限公司