人臉屬性識別方法、裝置和模型建立方法與流程
本發明涉及一種圖像識別技術，尤其涉及一種人臉屬性識別方法、裝置和模型建立方法。
背景技術：
人臉屬性識別是指對人臉圖像所表現出來的屬性進行估計、判別和分析。人臉屬性包括性別，年齡，表情，動作，是否戴眼鏡，是否戴墨鏡，眼睛大小，眼睛睜開或者閉著，嘴巴張開或者閉著，頭發長短或者直發卷發類別，正面或側面等。由此可知，人臉的屬性可以劃分為長期屬性和短期屬性。長期屬性指一段時間內不會變化的屬性，如性別、年齡等，短期屬性指附加在人臉上的可以隨時去除的屬性，如戴口罩、戴眼鏡、戴項鏈、化妝、發型等。
目前，人臉屬性識別的方法通常分為兩種：全局方法和局部方法。
全局方法直接從整張人臉提取特征，并利用得到的特征進行分類。這種方法考慮了全局的特征，對一些響應位置較大的屬性，如戴眼鏡、黑頭發等，可以較容易地正確識別，但是對于一些比較響應位置比較小的屬性，如弧形眉毛等，就不能進行精確的識別，而且全局方法對于人臉這種有形變的對象來說魯棒性較差，一旦有表情、角度等變化，識別準確率就會降低。
局部方法都是依賴于人工判定屬性歸屬的區域，然后對這些特定的區域來提取特征，再判斷屬性是否存在。如判斷一個人是否有戴眼鏡就要把眼睛區域提取出來再做判斷，判斷頭發顏色要把頭發區域標注出來，判斷是否光頭要先把頭頂區域提取出來等等。所以要實現人臉屬性的識別，首先要先對人臉的關鍵點進行精確的定位，才能提取到相關的區域。這種人工定義的方法比較繁瑣，而且不能完全準確地描述出關聯的區域。除此之外，這些人工定義的區域并不一定能準確表示屬性的位置，比如判別性別，不同的人或許會對性別的表示區域有不同的看法，或許可以通過喉結、頭發長度、面型等等來判斷。
在現有的局部人臉屬性識別算法中，通常針對特定的關鍵部位提取手工特征。比如，kumar等研究者通過從人臉的多個部位提取人工設計的hog特征，從而預測屬性和進行人臉比對(faceverification)；bourdev等通過構建三層的svm系統去提取高層次的信息，從而提高手工特征的判別性。近年來，由于深度學習能學到緊湊和具有判別性的特征，它在屬性預測上取得了巨大的成功。razavian等研究者展示了通過cnn和imagenet學到的現成特征可以有效地適用于屬性分類；zhang的實驗證明組合多個cnns所學的特征，可以提高性能。但是這些方法都存在一個缺點——依賴于對于訓練和測試數據集的準確的關鍵點定位以及人工定義屬性的關聯區域。
人臉相關的屬性有很多，但是其關聯區域的尺度大小不一，如發型的關聯區域可能是整個人頭區域，而涂口紅的關聯區域僅在嘴唇的部位，因此要通過統一的模型來學習多個屬性是比較困難的。
技術實現要素：
為了克服現有技術的不足，本發明的目的之一在于提供一種人臉屬性識別方法，其能解決現有的人臉屬性識別方法依賴于訓練和測試數據集的準確的關鍵點定位以及人工定義屬性的關聯區域，要通過統一的模型來學習多個屬性是比較困難的問題。
本發明的目的之二在于提供一種人臉屬性識別模型建立方法，其能解決現有的人臉屬性識別方法依賴于訓練和測試數據集的準確的關鍵點定位以及人工定義屬性的關聯區域，要通過統一的模型來學習多個屬性是比較困難的問題。
本發明的目的之三在于提供一種人臉屬性識別裝置，其能解決現有的人臉屬性識別方法依賴于訓練和測試數據集的準確的關鍵點定位以及人工定義屬性的關聯區域，要通過統一的模型來學習多個屬性是比較困難的問題。
本發明的目的之四在于提供一種人臉屬性識別裝置，其能解決現有的人臉屬性識別方法依賴于訓練和測試數據集的準確的關鍵點定位以及人工定義屬性的關聯區域，要通過統一的模型來學習多個屬性是比較困難的問題。
本發明的目的之一采用以下技術方案實現：
一種人臉屬性識別方法，包括以下步驟：
從當前圖像獲取當前響應區域；
根據平均響應區域和所述當前響應區域計算屬性關聯區域；
對所述屬性關聯區域作感興趣區域池化，得到預設大小的待定特征圖；
根據所述待定特征圖預測人臉屬性。
進一步地，所述從當前圖像獲取當前響應區域，具體為通過卷積神經網絡從當前圖像獲取當前響應區域，所述卷積神經網絡包括卷積層。
進一步地，所述從當前圖像獲取當前響應區域，具體包括以下步驟：
計算所述當前圖像的初始特征圖；
計算所述初始特征圖的響應圖；
根據所述響應圖提取所述當前響應區域。
進一步地，所述當前響應區域具體為所述響應圖中響應值大于響應閾值的連通區域。
進一步地，所述根據平均響應區域和所述當前響應區域計算屬性關聯區域，具體為：將所述平均響應區域和所述當前響應區域按預設比例加權平均，響應值較大的區域作為屬性關聯區域。
進一步地，所述對所述屬性關聯區域作感興趣區域池化，得到預設大小的待定特征圖，具體包括以下步驟：
從所述屬性關聯區域裁剪出感興趣區域；
通過雙線性插值法將所述感興趣區域縮放為所述預設大小的待定特征圖。
本發明的目的之二采用以下技術方案實現：
一種人臉屬性識別模型建立方法，包括以下步驟：
建立卷積神經網絡，所述卷積神經網絡包括共享卷積網絡、第一任務分支和第二任務分支；所述共享卷積網絡用于對當前圖像進行處理，所述第一任務分支用于從處理后的所述當前圖像獲取當前響應區域，并根據平均響應區域和所述當前響應區域計算屬性關聯區域，所述第二任務分支用于對所述屬性關聯區域作感興趣區域池化，得到預設大小的待定特征圖，并根據所述待定特征圖預測人臉屬性；
訓練所述共享卷積網絡和第一任務分支；
訓練所述第二任務分支，同時對所述第一任務分支進行再訓練。
本發明的目的之三采用以下技術方案實現：
一種人臉屬性識別裝置，包括：
獲取模塊，用于從當前圖像獲取當前響應區域；
計算模塊，用于根據平均響應區域和所述當前響應區域計算屬性關聯區域；
區域模塊，用于對所述屬性關聯區域作感興趣區域池化，得到預設大小的待定特征圖；
預測模塊，用于根據所述待定特征圖預測人臉屬性。
進一步地，所述獲取模塊包括：
第一計算單元，用于計算所述當前圖像的初始特征圖；
第二計算單元，用于計算所述初始特征圖的響應圖；
提取單元，用于根據所述響應圖提取所述當前響應區域；
所述區域模塊包括：
裁剪單元，用于從所述屬性關聯區域裁剪出感興趣區域；
縮放單元，用于通過雙線性插值法將所述感興趣區域縮放為所述預設大小的待定特征圖。
本發明的目的之四采用以下技術方案實現：
一種人臉屬性識別裝置，包括：
處理器以及用于存儲處理器可執行的指令的存儲器；
所述處理器被配置為：
從當前圖像獲取當前響應區域；
根據平均響應區域和所述當前響應區域計算屬性關聯區域；
對所述屬性關聯區域作感興趣區域池化，得到預設大小的待定特征圖；
根據所述待定特征圖預測人臉屬性。
相比現有技術，本發明的有益效果在于：基于人臉屬性識別模型建立方法得到的卷積神經網絡，人臉屬性識別方法可以通過感興趣區域池化，把屬性關聯區域變形池化為預設大小的待定特征圖，解決了現有的各屬性對應的關聯區域尺度不一，不利于后續基于統一模型的多屬性識別的問題，從而實現了通過一個卷積神經網絡即可實現人臉圖像的多個屬性的識別。
進一步地，人臉屬性識別模型建立方法，第一步是學習任務一，第二步是兩個任務同時進行端到端的學習。由于兩個任務之間是有先后順序的，任務二的學習依賴于任務一的輸出，因此需要先訓練好任務一，同時還可以得到基于訓練圖像的相應屬性的平均響應區域；接著開始學習任務二，與此同時，任務一也在不斷地繼續學習。一方面可以防止共享卷積網絡輸出的共享特征只是適應于任務二，而導致任務一的屬性關聯區域定位效果下降；另一方面進行端到端的學習，能夠同時優化兩個任務，從而達到更好的人臉屬性識別效果。
附圖說明
圖1是本發明實施例一的人臉屬性識別方法的流程示意圖；
圖2是圖1中人臉屬性識別方法的過程示意圖；
圖3是本發明實施例二的人臉屬性識別模型建立方法的流程示意圖；
圖4是人臉屬性識別模型的結構示意圖；
圖5是本發明實施例三的人臉屬性識別裝置的結構示意圖；
圖6是本發明實施例四的人臉屬性識別裝置的結構示意圖。
具體實施方式
下面，結合附圖以及具體實施方式，對本發明做進一步描述，需要說明的是，在不相沖突的前提下，以下描述的各實施例之間或各技術特征之間可以任意組合形成新的實施例：
實施例一：
圖1是本發明實施例一的人臉屬性識別方法的流程示意圖；圖2是圖1中人臉屬性識別方法的過程示意圖，本領域技術人員應了解，圖2中的共享卷積網絡、第一卷積層和第二卷積層均可以包括一個或多個卷積層，可對相應的輸入進行多次運算。
如圖1和2所示，本實施例的一種人臉屬性識別方法，其包括以下步驟：
步驟s110，從當前圖像獲取當前響應區域。
進一步地，所述從當前圖像獲取當前響應區域，具體為通過卷積神經網絡從當前圖像獲取當前響應區域，所述卷積神經網絡包括卷積層。
具體地，所述從當前圖像獲取當前響應區域，包括以下步驟：
步驟s111，計算所述當前圖像的初始特征圖；
步驟s112，計算所述初始特征圖的響應圖；
步驟s113，根據所述響應圖提取所述當前響應區域。
所述當前響應區域具體為所述響應圖中響應值大于響應閾值的連通區域。
在卷積神經網絡中，特征圖的響應值與學習目標密切相關，在本實施例中，特征圖的響應值與要識別的屬性密切相關。對應于某個屬性的特征圖中，響應值越大，表示該區域存在該屬性的可能性越大，也就是說特征圖中響應值越大表示關聯性越強。通過卷積神經網絡的前向傳播過程即可以求得每層特征圖的響應值。優選的，本文以第一卷積層的輸出映射到原圖大小之后得到的特征圖作為響應圖；進一步地，以響應圖中的響應值大于一定響應閾值的連通區域作為當前響應區域。響應閾值可以通過經驗或有限次的試驗得到，如響應閾值設置為經驗值0.5。
在本實施例中，第一卷積層最后的響應具有較強的屬性信息，因此本實施例以第一卷積層最后的響應值映射回原圖以作為響應圖。如果直接把響應圖通過雙線性插值放大到原圖的大小沒有考慮到輸出點的接受域(receptivefield)，會導致響應位置的不準確。因此本實施例通過先求出第一卷積層每個輸出點對應回輸入圖像的接受域，再把該輸出點的值通過雙線性插值的方法對應到原圖大小的區域上。這樣會求得更加準確的響應區域。
步驟s120，根據平均響應區域和所述當前響應區域計算屬性關聯區域。
由于當前響應區域沒有對應真實的屬性標簽，不能保證每張圖像都能得到很好的響應區域，而后續的屬性識別是基于特定響應區域的，如果當前響應區域不準確，就會造成在進行后續任務時丟失一定的信息。因此在本實施例中引入了屬性的平均響應區域作為輔助信息，根據平均響應區域和所述當前響應區域計算屬性關聯區域，對當前響應區域進行修正。進一步地，所述根據平均響應區域和所述當前響應區域計算屬性關聯區域，具體為將所述平均響應區域和所述當前響應區域按預設比例加權平均，響應值較大的區域作為屬性關聯區域。對應于某一屬性的平均響應區域是利用多張訓練圖像對應于該屬性的響應區域平均而來的。如戴眼鏡這一屬性，可將多張戴眼鏡的人臉圖像在眼鏡部位的響應區域進行平均，得到戴眼鏡這一屬性的平均響應區域。訓練圖像可以利用公開的數據集celebadataset。
優選的，可以通過將當前響應區域和平均響應區域以1:1的比例加權平均，取出響應值較大的區域作為當前屬性的屬性關聯區域。
步驟s130，對所述屬性關聯區域作感興趣區域池化，得到預設大小的待定特征圖。
感興趣區域池化層(roipoolinglayer)是在特征圖上離散區域根據掃描框的大小執行池化的。本實施例使用的是加入了形變功能的感興趣區域池化層。其首先把感興趣區域進行形變，接著使用最大池化層把感興趣區域縮放成統一的大小。
進一步地，所述對所述屬性關聯區域作感興趣區域池化，得到預設大小的待定特征圖，具體包括以下步驟：
步驟s131，從所述屬性關聯區域裁剪出感興趣區域；
步驟s132，通過雙線性插值法將所述感興趣區域縮放為所述預設大小的待定特征圖。
首先通過形變層在全圖的特征圖，即屬性關聯區域上裁剪出相關的響應區域，即感興趣區域；然后通過雙線性插值法把感興趣區域縮放成預設大小。
用
步驟s140，根據所述待定特征圖預測人臉屬性。
根據特征圖預測人臉屬性可以根據現有技術實現。
本實施例所述的人臉屬性識別方法，通過感興趣區域池化，把屬性關聯區域變形池化為預設大小的待定特征圖，解決了現有的各屬性對應的關聯區域尺度不一，不利于后續基于統一模型的多屬性識別的問題，從而實現了通過一個卷積神經網絡即可實現人臉圖像的多個屬性的識別。
進一步地，根據所述待定特征圖預測人臉屬性也可由卷積神經網絡實現。作為本發明的進一步改進，本發明提出了通過級聯的多任務卷積神經網絡模型來實現屬性關聯區域定位和屬性識別，如實施例二。
實施例二：
如圖3所示的一種人臉屬性識別模型建立方法，圖4是一種人臉屬性識別模型的結構示意圖。人臉屬性識別模型建立方法包括以下步驟：
步驟s210，建立卷積神經網絡，所述卷積神經網絡包括共享卷積網絡、第一任務分支和第二任務分支；所述共享卷積網絡用于對當前圖像進行處理，所述第一任務分支用于從處理后的所述當前圖像獲取當前響應區域，并根據平均響應區域和所述當前響應區域計算屬性關聯區域，所述第二任務分支用于對所述屬性關聯區域作感興趣區域池化，得到預設大小的待定特征圖，并根據所述待定特征圖預測人臉屬性。
所述共享卷積網絡、第一任務分支和第二任務分支均可以包括一個或多個卷積層，可對相應的輸入進行多次運算。所述共享卷積網絡對當前圖像進行處理，所述處理可以包括獲取人臉圖像的色彩、紋理、輪廓等信息。第一任務分支和第二任務分支可以共享卷積網絡輸出的特征，不僅能夠在一定程度上提高屬性識別的效果，而且還能減少一定量的計算資源。
通過第一任務分支實現第一任務，即從處理后的所述當前圖像獲取當前響應區域，并根據平均響應區域和所述當前響應區域計算屬性關聯區域的具體方法如實施例一所述；通過第二任務分支實現第二任務，即對所述屬性關聯區域作感興趣區域池化，得到預設大小的待定特征圖，并根據所述待定特征圖預測人臉屬性如實施例一所述，不再贅述。
步驟s220，訓練所述共享卷積網絡和第一任務分支。
圖4中的符號①表示全局最大值池化操作，②表示感興趣區域變形池化，③表示連接操作。進一步地，在訓練的時候，在第一任務分支的最后一個卷積層后面接上全局池化層，得到一個最大值，作為屬性的預測值，并和真實值作比較，從而對共享卷積網絡和第一任務分支調整。
本實施例中，定義第一任務分支的損失函數如下：
其中，θ表示網絡所需要優化的所有參數，r是第一任務分支的輸出，表示屬性關聯區域，可寫成r＝{x，y，w，h}的形式，其中(x，y)表示屬性關聯區域的中心坐標，h和w分別為屬性關聯區域的高度和寬度。
由于屬性關聯區域的學習是弱監督學習，本實施例以屬性標簽為學習目標，設定以下損失函數：
其中rj(xi)表示第xi個樣本在第一任務分支的最后一個卷積層的第j個輸出。
如實施例一所述，屬性關聯區域r的獲得可以通過把第一任務分支的最后一個卷積層輸出的特征映射為人臉圖像的大小得到當前響應區域，再將當前響應區域和平均響應區域求平均獲得。
步驟s230，訓練所述第二任務分支，同時對所述第一任務分支進行再訓練。
第二任務分支在最后一個卷積層后面接上一個全局池化層以得到屬性的預測值，預測值與真實值做sigmoid交叉熵比較，以預測屬性。
任務二的學習是在任務一輸出的基礎上進行的，本實施例把第二任務分支的損失函數定義如下：
其中r(θ)是在網絡參數θ下，任務一得到的屬性關聯區域，p表示任務二對屬性的預測值。任務二的學習方式與任務一相似，均是利用屬性的標簽信息來學習，同樣也使用了全局最大值池化功能對屬性關聯區域獲取屬性信息。
所述卷積神經網絡的學習過程分成兩步，第一步是學習任務一，第二步是兩個任務同時進行端到端的學習。由于兩個任務之間是有先后順序的，任務二的學習依賴于任務一的輸出，因此需要先訓練好任務一，同時還可以得到基于訓練圖像的相應屬性的平均響應區域；接著開始學習任務二，與此同時，任務一也在不斷地繼續學習。一方面可以防止共享卷積網絡輸出的共享特征只是適應于任務二，而導致任務一的屬性關聯區域定位效果下降；另一方面進行端到端的學習，能夠同時優化兩個任務，從而達到更好的人臉屬性識別效果。
對于人臉圖像的多屬性識別，人臉的許多特征是獨立的，并沒有關聯關系。本文針對多個屬性的識別問題提出了相應的損失函數。
作為本發明的進一步改進，在另一實施例中，將每個屬性的識別問題看作是一個獨立的二類劃分問題，因此該損失函數可以定義為個二類的sigmoid交叉熵損失函數的和，其中k表示要識別的屬性的個數。因而，k個屬性的損失函數可以表示為如下形式：
其中，xi表示第i張輸入圖像，k∈{1，2，...，k}表示要識別的屬性，yk∈{0，1}表示輸入圖像的屬性標簽，0表示屬性k不存在，1表示屬性k存在。pk(xi)表示圖像xi是否有屬性k的后驗概率，可以表示成以下sigmoid函數的形式：
其中，fk(xi)表示輸入圖像xi時卷積神經網絡的第k個輸出。
由本實施例所述的人臉屬性識別模型建立方法得到的卷積神經網絡，可以通過感興趣區域池化，把屬性關聯區域變形池化為預設大小的待定特征圖，解決了現有的各屬性對應的關聯區域尺度不一，不利于后續基于統一模型的多屬性識別的問題，從而實現了通過一個卷積神經網絡即可實現人臉圖像的多個屬性的識別。
本實施例所述的人臉屬性識別模型建立方法，第一步是學習任務一，第二步是兩個任務同時進行端到端的學習。由于兩個任務之間是有先后順序的，任務二的學習依賴于任務一的輸出，因此需要先訓練好任務一，同時還可以得到基于訓練圖像的相應屬性的平均響應區域；接著開始學習任務二，與此同時，任務一也在不斷地繼續學習。一方面可以防止共享卷積網絡輸出的共享特征只是適應于任務二，而導致任務一的屬性關聯區域定位效果下降；另一方面進行端到端的學習，能夠同時優化兩個任務，從而達到更好的人臉屬性識別效果。實施例三：
如圖5所示的人臉屬性識別裝置，包括：
獲取模塊110，用于從當前圖像獲取當前響應區域；
進一步的，所述獲取模塊110包括：
第一計算單元，用于計算所述當前圖像的初始特征圖；
第二計算單元，用于計算所述初始特征圖的響應圖；
提取單元，用于根據所述響應圖提取所述當前響應區域；
計算模塊120，用于根據平均響應區域和所述當前響應區域計算屬性關聯區域；
區域模塊130，用于對所述屬性關聯區域作感興趣區域池化，得到預設大小的待定特征圖；
進一步的，所述區域模塊130包括：
裁剪單元，用于從所述屬性關聯區域裁剪出感興趣區域；
縮放單元，用于通過雙線性插值法將所述感興趣區域縮放為所述預設大小的待定特征圖。
預測模塊140，用于根據所述待定特征圖預測人臉屬性。
本實施例中的裝置與前述實施例中的人臉屬性識別方法是基于同一發明構思下的兩個方面，在前面已經對人臉屬性識別方法實施過程作了詳細的描述，所以本領域技術人員可根據前述描述清楚地了解本實施中的系統的結構及實施過程，為了說明書的簡潔，在此就不再贅述。
為了描述的方便，描述以上裝置時以功能分為各種模塊分別描述。當然，在實施本發明時可以把各模塊的功能在同一個或多個軟件和/或硬件中實現。
通過以上的實施方式的描述可知，本領域的技術人員可以清楚地了解到本發明可借助軟件加必需的通用硬件平臺的方式來實現。基于這樣的理解，本發明的技術方案本質上或者說對現有技術做出貢獻的部分可以以軟件產品的形式體現出來，該計算機軟件產品可以存儲在存儲介質中，如rom/ram、磁碟、光盤等，包括若干指令用以使得一臺計算機設備(可以是個人計算機，服務器，或者網絡設備等)執行本發明各個實施例或者實施例的某些部分所述的方法。
描述的裝置實施例僅僅是示意性的，其中所述作為分離部件說明的模塊或單元可以是或者也可以不是物理上分開的，作為模塊或單元示意的部件可以是或者也可以不是物理模塊，既可以位于一個地方，或者也可以分布到多個網絡模塊上。可以根據實際的需要選擇其中的部分或者全部單元來實現本實施例方案的目的。本領域普通技術人員在不付出創造性勞動的情況下，即可以理解并實施。
本發明可用于眾多通用或專用的計算系統環境或配置中。例如：個人計算機、服務器計算機、手持設備或便攜式設備、平板型設備、多處理器系統、基于微處理器的系統、機頂盒、可編程的消費電子設備、網絡pc、小型計算機、大型計算機、包括以上任何系統或設備的分布式計算環境等等，如實施例四。
實施例四：
如圖6所示的人臉屬性識別裝置，包括：處理器200以及用于存儲處理器200可執行的指令的存儲器300；
所述處理器200被配置為：
從當前圖像獲取當前響應區域；
根據平均響應區域和所述當前響應區域計算屬性關聯區域；
對所述屬性關聯區域作感興趣區域池化，得到預設大小的待定特征圖；
根據所述待定特征圖預測人臉屬性。
本實施例中的裝置與前述實施例中的方法是基于同一發明構思下的兩個方面，在前面已經對方法實施過程作了詳細的描述，所以本領域技術人員可根據前述描述清楚地了解本實施中的系統的結構及實施過程，為了說明書的簡潔，在此就不再贅述。
本發明實施例提供的人臉屬性識別裝置，通過感興趣區域池化，把屬性關聯區域變形池化為預設大小的待定特征圖，解決了現有的各屬性對應的關聯區域尺度不一，不利于后續基于統一模型的多屬性識別的問題，從而實現了通過一個卷積神經網絡即可實現人臉圖像的多個屬性的識別。
對于本領域的技術人員來說，可根據以上描述的技術方案以及構思，做出其它各種相應的改變以及變形，而所有的這些改變以及變形都應該屬于本發明權利要求的保護范圍之內。
- 還沒有人留言評論。精彩留言會獲得點贊！