一種基于秩最小化的多標簽圖像標注結果融合方法
【專利摘要】本發明涉及一種基于秩最小化優化算法的多標簽圖像標注結果融合方法，包括如下步驟：1)抽取訓練集圖像的多種特征表示,訓練集圖像帶有事先給定的語義標注詞；2）在不同的特征表示下，訓練各自的監督學習圖像標注模型；3）對于一幅新的沒有語義標注詞的圖像，用同樣的方法抽取該圖像的多種特征，使用這些特征分別輸入到對應的監督學習圖像標注模型來預測多標簽結果；4）利用秩最小化算法將多個模型輸出的多標簽結果融合，得到一個更準確的標注結果。本發明充分利用了不同特征表示下的圖像標注模型的互補性，利用秩最小化算法減少融合的標注結果中的預測錯誤，從而使得最終的圖像標注結果更準確。
【專利說明】一種基于秩最小化的多標簽圖像標注結果融合方法
【技術領域】
[0001]本發明涉及一種圖像標注結果融合方法，特別涉及一種基于秩最小化的多標簽圖像標注結果的融合方法。
【背景技術】
[0002]隨著數碼相機和社交網絡應用的普及，人們越來越習慣于將自己拍攝的圖像發布在互聯網上。為了更方便地管理和檢索互聯網上的海量圖像，自動圖像標注是一個有效的工具。圖像標注程序的基本任務是建模圖像底層視覺特征與高層語義標注詞之間的關系。監督學習圖像標注模型是以已經帶有語義標注詞的圖像作為訓練圖像，先抽取訓練圖像的底層視覺特征，再以這些特征表示和對應的語義標注詞為輸入訓練出監督學習圖像標注模型。當對一幅新的沒有語義標注詞的圖像進行自動標注時，首先使用與訓練圖像特征抽取同樣的方式提取新圖像的底層視覺特征，然后將提取的新圖像的特征表示輸入到監督學習圖像標注模型來預測新圖像的語義標注詞。一幅圖像通常包含有多種語義，所以監督學習圖像標注模型的預測結果中有多個語義標注詞，或者說這是一個多標簽的結果。
[0003]在圖像標注問題中，從圖像抽取的底層視覺特征表示多種多樣，它們可以用來描述視覺特征的多個方面，例如顏色直方圖可以描述圖像顏色的統計信息，Gabor變換結果可以來描述灰度圖像的紋理信息，局部二元模式可以對灰度圖像中局部鄰近區域的紋理信息進行度量。不同的特征表示有著不同的表達能力，而且對于圖像語義的區分能力也不盡相同，甚至有互補的特性。因此，融合多種互補特征有助于區分圖像的高層語義。
[0004]融合多種互補特征通常在兩個階段實現:特征級融合和決策級融合。特征級融合在訓練模型的過程中將多種特征融合在一起，然后訓練出一個判別模型，例如多核學習算法同時學習多種特征的比例系數和模型參數。決策級融合則是分別使用不同的特征表示訓練多個判別模型，最后把多個判別模型的決策結果融合成一個最終的決策結果。決策級融合由于其簡單有效性常常在圖像標注問題中被采用。
[0005]傳統的決策級融合方法是先將多個判別模型的結果歸一化到同一個數值范圍，然后使用求和、求乘積、取最大或取最小等規則的方式融合成一個最終的結果。考慮到不同模型的結果會在不同的數值范圍內，因而歸一化方法對于不同模型會不同，增加了決策級融合的復雜性。再者，不同的融合規則的融合效果不盡相同，因而會產生哪些模型融合用何種融合規則效果最好的疑問。另外，由于單個判別模型都有自己的預測誤差，盲目地使用規則融合多個模型的結果也會同時引入它們各自的誤差。
【發明內容】
[0006]本發明的目的在于提供一種通過利用秩最小化的優化方法建模多個監督學習圖像標注模型的多標簽結果的融合，得到一個更準確更魯棒的標注結果的方法。
[0007]本發明為解決其技術問題采用的技術方案如下:
[0008]一種基于秩最小化的多標簽圖像標注結果的融合方法，包括以下步驟:[0009]I)抽取訓練集圖像的多種特征表示，訓練集中的每幅圖像都帶有事先給定的語義標注詞；
[0010]2)在不同的特征表示下，分別訓練各自的監督學習圖像標注模型；
[0011]3)對于一幅新的沒有語義標注詞的圖像，用同樣的方法抽取該圖像的多種特征表示，使用這些特征表示分別輸入到對應的監督學習圖像標注模型來預測新圖像的多標簽標注結果；
[0012]4)利用秩最小化優化算法將多個模型輸出的多標簽結果融合:對于不同特征表示下模型預測的結果向量，先把每一個結果向量轉換為一個反對稱的秩為2的關系矩陣，然后用這些關系矩陣建模一個秩最小化優化問題，解這個優化問題得到一個融合的關系矩陣，再由融合的關系矩陣構造融合的結果向量，最終由融合的結果向量得到融合的標注結果O
[0013]優選的，抽取訓練集圖像的多種特征表示的步驟如下:
[0014]I)圖像分塊:使用滑動窗口的策略，按照給定步長，將圖像分成相互重疊的小塊；
[0015]2)分別計算每一個小塊內圖像的特征向量(可以是RGB顏色直方圖、HSV顏色直方圖、LAB顏色直方圖、ΟΡΡΟΝΕΤ顏色直方圖、rg顏色直方圖、Gabor紋理特征、Haar紋理特征、局部二元模式紋理特征、詞包模型表示的SIFT形狀特征等多種特征)，整幅圖像的特征表示即由這些圖像塊的特征向量組成；設第i幅訓練圖像Ii的語義標注向量為Wi= (wn, wi2,...，wiT)T e {O, 1}τ,其中T是數據集的語義標注詞的總數,Wij=I表示第i幅圖像有第j個標注詞，Wij=O表示第i幅圖像沒有第j個標注詞；若將第i幅圖像分成M塊，每塊可計算一個特征向量Xik, k=l, 2，...，Μ,那么第i幅圖像的特征表示為Ai=Ixil, Xi2,...，XilI。
[0016]優選的，在不同特征表示下分別訓練各自監督學習圖像標注模型步驟如下:
[0017]I)對每一幅訓練圖像，利用高斯混合模型對圖像層條件概率密度建模，然后使用期望最大化算法計算模型參數得到該圖像的條件概率密度；
[0018]2)對每一個語義標注詞，找出訓練圖像集合中含有該標注詞的所有圖像，以這些圖像在圖像層的條件概率密度為基礎，利用高斯混合模型對語義層條件概率密度建模，然后使用層次期望最大化算法計算模型參數得到該語義標注詞的條件概率密度。
[0019]具體步驟如下:
[0020]I)第i幅圖像的某一種特征表示為
【權利要求】
1.一種基于秩最小化的多標簽圖像標注結果的融合方法，其特征在于，包括以下步驟: 1)抽取訓練集圖像的多種特征表示，訓練集中的每幅圖像都帶有事先給定的語義標注詞； 2)在不同的特征表示下，分別訓練各自的監督學習圖像標注模型； 3)對于一幅新的沒有語義標注詞的圖像，用同樣的方法抽取該圖像的多種特征表示，使用這些特征表示分別輸入到對應的監督學習圖像標注模型來預測新圖像的多標簽標注結果; 4)利用秩最小化優化算法將多個模型輸出的多標簽結果融合:對于不同特征表示下模型預測的結果向量，先把每一個結果向量轉換為一個反對稱的秩為2的關系矩陣，然后用這些關系矩陣建模一個秩最小化優化問題，解這個優化問題得到一個融合的關系矩陣，再由融合的關系矩陣 構造融合的結果向量，最終由融合的結果向量得到融合的標注結果。
2.根據權利要求1所述的一種基于秩最小化的多標簽圖像標注結果的融合方法，其特征在于，抽取訓練集圖像的多種特征表示的步驟為: O圖像分塊:使用滑動窗口的策略，按照給定步長，將圖像分成相互重疊的小塊； 2)分別計算每一個小塊內圖像的特征向量，整幅圖像的特征表示即由這些圖像塊的特征向量組成。
3.根據權利要求2所述的一種基于秩最小化的多標簽圖像標注結果的融合方法，其特征在于，所述特征向量是RGB顏色直方圖或HSV顏色直方圖或LAB顏色直方圖或OPPONET顏色直方圖或rg顏色直方圖或Gabor紋理特征或Haar紋理特征或局部二元模式紋理特征或詞包模型表示的SIFT形狀特征。
4.根據權利要求1或2或3所述的一種基于秩最小化的多標簽圖像標注結果的融合方法，其特征在于，在不同特征表示下分別訓練各自的監督學習圖像標注模型的步驟為: 1)對每一幅訓練圖像，利用高斯混合模型對圖像層條件概率密度建模，然后使用期望最大化算法計算模型參數得到該圖像的條件概率密度； 2)對每一個語義標注詞，找出訓練圖像集合中含有該標注詞的所有圖像，以這些圖像在圖像層的條件概率密度為基礎，利用高斯混合模型對語義層條件概率密度建模，然后使用層次期望最大化算法計算模型參數得到該語義標注詞的條件概率密度。
5.根據權利要求4所述的一種基于秩最小化的多標簽圖像標注結果的融合方法，其特征在于，對一幅新的沒有語義標注詞的圖像，用同樣地方法抽取該圖像的多種特征表示，使用這些特征分別輸入到對應的監督學習圖像標注模型來預測其多標簽標注結果，其步驟為: 1)使用與訓練圖像同樣的特征抽取技術計算新輸入圖像的多種特征表示； 2)使用每一種特征表示對應的監督學習圖像標注模型預測輸入圖像的語義標注詞并得到一個結果向量。
6.根據權利要求5所述的一種對多個監督學習圖像標注模型的多標簽結果的融合方法，其特征在于，利用秩最小化優化算法將不同特征表示下的多個模型輸出的多標簽結果融合的步驟為: I)將各個結果向量分別轉換為反對稱的秩為2的關系矩陣的表示形式，這些關系矩陣都分別等于融合的關系矩陣加上一個對應誤差矩陣； 2)在I)的約束下，通過最小化融合的關系矩陣的奇異值之和使得融合的關系矩陣的秩逐漸減小到2，通過最小化所有誤差矩陣之和使得融合的關系矩陣能充分正確地結合各個模型的預測結果； 3)使用非精確的增廣拉格朗日乘子法迭代解出融合的關系矩陣的最優解，迭代過程中使用奇異值截取的方式使得融合的關系矩陣的秩逐漸收斂到2 ； 4)使用融合的關系矩陣反向計算出的融合的結果向量，根據融合的結果向量最終確定輸入圖像的語義標 注詞。
【文檔編號】G06T7/00GK103440651SQ201310375976
【公開日】2013年12月11日 申請日期:2013年8月26日 優先權日:2013年8月26日
【發明者】郭平, 姚垚, 辛欣 申請人:北京理工大學