<listing id="vjp15"></listing><menuitem id="vjp15"></menuitem><var id="vjp15"></var><cite id="vjp15"></cite>
<var id="vjp15"></var><cite id="vjp15"><video id="vjp15"><menuitem id="vjp15"></menuitem></video></cite>
<cite id="vjp15"></cite>
<var id="vjp15"><strike id="vjp15"><listing id="vjp15"></listing></strike></var>
<var id="vjp15"><strike id="vjp15"><listing id="vjp15"></listing></strike></var>
<menuitem id="vjp15"><strike id="vjp15"></strike></menuitem>
<cite id="vjp15"></cite>
<var id="vjp15"><strike id="vjp15"></strike></var>
<var id="vjp15"></var>
<var id="vjp15"></var>
<var id="vjp15"><video id="vjp15"><thead id="vjp15"></thead></video></var>
<menuitem id="vjp15"></menuitem><cite id="vjp15"><video id="vjp15"></video></cite>
<var id="vjp15"></var><cite id="vjp15"><video id="vjp15"><thead id="vjp15"></thead></video></cite>
<var id="vjp15"></var>
<var id="vjp15"></var>
<menuitem id="vjp15"><span id="vjp15"><thead id="vjp15"></thead></span></menuitem>
<cite id="vjp15"><video id="vjp15"></video></cite>
<menuitem id="vjp15"></menuitem>

一種基于剪枝CNN的視覺圖像分類方法及系統與流程

文檔序號:40823617發布日期:2025-02-06 16:59閱讀:50來源:國知局

本發明涉及一種基于剪枝cnn的視覺圖像分類方法及系統,屬于計算機視覺。


背景技術:

1、近年來,卷積神經網絡(cnn)在計算機視覺領域得到了廣泛應用,特別是在圖像分類、目標檢測、語義分割等任務中表現出了卓越的性能。cnn通過局部感知機制和權重共享的方式有效減少了參數量,同時捕捉圖像中的局部特征,這使得cnn在大規模數據集上的訓練變得可行。

2、卷積層是cnn的核心,它通過卷積核對輸入圖像進行特征提取,并且隨著網絡的深度增加,cnn能夠提取出越來越高級的特征。然而,隨著網絡深度和寬度的增加,cnn模型的計算復雜度和參數量也顯著增長,導致在計算量和存儲需求上的開銷越來越大。尤其在移動設備和嵌入式系統等資源有限的設備上,傳統的大型cnn模型難以部署,且在實際應用中常面臨如下挑戰:

3、高計算復雜度:深度卷積神經網絡通常需要大量的浮點運算,這對實時推理速度提出了嚴苛的要求,尤其在移動端和嵌入式設備中,由于硬件資源有限,無法承受高計算量的負擔。

4、模型參數量大:cnn模型的深度和寬度不斷增加,導致其參數量也不斷增長。這不僅增加了模型存儲的壓力,還會導致模型過擬合,難以在小樣本數據集上進行有效訓練。

5、能耗高:對于大規模cnn模型,推理過程需要大量的計算資源,這直接導致了高能耗問題。在一些資源敏感的場景(如無人機、物聯網設備等),高能耗成為了部署模型的關鍵瓶頸。


技術實現思路

1、為了解決上述現有技術中存在的問題,本發明提出了一種基于剪枝cnn的視覺圖像分類方法及系統。

2、本發明的技術方案如下:

3、一方面,本發明提供了一種基于剪枝cnn的視覺圖像分類方法,包括以下步驟:

4、構建目標分類圖像數據集,并對目標分類圖像數據集進行預處理;

5、構建基于cnn的視覺圖像分類模型,并通過預處理后的目標分類圖像數據集對視覺圖像分類模型進行訓練,得到初始視覺圖像分類模型;

6、對初始視覺圖像分類模型的所有卷積核進行敏感性評估,并得到所有卷積核的敏感性評估結果;

7、根據敏感性評估結果對卷積核進行剪枝,得到剪枝視覺圖像分類模型,再對剪枝視覺圖像分類模型進行重新訓練后進行評估,若評估通過,則得到最終剪枝視覺圖像分類模型,否則,重新進行剪枝;

8、通過最終視覺圖像分類模型進行圖像分類任務。

9、作為本發明的優選實施方式,所述敏感性評估具體步驟為:

10、對于任一卷積層中的每個卷積核,分別進行權重重要性評估以及梯度重要性評估,并通過加權結合計算得到當前卷積核的敏感性,具體如下式所示:

11、ik=α·ik,weight+(1-α)·ik,grad

12、其中:ik表示當前卷積層中第k個卷積核的敏感性;α為超參數;ik,weight表示當前卷積層中第k個卷積核的權重重要性評估結果;ik,grad表示當前卷積層中第k個卷積核的梯度重要性評估結果。

13、作為本發明的優選實施方式,所述權重重要性評估具體步驟為:

14、根據初始視覺圖像分類模型的卷積層數量選擇l1范數或l2范數對卷積層的卷積核進行權重重要性評估:

15、當卷積核數量大于預設閾值時,通過l1范數進行卷積核權重重要性評估,則對于任一卷積層的任一卷積核有:

16、

17、其中:||wk||1表示當前卷積層第k個卷積核的權重重要性評估結果;i表示卷積核的高度索引;j表示卷積核的寬度索引;l表示卷積核的輸入通道索引;wk,i,j,l表示當前卷積層第k個卷積核在輸入通道l,位置(i,j)的權重值。

18、作為本發明的優選實施方式,當卷積核數量小于預設閾值時,通過l2范數進行卷積核權重重要性評估,則對于任一卷積層的任一卷積核有:

19、

20、其中:||wk||2表示當前卷積層第k個卷積核的權重重要性評估結果。

21、作為本發明的優選實施方式,所述梯度重要性評估計算公式如下式所示:

22、

23、其中:l表示初始視覺圖像分類模型的損失函數。

24、作為本發明的優選實施方式,所述剪枝的具體步驟為:預設剪枝率p,剪除每層卷積層中權重值最小的p%卷積核。

25、作為本發明的優選實施方式,所述剪枝視覺圖像分類模型的評估步驟為:

26、計算剪枝視覺圖像分類模型的推理時間flop,具體如下式所示:

27、

28、其中:pv表示第v層卷積層的剪枝率;flopv表示第v層卷積層的浮點運算次數;

29、計算剪枝視覺圖像分類模型的模型大小size,具體如下式所示:

30、

31、其中:sizev表示第v層卷積層的參數量;

32、通過剪枝視覺圖像分類模型的推理時間以及模型大小是否達到預設閾值判斷剪枝視覺圖像分類模型是否通過評估。

33、另一方面,本發明還提供了一種基于剪枝cnn的視覺圖像分類系統,包括以下數據采集模塊、初始分類模型構建模塊、分類模型評估模塊、分類模型剪枝模塊以及圖像分類模塊:

34、所述數據采集模塊用于構建目標分類圖像數據集,并對目標分類圖像數據集進行預處理;

35、所述初始分類模型構建模塊用于構建基于cnn的視覺圖像分類模型,并通過預處理后的目標分類圖像數據集對視覺圖像分類模型進行訓練,得到初始視覺圖像分類模型;

36、所述分類模型評估模塊用于對初始視覺圖像分類模型的所有卷積核進行敏感性評估,并得到所有卷積核的敏感性評估結果;

37、所述分類模型剪枝模塊用于根據敏感性評估結果對卷積核進行剪枝,得到剪枝視覺圖像分類模型,再對剪枝視覺圖像分類模型進行重新訓練后進行評估,若評估通過,則得到最終剪枝視覺圖像分類模型,否則,重新進行剪枝;

38、所述圖像分類模塊用于通過最終視覺圖像分類模型進行圖像分類任務。

39、再一方面,本發明還提供一種電子設備,包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序,所述處理器執行所述程序時實現如本發明任一實施例所述的方法。

40、再一方面,本發明還提供一種計算機可讀存儲介質,其上存儲有計算機程序,該程序被處理器執行時實現如本發明任一實施例所述的方法。

41、本發明具有如下有益效果:

42、1、本發明通過剪枝不重要的權重和卷積核,顯著降低模型的計算復雜度,這使得模型在推理時更加高效,能夠在實時應用中更好地滿足性能需求,尤其適用于資源受限的環境。

43、2、本發明在剪枝過程有效減少了模型的參數量,降低了模型的存儲需求;這使得模型在存儲有限的設備上能夠部署,并減少了傳輸和加載時間,提高了模型的實用性。



技術特征:

1.一種基于剪枝cnn的視覺圖像分類方法,其特征在于,包括以下步驟:

2.根據權利要求1所述的一種基于剪枝cnn的視覺圖像分類方法,其特征在于,所述敏感性評估具體步驟為:

3.根據權利要求2所述的一種基于剪枝cnn的視覺圖像分類方法,其特征在于,所述權重重要性評估具體步驟為:

4.根據權利要求3所述的一種基于剪枝cnn的視覺圖像分類方法,其特征在于,當卷積核數量小于預設閾值時,通過l2范數進行卷積核權重重要性評估,則對于任一卷積層的任一卷積核有:

5.根據權利要求3所述的一種基于剪枝cnn的視覺圖像分類方法,其特征在于,所述梯度重要性評估計算公式如下式所示:

6.根據權利要求3所述的一種基于剪枝cnn的視覺圖像分類方法,其特征在于,所述剪枝的具體步驟為:預設剪枝率p,剪除每層卷積層中權重值最小的p%卷積核。

7.根據權利要求6所述的一種基于剪枝cnn的視覺圖像分類方法,其特征在于,所述剪枝視覺圖像分類模型的評估步驟為:

8.一種基于剪枝cnn的視覺圖像分類系統,其特征在于,包括以下數據采集模塊、初始分類模型構建模塊、分類模型評估模塊、分類模型剪枝模塊以及圖像分類模塊:

9.一種電子設備,包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序,其特征在于,所述處理器執行所述程序時實現如權利要求1至7任一項所述的方法。

10.一種計算機可讀存儲介質,其上存儲有計算機程序,其特征在于,該程序被處理器執行時實現如權利要求1至7任一項所述的方法。


技術總結
本發明涉及一種基于剪枝CNN的視覺圖像分類方法及系統,包括以下步驟:構建目標分類圖像數據集,并對目標分類圖像數據集進行預處理;構建基于CNN的視覺圖像分類模型,并通過預處理后的目標分類圖像數據集對視覺圖像分類模型進行訓練,得到初始視覺圖像分類模型;對初始視覺圖像分類模型的所有卷積核進行敏感性評估,并得到所有卷積核的敏感性評估結果;根據敏感性評估結果對卷積核進行剪枝,得到剪枝視覺圖像分類模型,再對剪枝視覺圖像分類模型進行重新訓練后進行評估,若評估通過,則得到最終剪枝視覺圖像分類模型,否則,重新進行剪枝;通過最終視覺圖像分類模型進行圖像分類任務。

技術研發人員:周平,白珊,敬昕,李習靖,劉飛龍,雷炎,田航
受保護的技術使用者:四川中電啟明星信息技術有限公司
技術研發日:
技術公布日:2025/2/5
網友詢問留言 已有0條留言
  • 還沒有人留言評論。精彩留言會獲得點贊!
1
韩国伦理电影