一種輸電線路紅外圖像實例分割方法、裝置、電子設備及存儲介質與流程

本發明涉及圖像處理和計算機視覺，具體涉及一種輸電線路紅外圖像實例分割方法、裝置、電子設備及存儲介質。

背景技術：

1、在現代電力系統中，輸電線路的巡檢至關重要，確保其安全、穩定運行是保障電力供應的基礎。隨著無人機技術的發展，搭載可見光和紅外傳感器的無人機在巡檢中得到了廣泛應用。利用紅外圖像進行實例分割，不僅能夠有效識別絕緣子、線夾等電氣目標，還可以精確分割出它們的輪廓，從而實現對過熱現象的早期識別和缺陷檢測。這種方法能夠在夜間、雨霧等極端環境下穩定作業，提升了巡檢的效率和安全性。

2、當前實例分割技術在應用于紅外圖像時面臨顯著挑戰，主要源于數據規模和特征差異的問題。首先，紅外圖像的數據規模相對較小，獲取的標簽信息有限，這使得模型難以充分學習和泛化。為了彌補這一不足，現有技術希望通過豐富的可見光圖像數據來輔助紅外圖像數據的擬合訓練。然而，由于紅外圖像與可見光圖像之間存在劇烈的特征差異，這種跨域適應的難度顯著增加。這種特征鴻溝導致在源域(可見光圖像)上訓練的模型在目標域(紅外圖像)上遷移時，性能往往出現退化。

技術實現思路

1、本發明實施例提供一種輸電線路紅外圖像實例分割方法、裝置、電子設備及存儲介質。通過實施本發明能夠實現可見光圖像向紅外圖像進行遷移學習時，因域間差異過大導致用可見光圖像數據來輔助紅外圖像數據進行擬合訓練效果不佳的問題，用于輸電線路紅外圖像實例分割，從而提高紅外圖像的實例分割精度。

2、本發明一實施例提供了一種輸電線路紅外圖像實例分割方法，包括：

3、獲取帶有標簽信息的可見光圖像、帶有標簽信息的第一紅外圖像、未帶有標簽信息的第二紅外圖像、第一教師-學生模型以及第二教師-學生模型；其中，教師-學生模型包含具有相同網絡架構的教師模型和學生模型；所述標簽信息用于表征圖像中各實例的邊界；

4、根據可見光圖像以及對應的標簽信息，對第一教師模型進行有監督訓練，生成第一已訓練教師模型；根據第一紅外圖像以及對應的標簽信息，對第二教師模型進行有監督訓練，生成第二已訓練教師模型；

5、根據第二紅外圖像和第二紅外圖像的第一偽標簽信息，對第一學生模型進行訓練，生成第一已訓練學生模型；根據第二紅外圖像和第二紅外圖像的第二偽標簽信息，對第二學生模型進行訓練，生成第二已訓練學生模型；其中，所述第一偽標簽信息通過將第二紅外圖像輸入第一已訓練教師模型獲得；所述第二偽標簽信息通過將第二紅外圖像輸入第二已訓練教師模型獲得；

6、根據第二紅外圖像以及第二紅外圖像的第三偽標簽信息，對第一已訓練學生模型和第二已訓練學生模型進行微調訓練，并對相應的已訓練教師模型進行網絡參數的更新，生成第一收斂教師模型和第二收斂教師模型；其中，所述第三偽標簽信息通過將第二紅外圖像分別輸入第一已訓練教師模型和第二已訓練教師模型后，將第一已訓練教師模型的第一結果與第二已訓練教師模型的第二結果進行加權融合后得到；

7、通過的第二收斂教師模型對輸電線路紅外圖像進行實例分割。

8、進一步的，在根據可見光圖像以及對應的標簽信息，對第一教師模型進行有監督訓練，生成第一已訓練教師模型之前，還包括：

9、對所述可見光圖像進行弱數據增廣操作，生成更新后的可見光圖像；

10、對所述第一紅外圖像進行弱數據增廣操作，生成更新后的第一紅外圖像；

11、其中，所述弱數據增廣操作，包括：

12、對當前的圖像按照預設的概率進行隨機尺寸的裁剪和隨機角度的旋轉，根據處理后的圖像對當前的圖像進行更新。

13、進一步的，在根據第二紅外圖像和第二紅外圖像的第一偽標簽信息，對第一學生模型進行訓練，生成第一已訓練學生模型之前，還包括：

14、對所述第二紅外圖像進行強數據增廣操作，生成更新后的第二紅外圖像；

15、其中，所述強數據增廣操作，包括：

16、隨機調整當前的圖像的灰度并疊加高斯分布噪聲，根據處理后的圖像對當前的圖像進行更新。

17、進一步的，所述根據可見光圖像以及對應的標簽信息，對第一教師模型進行有監督訓練，生成第一已訓練教師模型，包括：

18、重復執行循環過程，直至達到預設的執行次數，所述循環過程包括：

19、按照預設的數量將所述可見光圖像隨機劃分為若干批次第一訓練樣本；

20、將所述若干批次第一訓練樣本依次輸入至當前第一教師模型，以使每輸入一個批次第一訓練樣本時，對當前第一教師模型執行有監督訓練操作；

21、在達到預設的執行次數的情況下，將當前第一教師模型設定為第一已訓練教師模型；

22、其中，所述有監督訓練操作，包括：

23、根據輸入的第一訓練樣本，通過當前第一教師模型，輸出第一訓練樣本對應的第一實例掩碼；

24、根據所述第一實例掩碼以及對應的標簽信息，通過交叉熵損失計算第一損失函數值；

25、利用優化器根據所述第一損失函數值優化第一教師模型，并將優化后的模型更新為當前第一教師模型。

26、進一步的，所述根據第二紅外圖像和第二紅外圖像的第一偽標簽信息，對第一學生模型進行訓練，生成第一已訓練學生模型，包括：

27、重復執行循環過程，直至達到預設的執行次數，所述循環過程包括：

28、按照預設的數量將所述第二紅外圖像隨機劃分為若干批次第二訓練樣本；

29、將所述若干批次第二訓練樣本依次輸入至當前第一學生模型，以使每輸入一個批次第二訓練樣本時，對當前第一學生模型執行訓練操作；

30、在達到預設的執行次數的情況下，將當前第一學生模型設定為第一已訓練學生模型；

31、其中，所述訓練操作，包括：

32、根據輸入的第二訓練樣本，通過當前第一學生模型，輸出第二訓練樣本對應的第二實例掩碼；

33、根據所述第二實例掩碼以及對應的第一偽標簽信息，通過交叉熵損失計算第二損失函數值；

34、利用優化器根據所述第二損失函數值優化第一學生模型，并將優化后的模型更新為當前第一學生模型；

35、根據當前第一學生模型的網絡參數，通過以下公式更新所述第一已訓練教師模型的網絡參數：

36、θt1←αθt1+(1-α)θs1

37、其中，θt1為第一已訓練教師模型的網絡參數；α為預設的平滑系數；θs1為第一學生模型的網絡參數。

38、進一步的，通過以下方式將第一已訓練教師模型的第一結果與第二已訓練教師模型的第二結果進行加權融合：

39、w＝sigmoid(conv(pt1,pt2))

40、pfuse＝wpt1+(1-w)pt2

41、其中，為預w測權重；sigmoid為激活函數；conv為全卷積層；pt1為所述第一結果；pt2為所述第二結果；pfuse為所述第三偽標簽信息。

42、在上述方法項實施例的基礎上，本發明對應提供了裝置項實施例。

43、本發明一實施例提供了一種輸電線路紅外圖像實例分割裝置，包括：訓練圖像獲取模塊、教師模型訓練模塊、學生模型訓練模型、學生模型微調模塊和實例分割模塊。

44、所述教師模型訓練模塊，用于根據可見光圖像以及對應的標簽信息，對第一教師模型進行有監督訓練，生成第一已訓練教師模型；根據第一紅外圖像以及對應的標簽信息，對第二教師模型進行有監督訓練，生成第二已訓練教師模型；

45、所述學生模型訓練模型，用于根據第二紅外圖像和第二紅外圖像的第一偽標簽信息，對第一學生模型進行訓練，生成第一已訓練學生模型；根據第二紅外圖像和第二紅外圖像的第二偽標簽信息，對第二學生模型進行訓練，生成第二已訓練學生模型；其中，所述第一偽標簽信息通過將第二紅外圖像輸入第一已訓練教師模型獲得；所述第二偽標簽信息通過將第二紅外圖像輸入第二已訓練教師模型獲得；

46、所述學生模型微調模塊，用于根據第二紅外圖像以及第二紅外圖像的第三偽標簽信息，對第一已訓練學生模型和第二已訓練學生模型進行微調訓練，并對相應的已訓練教師模型進行網絡參數的更新，生成第一收斂教師模型和第二收斂教師模型；其中，所述第三偽標簽信息通過將第二紅外圖像分別輸入第一已訓練教師模型和第二已訓練教師模型后，將第一已訓練教師模型的第一結果與第二已訓練教師模型的第二結果進行加權融合后得到；

47、所述實例分割模塊，用于通過的第二收斂教師模型對輸電線路紅外圖像進行實例分割。

48、在上述方法項實施例的基礎上，本發明對應提供了電子設備項實施例。

49、本發明一實施例提供了一種電子設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，所述處理器執行所述計算機程序時可實現上述方法項實施例中任一項所述輸電線路紅外圖像實例分割方法。

50、在上述方法項實施例的基礎上，本發明對應提供了存儲介質項實施例。

51、本發明一實施例提供了一種存儲介質，其上存儲有計算機程序，該計算機程序被處理器執行時可實現上述方法項實施例中任一項所述輸電線路紅外圖像實例分割方法。

52、與現有技術對比，本發明具有如下有益效果：

53、本發明實施例提供一種輸電線路紅外圖像實例分割方法、裝置、電子設備及存儲介質。所述方法分別根據可見光圖像和第一紅外圖像，對各自的教師模型進行有監督訓練，進而生成第一已訓練教師模型和第二已訓練教師模型；繼而根據第二紅外圖像、第二紅外圖像的第一偽標簽信息以及第二紅外圖像的第二偽標簽信息，對第一學生模型和第二學生模型進行訓練，生成第一已訓練學生模型和第二已訓練學生模型。此外，根據第二紅外圖像以及第二紅外圖像的第三偽標簽信息，對第一已訓練學生模型和第二已訓練學生模型進行微調訓練，并對相應的已訓練教師模型進行網絡參數的更新，生成第二收斂教師模型。最終，將第二收斂教師模型用于輸電線路紅外圖像實例分割。

54、本發明通過利用大量有標簽的可見光圖像和大量無標簽的第二紅外圖像訓練第一教師-學生模型，以使模型能夠學習域間不變的知識特征，從而實現不同域之間知識特征的有效對齊。同時，采用少量有標簽的第一紅外圖像和大量無標簽的第二紅外圖像訓練第二教師-學生模型，使其學習域內的知識特征，從而增強同域知識特征的感知，降低判斷誤差。通過對第二紅外圖像的兩個偽標簽信息進行加權融合，并依據融合后的偽標簽對學生模型進行微調，有效減少了偽標簽的不確定性，縮小了域間差異，提升了模型的泛化能力，從而提高了模型在紅外圖像上的實例分割精度。