本發明涉及高光譜成像技術和多模態融合領域，尤其涉及一種基于多特征融合的pet廢塑料智能分選方法及系統。
背景技術：
1、隨著全球塑料消費量的不斷增長，塑料廢棄物的回收和處理成為了環境保護的重要議題。在城市生活垃圾中，pet(聚對苯二甲酸乙二醇酯)廢塑因其廣泛的應用和回收價值而備受關注。然而，現有的pet廢塑回收技術主要依賴于人工分選、簡單的機械篩選或基于單一特征的傳感器分選，這些方法存在如人工分選效率低、機械篩選準確性不足、傳感器分選成本高等問題。
2、技術發展趨勢表明，隨著人工智能和機器學習技術的發展，pet廢塑智能檢測及分選裝備開發領域正逐步向自動化和智能化轉型。然而，現有技術尚未能提供一個高效、準確且成本效益高的解決方案，特別是在復雜環境下對pet廢塑進行精確識別和分選。本發明正是基于現有技術的不足和市場需求，提出了一種基于多特征融合的pet廢塑識別方法，以提高pet廢塑的識別分選效率和準確性，實現高值化循環再生，滿足日益增長的環保和資源回收需求。
技術實現思路
1、本發明的目的在于解決現有技術中的問題。
2、本發明解決其技術問題所采用的技術方案是：提供一種基于多特征融合的pet廢塑料智能分選方法，包括以下步驟：
3、采集pet廢塑料的rgb數據和hsi數據，基于遺傳算法對hsi數據進行降維處理以生成msi數據，生成像素對齊的rgb-msi多特征數據集；
4、基于yolact模型構建pet廢塑料智能分選模型并采用rgb-msi多特征數據集進行訓練；所述pet廢塑料智能分選模型包括rgb分支、msi分支和融合預測模塊，rgb用于處理rgb數據，msi分支用于處理msi數據，融合預測模塊用于結合rgb分支的處理結果和msi分支的處理結果作出綜合預測；
5、利用訓練好的pet廢塑料智能分選模型實現pet廢塑料智能分選。
6、優選的，所述基于遺傳算法對hsi數據進行降維處理以生成獲得msi數據，包括以下步驟：
7、s11，在hsi數據集中分類別隨機挑選多個獨立樣本，并從每個樣本的高光譜圖像中提取n個數據點，獲得c個類別的高光譜數據集，組成c*n*m的初選高光譜數據集，n表示每個類別的樣本數，m表示每個類別的波段數；
8、s12，對初選高光譜數據集的每個波段進行二進制編碼以形成初始種群，初始種群中的每個個體為備選波段子集；以分類模型的f1值為評價指標，通過輪盤賭的方法選擇高適應度的個體，通過交叉變異最終選出最佳的個體，該個體所代表的k個波段則為最佳波段特征；
9、s13，根據最佳波段特征對每一個hsi數據選取其對應的k個特征波段，生成msi數據。
10、優選的，所述s11中的hsi數據集，其中的hsi數據在935.9nm～1722.5nm波長范圍內有224個波段，光譜分辨率為3.5nm；
11、高光譜相機在采集hsi數據時，在與采集標準漫反射表面圖像數據與暗電流圖像相同的參數設置及外部條件下進行，并將原始輻射值數據進行黑白幀校正轉換為反射率數據reflectanceλ:
12、
13、式中，sλ為波長λ處的樣品輻射值，dλ為波長λ處的暗電流輻射值，rλ為波長λ處的標準白板表面漫反射輻射值，校正后的反射率應在0％～100％之間。
14、優選的，所述s12選出最佳波段特征的過程包括以下步驟：
15、s121，使用二進制編碼對初選高光譜數據集的每個波段進行表達，編碼時使用一個長度為r的二進制數代表所有的光譜波段，其中選中的波段用“1”表示，未被選中的波段用“0”表示，即初代種群；記初代種群大小為m，隨機生成m條長為r的二進制編碼作為初代種群；其中，每一條二進制編碼中“1”的個數與目標波段子集k的大小相同；
16、s122，計算種群中的個體的適應度，表示為：
17、
18、其中fitnessi代表個體i對應的適應度，pi和ri分別代表個體i對應的分類精確度和召回率；
19、s123，采用“輪盤賭”的策略在初代種群中選擇一個個體，每個個體被選中的概率表示為：
20、
21、其中，fitnessi代表個體i對應的適應度，適應度高的個體被選擇的概率更高；
22、s124，在滿足m<k的前提下，在父本基因和母本基因中分別隨機選取m個顯性節點，將所選節點逐一進行交換后產生新一代的個體形成新的種群；
23、s125，重復s121至s124步驟直到遺傳算法滿足終止條件，將得到的高適應度個體進行解碼，得到k個最佳波段特征。
24、優選的，為避免遺傳搜索陷入局部最優解，還采用將部分基因片段進行翻轉的突變方法；所述基因片段指種群的個體中二進制編碼為“1”的波段。
25、優選的，所述s13中，基于選取出的k個最佳波段特征對高光譜圖像的通道方向進行剪切拼接，輸出格式為tif文件的msi數據集，該msi數據集與rgb數據集是一一對應的關系。
26、優選的，所述基于yolact模型構建pet廢塑料智能分選模型，將現有yolact目標檢測模型的單輸入單主干網絡改進成雙輸入雙主干網絡，從而構建一個flf-yolact特征級融合網絡作為pet廢塑料智能分選模型；所述flf-yolact特征級融合網絡包括：
27、rgb分支，采用獨立的resnet殘差網絡進行特征提取，獲得rgb特征后輸入特征金字塔，最終獲得若干rgb特征圖；
28、msi分支，采用獨立的resnet殘差網絡進行特征提取，獲得msi特征后輸入特征金字塔，最終獲得若干msi特征圖；
29、融合預測模塊，通過concat的融合方法對rgb特征圖和msi特征圖進行拼接，再采用檢測頭基于拼接后的融合特征進行分類預測；所述融合特征表示為：
30、
31、其中，xi、yi分別代表不同輸入源中第i層的數據，ki代表結果在輸出數據中的維度位置。
32、優選的，所述基于yolact模型構建pet廢塑料智能分選模型，將現有yolact目標檢測模型作為rgb分支，以實例分割的形式實現對輸入rgb數據的預測，再基于高光譜點分類算法重新構建一個msi分支以實現對輸入msi數據的像素級預測，從而構建一個df-yolact決策級融合網絡作為pet廢塑料智能分選模型；所述df-yolact決策級融合網絡包括：
33、rgb分支，采用resnet主干網絡進行rgb特征提取，再使用fpn特征金字塔進行信息交互，最終生成不同尺度的rgb特征圖，基于rgb特征圖進行初步預測，獲得rgb分支的預測結果，包含類別、位置、掩膜及置信度；
34、msi分支，由提取器和分類器構成；提取器基于目標實例的掩膜信息逐一提取每個目標實例對應的光譜數據，并將其轉化為點集的形式，其中每個點均代表了其在原始圖像中對應的光譜信息；分類器對獲得的點集逐一進行識別分類，每個點集均獲得一個對應的類別結果集；
35、融合預測模塊，對于msi分支輸出的類別結果集，統計每一個類別結果集中各類別數量，將出現次數最多的類別視作該類別結果集所對應的目標實例的類別，該類別出現的次數占比作為置信度；通過該類別及置信度對rgb分支產生的預測結果進行結果整合，獲得最終的預測結果。
36、優選的，所述利用訓練好的pet廢塑料智能分選模型實現pet廢塑料智能分選，包括以下步驟：
37、根據實際工況選擇訓練好的pet廢塑料智能分選模型，部署到工控機中；
38、現場rgb相機和高光譜相機共同拍攝傳送帶上的pet廢塑獲得兩組像素對齊的圖片，并同時輸入到工控機；高光譜相機采集的波段為基于遺傳算法得到的k個最佳波段；
39、工控機利用部署的模型進行分類預測，獲得pet廢塑料的坐標和類別；
40、所述根據實際工況選擇訓練好的pet廢塑料智能分選模型，具體為：要求分選效率高的，選擇flf-yolact特征級融合網絡；要求分選精度高的，選擇df-yolact決策級融合網絡。
41、本發明還提供一種基于多特征融合的pet廢塑料智能分選系統，包括：
42、數據處理模塊，采集pet廢塑料的rgb數據和hsi數據，基于遺傳算法對hsi數據進行降維處理以生成msi數據，生成像素對齊的rgb-msi多特征數據集；
43、模型構建模塊，基于yolact模型構建pet廢塑料智能分選模型并采用rgb-msi多特征數據集進行訓練；所述pet廢塑料智能分選模型包括rgb分支、msi分支和融合預測模塊，rgb用于處理rgb數據，msi分支用于處理msi數據，融合預測模塊用于結合rgb分支的處理結果和msi分支的處理結果作出綜合預測；
44、廢塑分選模塊，利用訓練好的pet廢塑料智能分選模型實現pet廢塑料智能分選。
45、本發明具有如下有益效果：
46、(1)本發明采用基于遺傳算法的特征波段選擇方法用于pet廢塑hsi的波段選擇，以模型分類的f1-score為評價指標，可以自動優選出理想的特征波段，實現更少數據量的同時達到和全波段相似甚至更優的pet廢塑分類效果，有效解決了維度災難問題，提高了數據處理效率；
47、(2)本發明結合了rgb圖像和高光譜圖像(hsi)的數據，充分發揮了rgb在圖像顏色、紋理和空間的信息，結合光譜準確的材質信息，實現了對pet廢塑料的高精度識別，提高了識別的準確性；
48、(3)本發明采用特征級融合和決策級融合兩種不同的融合模型，可針對具體工況選擇更為合適的模型，提高了模型的魯棒性；
49、(4)本發明提到的兩個模型均為實例分割模型，且為單階段檢測模型，對比雙階段實例分割模型，能在更短的時間內達到更好的識別精度，相較于目標檢測模型，能提供更精細的分割邊界，有利于后面的機械分選，提高pet廢塑的召回率。
50、以下結合附圖及實施例對本發明作進一步詳細說明，但本發明不局限于實施例。