基于紅外圖像的掘進機異常工作及災害報警系統的制作方法
本發明涉及一種基于紅外圖像的掘進機異常工作及災害報警系統，該系統涉及圖像跟蹤和通信等領域。
背景技術：
煤炭是我國重要的基礎能源和原料，以煤為主的能源結構在相當長時間內不會改變，隨著國民經濟的發展，煤炭的需求量越來越大，伴隨的煤礦安全事故也在不斷增多。煤炭資源安全高效開發利用技術成為了國內外學者研究的熱點領域。最有效的解決方案之一是實現煤礦生產裝備機械化及自動化，從而實現井下無人或少人開采。
隨著煤礦安全重要性的提高和煤炭開采技術的發展，井下采煤工作面實現少人或者無人開采是必然趨勢，實現井下少人或者無人開采的必要條件是井下采煤裝備機械化、自動化和對其的實時監控。掘進機是綜采工作面最重要的設備之一，其正常運行是整個綜采工作面完成采掘作業的基礎，故對掘進機工作狀態的監測是煤礦井下綜采工作面的一項重要任務。
目前掘進機監控功能多由傳感器實現完成。現有傳感器模式絕大部分采用有線連接，在實際應用中由于空間有限、工況惡劣，在工程布置及維護中會投入較多精力，且往往會因為機械運動產生連接線路的損壞，影響傳感器的精度。在機器開始工作中，會產生大量的電磁干擾，影響通信信號的傳播。同時，在實際掘進情況下，伴隨著大量的煤塊墜落，安裝在掘進機上的傳感器不可避免的會受到碰撞，雖然有相應的防護措施，但長時間的碰撞仍然會影響傳感器的精度。為避免碰撞、機械振動帶來的影響，需要新的煤礦井下掘進機異常工作監測報警系統，可第一時間準確地對掘進機異常工作進行報警，為井下掘進機安全作業提供一份保障。因此本發明提出一種基于紅外圖像跟蹤監測設備的掘進機異常工作及災害報警系統，根據掘進機的不同異常工作狀態，該系統可發出不同報警信號，包括：偏離工作軌道報警信號；切割受阻報警信號。通過監測掘進機各部分的溫度，判斷掘進機發熱情況，根據判斷結果，該系統可發出不同報警信號，包括：本體部溫度過高報警信號；切割頭溫度過高報警信號。根據掘進機跟蹤丟失后監測畫面灰度值處理結果，該系統可發出不同報警信號，包括：突發水災報警信號；瓦斯泄露報警信號。
技術實現要素：
本發明提出一種基于紅外圖像的掘進機異常工作及災害報警系統，所述系統主要包括：紅外攝像機、視頻服務器、掘進機控制器、分站、礦用以太網、存儲服務器、掘進機監測服務器、監控終端；其中紅外攝像機、視頻服務器、分站和掘進機控制器在井下安裝，存儲服務器、掘進機監測服務器和監控終端安裝于井上；紅外攝像機分別安裝于煤礦井下掘進巷道頂部中間和掘進機上，紅外攝像機采集掘進工作面現場視頻模擬圖像；掘進機監測服務器將接收到的安裝于巷道頂部中間的多部攝像機采集的紅外圖像拼接為一幅紅外圖像，跟蹤監測掘進機工作狀態；掘進機監測服務器接收安裝于掘進機上的紅外攝像機采集的視頻，跟蹤監測切割頭的工作狀態；該系統根據掘進機跟蹤監測結果進行判斷，若判斷掘進機異常工作或有突發災害，則發出報警信號；該系統監測掘進機各部分溫度，根據監測結果進行掘進機故障判斷，若判斷掘進機故障，則發出報警信號；該系統根據掘進機跟蹤丟失后監測畫面灰度值處理結果進行突發災害判斷，若判斷有突發災害，則發出報警信號；報警信號通過礦用以太網傳輸至井上監控終端；監控終端負責顯示報警信息，通過訪問視頻服務器獲得現場視頻，通過訪問存儲服務器獲得歷史現場視頻。具體方法包括：
1.在煤礦井下掘進巷道頂部中間均勻安裝多部攝像機，在掘進機上安裝攝像機；攝像機的攝像頭安裝有紅外濾片，用于采集所述掘進機工作的紅外畫面；在攝像機旁安裝紅外補光燈，光投射方向與攝像機視頻采集方向一致。
2.掘進機控制器采集掘進機設置數據和水系統噴霧數據，分站接收掘進機控制器上傳的數據，通過礦用以太網上傳至掘進機服務器、存儲服務器和監控終端。
3.掘進機監測服務器位于井上，將接收到的數字視頻數據和掘進機設置數據輸出到核心處理器，處理器將采集的紅外圖像拼接為一幅紅外圖像，并存儲在存儲模塊中。
4.分別對攝像機監控范圍內的掘進機一運部位置A進行設定，設為IA；對攝像機監控范圍內的掘進機本體部B進行設定，設為IB；對攝像機監控范圍內的掘進機切割頭O進行設定，設為IO；k幀時，分別在IA、IB、IO周圍采集兩個樣本集Dα＝{z|||IN-Iz||<α}和Dδ,β＝{z|δ<||IN-Iz||<β}，其中，α<δ<β，Iz表示樣本位置，IN表示在IA、IB、IO周圍采集的樣本位置；令Dα為正樣本(滾筒圖像)，Dδ，β為負樣本(背景圖像)，根據下列公式計算隨機測量矩陣：rij表示隨機測量矩陣的元素、s取2或者3，均表示概率；然后對樣本圖像進行多尺度變換，計算類Harr特征，通過上述測量矩陣對多尺度圖像特征進行降維，計算降維后的正負樣本特征的期望和標準差，并用其來訓練樸素貝葉斯分類器；k+1幀的時候，分別對圖像設定區域A、B、O內上一幀跟蹤到的目標位置的周圍采樣n個掃描窗口，通過同樣的稀疏測量矩陣對采樣的窗口降維，提取特征，然后用k幀訓練好的樸素貝葉斯分類器進行分類，令分類分數最大的窗口記作目標窗口，并分別更新IA、IB、IO。
5.掘進機監測服務器跟蹤監測掘進機一運部位置IA，跟蹤監測掘進機本體部位置IB，建立數學模型，每間隔時間T0，計算掘進機偏離工作軌道距離d，該系統根據掘進機偏離工作軌道距離d監測結果進行判斷，若判斷掘進機工作軌道偏離，則發出偏離工作軌道報警信號；掘進機監測服務器監測掘進機本體部溫度，若判斷本體部溫度過高，則發出本體部溫度過高報警信號；T0通過測量設定或人為設定。
6.掘進機監測服務器接收安裝于掘進機上的攝像機采集的視頻，跟蹤監測切割頭的位置IO，該系統根據監測切割頭位置進行切割受阻判讀，若判斷切割受阻，則發出切割受阻報警信號；掘進機監測服務器監測切割頭溫度，若判斷切割頭溫度過高，則發出切割頭溫度過高報警信號。
7.掘進機跟蹤丟失后，對隨后的圖像進行灰度值提取與計算，根據計算結果，判斷是否發生水災、瓦斯泄露，根據判斷結果，該系統可發出不同類型的報警信號。
8.報警信號包括：可發出不同報警信號，包括：偏離工作軌道報警信號；切割受阻報警信號；本體部溫度過高報警信號；切割頭溫度過高報警信號；突發水災報警信號；瓦斯泄露報警信。
附圖說明
圖1基于紅外圖像的掘進機異常工作及災害報警系統示意圖。
圖2掘進機異常工作及災害報警系統的工作流程示意圖。
圖3掘進機監測服務器監測流程示意圖。
具體實施方式
基于紅外圖像的掘進機異常工作及災害報警系統組成如圖1所示：
1.紅外攝像機(101)，采用符合煤礦隔爆要求的礦用攝像機，帶有紅外補光燈，攝像機的攝像頭安裝有紅外濾片，攝像機安裝在煤礦井下掘進巷道頂部中間和掘進機上，通過同軸電纜與視頻服務器(104)連接。
2.掘進機控制器(102)，負責采集掘進機設置數據和水系統噴霧數據，數據通過工業以太網傳輸至存儲服務器，采用可編程控制器(PLC)，可編程控制器具有通信接口或通信模塊。在本實施方案中使用西門子SIMATIC S7-300。
3.分站(103)，也稱數據采集站，負責接收掘進機控制器(102)上傳的掘進機設置數據和水系統噴霧數據，并將數據上傳至存儲服務器、掘進機監測服務器和監控終端。分站與掘進機控制器(102)采用RS-485標準通過雙絞線通信；分站通過雙絞線或光纜與最近的井下交換機連接，采用TCP方式與井上的存儲服務器通信，具有隔爆外殼，符合煤礦井下隔爆要求。
4.視頻服務器(104)，也稱視頻編碼器，接收由紅外攝像機(101)輸出的模擬視頻信號，將其數字化并壓縮編碼，通過礦用以太網向井上存儲服務器、掘進機監測服務器和監控終端傳輸視頻數據。在本實施方案中選用海康DS-6701HW單路網絡視頻服務器，設置為組播方式。
5.井下交換機(105)，是礦用以太網的井下接入設備，串接形成環網，負責視頻服務器和其它通過網絡通信設備的接入和數據交換，設備接入端一般為RJ45接口，環網接續端為光接口，具有隔爆外殼，符合煤礦井下隔爆要求。
6.網絡交換機(106)，是礦用以太網的核心管理設備，負責所有接入網絡的設備的管理和數據交換。
7.存儲服務器(107)，負責接收由視頻服務器上傳的視頻數據并存儲，為監控終端提供現場歷史查詢調取服務。
8.掘進機監測服務器(108)，接收視頻服務器(104)上傳的數字視頻流和掘進機控制器(102)上傳的掘進機設置數據和水系統噴霧數據，對視頻圖像進行處理，監測紅外攝像機視頻圖像中設定區域，并參考存儲服務器存儲的相應掘進機設置數據，如滿足報警條件則向監控終端(109)輸出掘進機異常狀態報警信號。
9.監控終端(109)，具有聲光報警功能，接收到掘進機監測服務器(108)的報警數據則聲光報警；監控終端具有實時視頻監控和歷史視頻調取功能，生產管理人員通過監控終端查看由視頻服務器(104)上傳的現場視頻圖像，也可從存儲服務器(107)調取歷史視頻數據。生產管理人員可通過煤礦通信系統發出報警信號，對相關人員下發應急調度指令。監控終端內置井下地理信息，并具有地圖顯示引擎，本實施方案使用Map Info公司的可視化地圖組件Map X，當掘進機工作異常報警時可自動顯示監測到報警的紅外攝像機位置。
掘進機異常工作及災害報警系統的工作過程如圖2所示：
1.(201)紅外攝像機采集視頻圖像，將采集到的現場模擬視頻信號通過同軸電纜傳輸給視頻服務器(104)。
2.(202)視頻服務器(104)數字化模擬視頻信號并進行壓縮編碼。
3.(203)分站(103)，接收掘進機控制器(102)上傳的掘進機設置數據和水系統噴霧數據。
4.(204)將視頻信號、掘進機設置數據和水系統噴霧數據通過網線將數據上傳至存儲服務器(107)、掘進機監測服務器(108)和監控終端(109)。
5.(205)存儲服務器(107)接收視頻信號、掘進機設置數據和水系統噴霧數據，并進行存儲。
6.(206)掘進機監測服務器(108)接受視頻信號、掘進機設置數據和水系統噴霧數據，并通過核心處理器(201)的內置庫處理分析視頻數據，監測掘進工作面視頻中掘進機工作狀態，對分析結果進行判斷。
7.(207)當監測結果滿足報警條件時，則將報警數據使用TCP通信方式通過網絡通信模塊(204)傳送給監控終端(109)。
8.(208)監控終端(108)接收到報警數據后，自動根據紅外攝像機編號通過地圖顯示引擎在顯示器上顯示掘進機位置，并聲光報警提示生產管理人員進行處理。
9.(209)生產管理人員通過監控終端(109)訪問存儲服務器(107)調取現場歷史視頻。
10.(210)生產管理人員同時觀看由視頻服務器(104)上傳的現場視頻，確認報警發生過程和現場狀態情況。
11.(211)生產管理人員確認報警后，可通過煤礦通信系統發出報警信號，對相關人員下發應急調度指令。
掘進機監測服務器監測流程如圖3所示：
1.(301)圖像跟蹤監測設備啟動時調取監控區域R和所有監測運算相關的參數。
2.(302)分別對攝像機監控范圍內的掘進機一運部位置A進行設定，設為IA；對攝像機監控范圍內的掘進機本體部B進行設定，設為IB；對攝像機監控范圍內的掘進機切割頭O進行設定，設為IO；k幀時，分別在IA、IB、IO周圍采集兩個樣本集Dα＝{z|||IN-Iz||<α}和Dδ,β＝{z|δ<||IN-Iz||<β}，其中，α<δ<β，Iz表示樣本位置，IN表示在IA、IB、IO周圍采集的樣本位置；令Dα為正樣本(滾筒圖像)，Dδ，β為負樣本(背景圖像)，根據下列公式計算隨機測量矩陣：rij表示隨機測量矩陣的元素、s取2或者3，均表示概率；然后對樣本圖像進行多尺度變換，計算類Harr特征，通過上述測量矩陣對多尺度圖像特征進行降維，計算降維后的正負樣本特征的期望和標準差，并用其來訓練樸素貝葉斯分類器；k+1幀的時候，分別對圖像設定區域A、B、O內上一幀跟蹤到的目標位置的周圍采樣n個掃描窗口，通過同樣的稀疏測量矩陣對采樣的窗口降維，提取特征，然后用k幀訓練好的樸素貝葉斯分類器進行分類，令分類分數最大的窗口記作目標窗口，并分別更新IA、IB、IO。
3.(303)判斷圖像是否跟蹤丟失，如果丟失，則執行(324)，否則執行(304)。
4.(304)將數據存儲在存儲模塊。
5.(305)圖像跟蹤監測設備建立數學模型，水平方向左負右正，垂直方向下負上正，將IA轉換為(xA,yA)，IB轉換為(xB,yB)，IO轉換為(xO,yO)。
6.(306)每間隔時間T0，計算掘進機偏離工作軌道距離d，每間隔時間T1，計算切割頭位置和切割頭移動距離L；T0、T1通過測量設定或人為設定。
7.(307)判斷偏離距離d是否大于閾值l1，如果大于l1，則執行(309)，否則執行(308)。l1通過測量設定或人為設定。
8.(308)參數m置0。
9.(309)參數m加1，其初始值為0。
10.(310)判斷參數m是否大于閾值Q1，如果大于Q1，則執行(311)，否則執行(302)。Q1通過測量設定或人為設定。
11.(311)參數m置0，執行(332)發出偏離工作軌道報警信號。
12.(312)判斷切割頭移動距離是否大于閾值l2，如果大于l2，則執行(314)，否則執行(313)。l2通過測量設定或人為設定。
13.(313)次數n置0。
14.(314)次數n加1，其初始值為0。
15.(315)判斷參數n是否大于閾值Q2，如果大于Q2，則執行(316)，否則執行(302)。Q2通過測量設定或人為設定。
16.(316)參數n置0，執行(332)發出切割受阻報警信號。
17.(317)每間隔時間T2，監測掘進機本體部溫度DB和切割頭溫度DO；T2通過測量設定或人為設定。
18.(318)判斷DB是否大于等于設定閾值M1，如果大于M1，則執行(319)，否則執行(302)。M1通過測量設定或人為設定。
19.(319)次數q加1，其初始值為0。
20.(320)判斷q是否大于等于設定閾值M3，如果大于M3，則執行(332)，發出本體部過熱報警信號，否則執行(302)。M3通過測量設定或人為設定。
21.(321)判斷DO是否大于等于設定閾值M2，如果大于M2，則執行(322)，否則執行(302)。M2通過測量設定或人為設定。
22.(322)次數p加1,其初始值為0。
23.(331)判斷p是否大于等于設定閾值M4，如果大于M4，則執行(332)，發出切割頭過熱報警信號，否則執行(302)。M4通過測量設定或人為設定。
24.(324)對掘進機跟蹤丟失前最后一幀圖像IA、IB、IO處標記，提取隨后K幀圖像內這四處位置的灰度值，并分別進行運算。求取K幀圖像內大于等于設定閾值N1的像素算術平均值，得到像素值DH；求取K幀內小于等于設定閾值N2的像素算術平均值，得到像素值DL。
25.(325)判斷DH是否大于等于設定閾值N3，如果大于N3，則執行(326)，否則執行(329)。
26.(326)判斷噴霧是否開啟，如果開啟，則執行(327)，否則執行(301)
27.(327)每間隔X幀對攝像機采集的視頻圖像f(x,y)與所存掘進機背景圖像g(x,y)進行累積差值處理，通過累積差值運算處理Y幀后，求大于等于設定灰度值T1的像素總和DW。
28.(328)判斷DW是否大于等于設定閾值N4，如果大于等于N4，則執行(332)發出水災報警信號，否則執行(301)。
29.(329)判斷DL是否大于等于設定閾值N5，如果大于N5，則執行(330)，否則執行(301)。
30.(330)通過累積差值運算處理Y幀后，求大于等于設定灰度值T2的像素總和DF。
31.(331)判斷DF是否大于等于設定閾值N6，如果大于等于N6，則執行(332)發出瓦斯泄露報警信號，否則執行(301)。
32.(332)發出報警信號。包括：偏離工作軌道報警信號；切割受阻報警信號；本體部溫度過高報警信號；切割頭溫度過高報警信號；突發水災報警信號；瓦斯泄露報警信號。
- 還沒有人留言評論。精彩留言會獲得點贊！