基于紅外圖像的采煤機異常工作及災害報警系統的制作方法
本發明涉及一種基于紅外圖像的采煤機異常工作及災害報警系統，該系統涉及圖像跟蹤和通信等領域。
背景技術：
煤炭是我國重要的基礎能源和原料，以煤為主的能源結構在相當長時間內不會改變，隨著國民經濟的發展，煤炭的需求量越來越大，伴隨的煤礦安全事故也在不斷增多。煤炭資源安全高效開發利用技術成為了國內外學者研究的熱點領域。最有效的解決方案之一是實現煤礦生產裝備機械化及自動化，從而實現井下無人或少人開采。
隨著煤礦安全重要性的提高和煤炭開采技術的發展，井下采煤工作面實現少人或者無人開采是必然趨勢，實現井下少人或者無人開采的必要條件是井下采煤裝備機械化、自動化和對其的實時監控。采煤機是綜采工作面最重要的設備之一，其正常運行是整個綜采工作面完成采掘作業的基礎，故對采煤機工作狀態的監測是煤礦井下綜采工作面的一項重要任務。
目前采煤機監控功能多由傳感器實現完成。現有傳感器模式絕大部分采用有線連接，在實際應用中由于空間有限、工況惡劣，在工程布置及維護中會投入較多精力，且往往會因為機械運動產生連接線路的損壞，影響傳感器的精度。在機器開始工作中，會產生大量的電磁干擾，影響通信信號的傳播。同時，在實際采煤情況下，伴隨著大量的煤塊墜落，安裝在采煤機上的傳感器不可避免的會受到碰撞，雖然有相應的防護措施，但長時間的碰撞仍然會影響傳感器的精度。為避免碰撞、機械振動帶來的影響，需要新的采煤工作面井下采煤機異常工作監測報警系統，可第一時間準確地對采煤機異常工作進行報警，為井下采煤機安全作業提供一份保障。因此本發明提出一種基于紅外圖像跟蹤監測設備的采煤機異常工作及災害報警系統，根據采煤機的不同異常工作狀態，該系統可發出不同報警信號，包括：搖臂自動升降報警信號；搖臂鎖不住，有下沉現象報警信號；采煤機牽引力不足報警信號；搖臂調高速度下降報警信號；搖臂不能調高報警信號；采煤機牽引力下降報警信號。通過監測采煤機各部分的溫度，判斷采煤機發熱情況，根據判斷結果，該系統可發出不同報警信號，包括：左端滾筒過熱報警信號；右端滾筒過熱報警信號；主機架過熱報警信號。根據采煤機跟蹤丟失后監測畫面灰度值處理結果，該系統可發出不同報警信號，包括：突發水災報警信號；瓦斯泄露報警信號。
技術實現要素：
本發明提出一種基于紅外圖像的采煤機異常工作及災害報警系統，所述系統主要包括：紅外攝像機、視頻服務器、采煤機控制器、分站、礦用以太網、存儲服務器、采煤機監測服務器、監控終端；其中紅外攝像機、視頻服務器、分站和采煤機控制器在井下安裝，存儲服務器、采煤機監測服務器和監控終端安裝于井上；紅外攝像機安裝于煤礦井下的采煤工作面的液壓支架上，紅外攝像機采集采煤工作面現場視頻模擬圖像；采煤機監測服務器將接收到的紅外圖像拼接為一幅紅外圖像，并跟蹤監測采煤機左端滾筒位置IA，跟蹤監測采煤機右端滾筒位置IB，跟蹤監測采煤機主機架位置IO，建立數學模型，計算參數左搖桿抬起高度αA、右搖桿抬起高度αB、左搖桿升降角速度ωA、右搖桿升降角速度ωB、采煤機主機架移動速度V，從而得出采煤機工作狀態；該系統根據采煤機工作狀態監測結果進行采煤機異常工作狀態判斷，若判斷采煤機工作狀態異常，則發出報警信號；該系統檢測IA處溫度，監測IB處溫度，監測IO處溫度，并根據IA、IB、IO處溫度監測結果進行采煤機故障判斷，若判斷采煤機故障，則發出報警信號；該系統根據采煤機跟蹤丟失后監測畫面灰度值處理結果進行突發災害判斷，若判斷有突發災害，則發出報警信號；報警信號通過礦用以太網傳輸至井上監控終端；監控終端負責顯示報警信息，通過訪問視頻服務器獲得現場視頻，通過訪問存儲服務器獲得歷史現場視頻。具體方法包括：
1.攝像機等高均勻分布的安裝在采煤工作面液壓支架上；攝像機的攝像頭安裝有紅外濾片，用于采集所述采煤機工作的紅外畫面；在攝像機旁安裝紅外補光燈，光投射方向與攝像機視頻采集方向一致。
2.采煤機控制器采集采煤機左右搖桿高度等設置數據；分站接收采煤機控制器上傳的采煤機設置數據，通過礦用以太網上傳至存儲服務器、采煤機監測服務器和監控終端。
3.采煤機監測服務器位于井上，將接收到的數字視頻數據和采煤機設置數據輸出到核心處理器，處理器將采集的紅外圖像拼接為一幅紅外圖像，并存儲在存儲模塊中。
4.分別對紅外攝像機監控范圍內采煤機左端滾筒A進行設定，取其中心位置為IA；對采煤機右端滾筒位置B進行設定，取其中心位置為IB；對采煤機主機架位置O進行設定，取其中心位置為IO；k幀時，分別在IA、IB、IO周圍采集兩個樣本集Dα＝{z|||IN-Iz||<α}和Dδ,β＝{z|δ<||IN-Iz||<β}，其中，α<δ<β，Iz表示樣本位置，IN表示在IA、IB、IO周圍采集的樣本位置；令Dα為正樣本(滾筒圖像)，Dδ，β為負樣本(背景圖像)，根據下列公式計算隨機測量矩陣：rij表示隨機測量矩陣的元素、s取2或者3，均表示概率；然后對樣本圖像進行多尺度變換，計算類Harr特征，通過上述測量矩陣對多尺度圖像特征進行降維，計算降維后的正負樣本特征的期望和標準差，并用其來訓練樸素貝葉斯分類器；k+1幀的時候，分別對圖像設定區域A、B、O內上一幀跟蹤到的目標位置的周圍采樣n個掃描窗口，通過同樣的稀疏測量矩陣對采樣的窗口降維，提取特征，然后用k幀訓練好的樸素貝葉斯分類器進行分類，令分類分數最大的窗口記作目標窗口，并分別更新IA、IB、IO。
5.設置拼接得到的長圖的中心為原點，建立數學模型，將圖像位置轉換到坐標系中，IA轉換為(xA,yA)，IB轉換為(xB,yB)，IO轉換為(xO,yO)，設左搖桿瞬時抬起高度為αa、右搖桿瞬時抬起高度為αb、左搖桿瞬時升降角速度為ωa、右搖桿瞬時升降角速度為ωb、采煤機主機架瞬時移動速度為υ，記k幀時，IA、IB、IO坐標(xAk,yAk)、(xBk,yBk)、(xOk,yOk)，k+T幀時，IA、IB、IO坐標(xAk+1,yAk+1)、(xBk+1,yBk+1)、(xOk+1,yOk+1)，T幀間隔時間為t；計算l為采煤機主機架中心到左搖桿與主機架連接處距離；每間隔時間T0，計算該時間內αa的均值，得出αA，計算該時間內αb的均值，得出αB，計算該時間內ωa的均值，得出ωA，計算該時間內ωb的均值，得出ωB，計算該時間內υ的均值，得出V的數值；T0、T通過測量設定或人為設定。
6.設置次數n＝m＝0，采煤機開始工作時，每間隔時間T3，檢測V、n與m的值，通過判斷V、n、m、αA、αB、ωA、ωB的值，判斷采煤機的工作狀態，根據判斷結果，該系統可發出不同類型的報警信號；通過監測IA、IB、IO處溫度，判斷采煤機發熱情況，根據判斷結果，該系統可發出不同類型的報警信號。
7.采煤機跟蹤丟失后，對隨后的圖像進行灰度值提取與計算，根據計算結果，判斷是否發生水災、瓦斯泄露，根據判斷結果，該系統可發出不同類型的報警信號。
8.報警信號包括：搖臂自動升降報警信號；搖臂鎖不住，有下沉現象報警信號；采煤機牽引力不足報警信號；搖臂調高速度下降報警信號；搖臂不能調高報警信號；采煤機牽引力下降報警信號；左端滾筒過熱報警信號；右端滾筒過熱報警信號；主機架過熱報警信號；突發水災報警信號；瓦斯泄露報警信號。
附圖說明
圖1基于紅外圖像的采煤機異常工作及災害報警系統示意圖。
圖2采煤機異常工作及災害報警系統的工作流程示意圖。
圖3采煤機監測服務器監測流程示意圖。
具體實施方式
基于紅外圖像的采煤機異常工作及災害報警系統組成如圖1所示：
1.紅外攝像機(101)，采用符合煤礦隔爆要求的礦用攝像機，帶有紅外補光燈，攝像機的攝像頭安裝有紅外濾片，攝像機安裝在采煤工作面的液壓支架上，通過同軸電纜與視頻服務器(104)連接。
2.采煤機控制器(102)，負責采集采煤機設置數據，數據通過工業以太網傳輸至存儲服務器，采用可編程控制器(PLC)，可編程控制器具有通信接口或通信模塊。在本實施方案中使用西門子SIMATIC S7-300。
3.分站(103)，也稱數據采集站，負責接收采煤機控制器(102)上傳的采煤機設置數據，并將數據上傳至存儲服務器、采煤機監測服務器和監控終端。分站與采煤機控制器(102)采用RS-485標準通過雙絞線通信；分站通過雙絞線或光纜與最近的井下交換機連接，采用TCP方式與井上的存儲服務器通信，具有隔爆外殼，符合煤礦井下隔爆要求。
4.視頻服務器(104)，也稱視頻編碼器，接收由紅外攝像機(101)輸出的模擬視頻信號，將其數字化并壓縮編碼，通過礦用以太網向井上存儲服務器、采煤機監測服務器和監控終端傳輸視頻數據。在本實施方案中選用海康DS-6701HW單路網絡視頻服務器，設置為組播方式。
5.井下交換機(105)，是礦用以太網的井下接入設備，串接形成環網，負責視頻服務器和其它通過網絡通信設備的接入和數據交換，設備接入端一般為RJ45接口，環網接續端為光接口，具有隔爆外殼，符合煤礦井下隔爆要求。
6.網絡交換機(106)，是礦用以太網的核心管理設備，負責所有接入網絡的設備的管理和數據交換。
7.存儲服務器(107)，負責接收由視頻服務器上傳的視頻數據并存儲，為監控終端提供現場歷史查詢調取服務。
8.采煤機監測服務器(108)，接收視頻服務器(104)上傳的數字視頻流和采煤機控制器(102)上傳的采煤機設置數據，對視頻圖像進行處理，監測紅外攝像機視頻圖像中設定區域，并參考存儲服務器存儲的相應采煤機設置數據，如滿足報警條件則向監控終端(109)輸出采煤機異常狀態報警信號。
9.監控終端(109)，具有聲光報警功能，接收到采煤機監測服務器(108)的報警數據則聲光報警；監控終端具有實時視頻監控和歷史視頻調取功能，生產管理人員通過監控終端查看由視頻服務器(104)上傳的現場視頻圖像，也可從存儲服務器(107)調取歷史視頻數據。生產管理人員可通過煤礦通信系統發出報警信號，對相關人員下發應急調度指令。監控終端內置井下地理信息，并具有地圖顯示引擎，本實施方案使用Map Info公司的可視化地圖組件Map X，當采煤機工作異常報警時可自動顯示監測到報警的紅外攝像機位置。
采煤機異常工作及災害報警系統的工作過程如圖2所示：
1.(201)紅外攝像機采集視頻圖像，將采集到的現場模擬視頻信號通過同軸電纜傳輸給視頻服務器(104)。
2.(202)視頻服務器(104)數字化模擬視頻信號并進行壓縮編碼。
3.(203)分站(103)，接收采煤機控制器(102)上傳的采煤機設置數據。
4.(204)將視頻信號和采煤機設置數據通過網線將數據上傳至存儲服務器(107)、采煤機監測服務器(108)和監控終端(109)。
5.(205)存儲服務器(107)接收視頻信號和采煤機設置數據并進行存儲。
6.(206)采煤機監測服務器(108)接受視頻信號和采煤機設置數據，并通過核心處理器(201)的內置庫處理分析視頻數據，監測采煤工作面視頻中采煤機工作狀態，對分析結果進行判斷。
7.(207)當監測結果滿足報警條件時，則將報警數據使用TCP通信方式通過網絡通信模塊(204)傳送給監控終端(109)。
8.(208)監控終端(108)接收到報警數據后，自動根據紅外攝像機編號通過地圖顯示引擎在顯示器上顯示采煤機位置，并聲光報警提示生產管理人員進行處理。
9.(209)生產管理人員通過監控終端(109)訪問存儲服務器(107)調取現場歷史視頻。
10.(210)生產管理人員同時觀看由視頻服務器(104)上傳的現場視頻，確認報警發生過程和現場狀態情況。
11.(211)生產管理人員確認報警后，可通過煤礦通信系統發出報警信號，對相關人員下發應急調度指令。
采煤機監測服務器監測流程如圖3所示：
1.(301)圖像跟蹤監測設備啟動時調取監控區域R和所有監測運算相關的參數。
2.(302)分別對紅外攝像機監控范圍內采煤機左端滾筒A進行設定，取其中心位置為IA；對采煤機右端滾筒位置B進行設定，取其中心位置為IB；對采煤機主機架位置O進行設定，取其中心位置為IO；k幀時，分別在IA、IB、IO周圍采集兩個樣本集Dα＝{z|||IN-Iz||<α}和Dδ,β＝{z|δ<||IN-Iz||<β}，其中，α<δ<β，Iz表示樣本位置，IN表示在IA、IB、IO周圍采集的樣本位置；令Dα為正樣本(滾筒圖像)，Dδ，β為負樣本(背景圖像)，根據下列公式計算隨機測量矩陣：rij表示隨機測量矩陣的元素、s取2或者3，均表示概率；然后對樣本圖像進行多尺度變換，計算類Harr特征，通過上述測量矩陣對多尺度圖像特征進行降維，計算降維后的正負樣本特征的期望和標準差，并用其來訓練樸素貝葉斯分類器；k+1幀的時候，分別對圖像設定區域A、B、O內上一幀跟蹤到的目標位置的周圍采樣n個掃描窗口，通過同樣的稀疏測量矩陣對采樣的窗口降維，提取特征，然后用k幀訓練好的樸素貝葉斯分類器進行分類，令分類分數最大的窗口記作目標窗口，并分別更新IA、IB、IO。
3.(303)判斷圖像是否跟蹤丟失，如果丟失，則執行(332)，否則執行(304)。
4.(304)將數據存儲在存儲模塊。
5.(305)圖像跟蹤監測設備建立數學模型，水平方向左負右正，垂直方向下負上正，將IA轉換為(xA,yA)，IB轉換為(xB,yB)，IO轉換為(xO,yO)。
6.(306)設左搖桿瞬時抬起高度為αa、右搖桿瞬時抬起高度為αb、左搖桿瞬時升降角速度為ωa、右搖桿瞬時升降角速度為ωb、采煤機主機架瞬時移動速度為υ，記k幀時，IA、IB、IO坐標(xAk,yAk)、(xBk,yBk)、(xOk,yOk)，k+T幀時，IA、IB、IO坐標(xAk+1,yAk+1)、(xBk+1,yBk+1)、(xOk+1,yOk+1)，T幀間隔時間為t；計算l為采煤機主機架中心到左搖桿與主機架連接處距離；每間隔時間T0，計算該時間內αa的均值，得出αA，計算該時間內αb的均值，得出αB，計算該時間內ωa的均值，得出ωA，計算該時間內ωb的均值，得出ωB，若Q1<ωA<Q2，則令ωA＝0，若Q1<ωB<Q2，則ωB＝0，其中Q1<0<Q2，ω>0表示滾筒在上升，ω＝0表示滾筒高度不變，ω<0表示滾筒在下降；每間隔時間T1，計算該時間內υ的均值，得出V的數值，若Q3<V<Q4，則令V＝0，其中Q3<0<Q4，V>0，表示采煤機向右移動，V<0，表示采煤機向左移動，V＝0，表示采煤機在調整滾筒高度；T、T0、T1、Q1、Q2、Q3、Q4通過測量設定或人為設定。
7.(307)判斷速度V是否大于閾值Q5，如果大于Q5，則執行(308)，否則執行(311)。Q5通過測量設定或人為設定。
8.(308)判斷左右滾筒角度差值是否小于閾值Q6，如果小于Q6，則執行(309),否則執行(302)。Q6通過測量設定或人為設定。
9.(309)觸發預警，置預警標志。
10.(310)判斷角速度ω是否大于0，如果大于0，則執行(340)發送搖臂自動升降報警信號，否則執行(340)發送搖臂鎖不住，有下沉現象報警信號。
11.(311)判斷速度V是否大于閾值Q7，如果大于Q7，則執行(321)，否則執行(312)。Q7通過測量設定或人為設定。
12.(312)次數n置0，次數m加1。
13.(313)判斷次數m是否大于閾值Q8，如果大于Q8，則執行(314)，否則執行(319)。Q8通過測量設定或人為設定。
14.(314)觸發預警，置預警標志。
15.(315)判斷采煤機位置I0是否在(Q9，Q10)內，如果在范圍內，則執行(340)發出采煤機牽引力不足報警信號，否則執行(316)。Q9、Q10通過測量設定或人為設定。
16.(316)判斷角速度ω是否大于閾值Q11，如果大于Q11，則執行(317)，否則執行(320)。Q11通過測量設定或人為設定。
17.(317)取消預警。
18.(318)次數n、m置0。
19.(319)將次數n、m存儲在存儲模塊。
20.(320)判斷角速度ω是否大于0，如果大于0，則執行(340)發出搖臂調高速度下降報警信號，否則執行(340)發出搖臂不能調高報警信號。
21.(321)次數m置0，次數n加1。
22.(322)判斷次數n是否大于閾值Q12，如果大于Q12，則執行(323)，否則執行(319)。Q12通過測量設定或人為設定。
23.(323)觸發預警，置預警標志。
24.(324)判斷采煤機位置I0是否在(Q13，Q14)內，如果在范圍內，則執行(340)發出采煤機牽引力下降報警信號，否則執行(317)。Q13、Q14通過測量設定或人為設定。
25.(325)分別對紅外攝像機監控范圍內采煤機左端滾筒A進行設定，取其中心位置為IA，以IA為圓心，r為半徑，取圓形區域RA；對采煤機右端滾筒位置B進行設定，取其中心位置為IB，以IB為圓心，r為半徑，取圓形區域RB；對采煤機主機架位置O進行設定，取其中心位置為IO，以IO為圓心，r為半徑，取圓形區域RO；每間隔時間T1，提取隨后K幀圖像內這三處位置的灰度值，并分別進行運算。求取K幀圖像內IA、IB、IO三處像素算術平均值，得到像素值DA、DB、DO；。
26.(326)判斷DA、DB是否大于等于設定閾值M1，如果大于M1，則執行(327)，否則執行(302)。M1通過測量設定或人為設定。
27.(327)次數p置0，次數q加1。
28.(328)判斷q是否大于等于設定閾值M3，如果大于M3，則執行(340)，發出左端滾筒過熱報警信號；或右端滾筒過熱報警信號，否則執行(302)。M3通過測量設定或人為設定。
29.(329)判斷DO是否大于等于設定閾值M2，如果大于M2，則執行(330)，否則執行(302)。M2通過測量設定或人為設定。
30.(330)次數q置0，次數p加1。
31.(331)判斷p是否大于等于設定閾值M4，如果大于M4，則執行(340)，發出主機架過熱報警信號，否則執行(302)。M4通過測量設定或人為設定。
32.(332)對采煤機跟蹤丟失前最后一幀圖像IA、IB、IO處標記，提取隨后K幀圖像內這三處位置的灰度值，并分別進行運算。求取K幀圖像內大于等于設定閾值N1的像素算術平均值，得到像素值DH；求取K幀內小于等于設定閾值N2的像素算術平均值，得到像素值DL。
33.(333)判斷DH是否大于等于設定閾值N3，如果大于N3，則執行(334)，否則執行(337)。
34.(334)判斷噴霧是否打開，如果打開，則執行(301)，否則執行(335)。
35.(335)每間隔X幀對攝像機采集的視頻圖像f(x,y)與所存采煤機背景圖像g(x,y)進行累積差值處理，通過累積差值運算處理Y幀后，求大于等于設定灰度值T1的像素總和DW。
36.(336)判斷DW是否大于等于設定閾值N4，如果大于等于N4，則執行(340)發出水災報警信號，否則執行(301)。
37.(337)判斷DL是否大于等于設定閾值N5，如果大于N5，則執行(338)，否則執行(301)。
38.(338)通過累積差值運算處理Y幀后，求大于等于設定灰度值T2的像素總和DF。
39.(339)判斷DF是否大于等于設定閾值N6，如果大于等于N6，則執行(340)發出瓦斯泄露報警信號，否則執行(301)。
40.(340)發出報警信號。包括：搖臂自動升降報警信號；搖臂鎖不住，有下沉現象報警信號；采煤機牽引力不足報警信號；搖臂調高速度下降報警信號；搖臂不能調高報警信號；采煤機牽引力下降報警信號；左端滾筒過熱報警信號；右端滾筒過熱報警信號；主機架過熱報警信號；突發水災報警信號；瓦斯泄露報警信號。
- 還沒有人留言評論。精彩留言會獲得點贊！