一種電力變電站的全景視頻監控方法與流程

本發明涉及一種電力變電站的監控方法,特別是一種電力變電站的全景視頻監控方法。

背景技術：
：

電力系統設施具有高度危險性，為了保障電力變電站正常安全工作，需要實時對變電站場所進行視頻監控，以便及時發現安全隱患，如危險目標入侵、火災等，避免造成嚴重后果。然而，由于變電站場所范圍較廣，監控區域較多，因此需要架設多架攝像機進行監控。但多攝像機系統的監視畫面較復雜，不利于監控人員及時發現險情所在位置，且現場指揮救援時需要直觀清楚地把握變電站的整體情況，因此需要對多攝像機拍攝畫面進行全景拼接和展示。

在進行全景圖像拼接之前，首先對各攝像機拍攝畫面進行焦距調整和視角變換，將所有攝像機拍攝畫面變換到近似統一的焦距和視角成像平面上，從而能夠解決現有方法拼接失效的問題。本發明的背景技術為計算機視覺中的單目攝像機三維場景標定和立體視覺中的投影變換技術，其理論基礎是攝像成像模型。

攝像機成像原理可以用小孔透視投影模型來描述，如圖2所示，該模型中存在三種坐標系：世界坐標系、攝像機標系和圖像坐標系。世界坐標系中的一個點P(X_w, Y_w, Z_w)在攝像坐標系中的對應位置為P(X_c, Y_c, Z_c)，該點在圖像平面上的投影為圖像坐標系中的點P(u, v)。三個點之間的變換關系可以用下面的式子來表示：

式中，M_w叫做外參數矩陣，R為旋轉矩陣，t為平移向量；M_n叫做內參數矩陣，和分別是圖像平面水平和垂直方向歸一化焦距，(u₀, v₀)是圖像坐標系原點的像素坐標。

求解攝像機參數通常采用張正友標定法，用待標定攝像機采集3幅以上標定圖像（黑白格棋盤平面）即可獲得攝像機的內參數。通過拍攝地面上擺放的位置固定的標記，可以標定攝像機外部參數和方向角。

為了對攝像機拍攝畫面進行視角變換，需要求解從目標攝像機坐標系向主視角平面的投影變換矩陣。選定一個攝像機視角為主視角，則目標攝像機和主視角攝像機所獲取的圖像滿足極線幾何約束關系，如圖3所示。其中，C和C’分別是兩個攝像機的光心，I和I’是兩攝像機的成像平面，物理世界中的點X在成像平面上的成像點分別為x和x’，光心連線CC’叫做基線，基線與成像平面的交點分別為e和e’，叫做極點，點C，C’，x，x’，e，e’和X共面于，叫做極平面。極平面與成像平面相交的直線叫做極線。設x和x’對應的極線分別為l和l’。則I平面上的x點對應I’平面上的極線l’，同理I’平面上的x’點對應I平面上的極線l。極線約束關系描述如下：

其中M₀和M₁分別是圖像I和I’的透視變換矩陣，可由兩個攝像機的參數得到，e=[e_x, e_y, e_z]^T是極點e的坐標，[e]_x是e的反對稱矩陣。其中叫做基本矩陣，滿足關系：。只要獲得基本矩陣就能得到從一個攝像機圖像平面到另一個攝像機圖像平面的投影變換矩陣，進而實現攝像機間視角變換。

基本矩陣包含8個獨立參數，因此需要找到兩個圖像中至少8對匹配點來求解，通常使用8點法來求解基本矩陣。此外，由于存在匹配誤差，還需要增加更多的匹配點來從中優選一個基本矩陣使匹配誤差最小化，這里可以使用RANSAC算法來求解。

由于變電站場景電力設施分布情況復雜，監控攝像機架設限于地理因素，其位置和拍攝角度差異較大，這給全景拼接帶來較大困難。現有的基于特征點匹配的全景拼接技術往往僅考慮視角平行或差異較小的情況，而在拼接拍攝角度差異較大的圖像時往往失效。

技術實現要素：
：

本發明目的在于提供一種電力變電站的全景視頻監控方法，解決現有的基于特征點匹配的全景拼接技術往往僅考慮視角平行或差異較小的情況，而在拼接拍攝角度差異較大的圖像時往往失效的問題。

一種電力變電站的全景視頻監控方法，其具體步驟為：

第一步. 搭建電力變電站全景視頻監控系統

電力變電站全景視頻監控系統，包括:攝像機以及計算機，所述攝像機的數量是2-4個,所述計算機,包括:數據采集模塊、圖像預處理模塊、標識識別模塊、攝像機立體標定模塊和圖像融合與顯示模塊。

數據采集模塊的功能為：解析從攝像頭傳輸過來的圖像數據并存儲數據供后續的模塊調用；圖像預處理模塊的功能為：對原始的圖像數據進行濾波、對比度拉伸、直方圖均衡操作；標識識別模塊的功能為：使用圖像處理識別出預先擺放好的標記，并且獲取標記在圖像中的精確坐標；攝像機立體標定模塊的功能為：根據識別出的標識的坐標計算兩個攝像機之間的基本矩陣，根據基本矩陣完成圖像的視角變換，將不同視角的圖片統一到同一個視角上，并且在此基礎上完成圖像的配準；圖像融合與顯示模塊的功能為：使用多波段融合方式將視角變換后的多張圖像融合為一張完整的全景圖像，最后根據實際情況調整全景圖像的顯示視角。

攝像機的安裝位置要保證相鄰的兩個攝像機至少有20%的畫面重疊。攝像機的輸出數據線與計算機的網口相連。計算機將計算好的全景視頻畫面輸出到控制中心的屏幕上。

當計算機的網口數量小于攝像機的數量時，需要使用交換機將多個攝像機的圖像數據匯總后再與計算機的網口相連。計算機將計算好的全景視頻畫面輸出到控制中心的屏幕上。攝像機的輸出數據線與交換機的網口相連，交換機的網口與計算機的網口相連。

另外在實際的室內場景中要根據攝像機中的視野，在相鄰攝像機的重疊區域擺放用于識別的標記。

第二步.數據采集模塊采集數據并標定攝像機

對架設好的多臺攝像機，通過數據采集模塊讀入圖像數據，然后用圖像預處理模塊對圖像數據進行濾波、對比度拉伸、直方圖均衡處理。

采用張正友標定法通過數據采集模塊讀入圖像數據，對攝像機進行標定和求解攝像機內部參數。

第三步.攝像機圖像視角變換

比較各攝像機間的重合區域和覆蓋面積，從中選取覆蓋面積最廣且與其他攝像機圖像重合區域最多的攝像機作為主視角攝像機，其對應視角作為主視角。

在監控場景中粘貼顏色形狀各異的醒目標記，并保證每個攝像機與主視角攝像機的重合區域中包含超過10個標記。這樣，兩個攝像機中同一標記中心位置處為一對匹配點。標記識別模塊識別和定位圖像中的標記物。

然后攝像機立體標定模塊求得攝像機視角變換所需的基本矩陣。首先對各攝像機拍攝圖像做焦距調整伸縮變換，使各攝像機畫面變換到同一焦距平面上。然后在攝像機拍攝圖像上檢測標記匹配點，再結合攝像機參數，使用8點求解法和RANSAC算法來求解各攝像機最佳投影變換矩陣，對各圖像做視角調整。

第四步圖像融合與顯示模塊進行全景圖像拼接

圖像融合與顯示模塊處理視角變換過之后的圖像。使用基于SIFT特征提取的圖像匹配技術對視角變換后的各攝像機圖像進行圖像配準、定位和圖像融合，形成全景圖像，采用插值技術對圖像匹配中缺失的部分進行修補。

至此，完成了電力變電站的全景視頻監控。

現有的基于特征點匹配的全景拼接技術無法實現電力變電站場景中攝像機的圖像拼接工作，因為現有技術需要圖像重疊的部分信息差異很小，這就要求拍攝圖像的攝像機之間的相對位置相對于相機與拍攝的物體之間的距離可以忽略不計或者所拍攝的物體含有很少的立體物信息，但是顯然在電力變電站場景中不滿足以上要求。本發明通過借助標識物獲取攝像機相對視角的方法不依賴于現實場景本身的信息，可以有效的解決該問題。

附圖說明

圖1一種電力變電站的全景視頻監控方法中全景圖像拼接系統的結構圖；

圖2一種電力變電站的全景視頻監控方法中所述攝像機成像模型中的世界坐標系、攝像機標系和圖像坐標系；

圖3一種電力變電站的全景視頻監控方法中所述立體視覺中的極線幾何約束關系示意圖；

圖4一種電力變電站的全景視頻監控方法實施例中所述變電站現場多攝像機監控示意圖；

圖5一種電力變電站的全景視頻監控方法實施例中求解投影變換矩陣所采用的標記，圖中只顯示了黑色的標記，實際中要有紅綠藍白黑5套標記；

圖6一種電力變電站的全景視頻監控方法實施例中三維空間中的標記點在攝像機成像示意圖；

圖7一種電力變電站的全景視頻監控方法實施例中投影變換匹配點偏差示意圖。

1.計算機 2.攝像機 3.交換機。

具體實施方式：

下面結合附圖對本發明做進一步詳細描述，顯然，所描述的實施例僅僅是本發明的一部分實施例，而不是全部的實施例。基于本發明的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都屬于本發明的保護范圍。本發明的實施例中公開了一種針對電力變電站的全景監控方法，其具體步驟為：

第一步. 搭建電力變電站全景視頻監控系統

電力變電站全景視頻監控系統，包括:攝像機、計算機和交換機，本例中的攝像機的數量是3個,所述計算機,包括:數據采集模塊、圖像預處理模塊、標識識別模塊、攝像機立體標定模塊和圖像融合與顯示模塊。

數據采集模塊的功能為：解析從攝像頭傳輸過來的圖像數據并存儲數據供后續的模塊調用；圖像預處理模塊的功能為：對原始的圖像數據進行濾波、對比度拉伸、直方圖均衡操作；標識識別模塊的功能為：使用圖像處理識別出預先擺放好的標記，并且獲取標記在圖像中的精確坐標；攝像機立體標定模塊的功能為：根據識別出的標識的坐標計算兩個攝像機之間的基本矩陣，根據基本矩陣完成圖像的視角變換，將不同視角的圖片統一到同一個視角上，并且在此基礎上完成圖像的配準；圖像融合與顯示模塊的功能為：使用多波段融合方式將視角變換后的多張圖像融合為一張完整的全景圖像，最后根據實際情況調整全景圖像的顯示視角。

根據變電站房間的大小以及設備在房間中的分布情況，選擇合適的攝像機安裝位置以及分辨率合適的攝像機，攝像機的安裝位置分布盡量均勻，使得設備需要監控的區域能夠被攝像機拍攝到，且相鄰攝像機所拍攝到的場景有至少有20%的重疊，本實施例中，變電站現場多攝像機監控示意圖如圖4所示，變電站場景區域被三臺視角方向各不相同的攝像機所覆蓋。選擇性能較好的計算機，能夠流暢的處理全景圖像的融合。三個攝像機的輸出數據線與交換機的網口相連，交換機的網口與計算機的網口相連，三個攝像機的輸出數據線與交換機的網口相連，交換機的網口與計算機的網口相連。

第二步. 數據采集模塊采集數據并標定攝像機

將攝像機的圖像數據傳入圖像采集模塊，根據采集到的圖像的情況，調整圖像預處理環節每個算法的參數，使得圖像達到最佳清晰度，然后用張正友標定法對各個攝像機進行標定得到其各自的內參數，并在地面上擺放固定標記，標記的形狀圖案如圖5所示，用于標定攝像機外部參數和方向角。

第三步. 攝像機圖像視角變換

從覆蓋區域來看，攝像機2覆蓋了監控區域的主要部分，并且其覆蓋區域與另兩臺攝像機的覆蓋區域重合部分較多，因此選擇攝像機2的視角為主視角，另兩臺攝像機所拍攝的圖像需要進行視角變換，轉換到主視角平面上。

在變電站場景目標物上粘貼醒目標記作為求解投影變換矩陣所需的圖像匹配特征點。由于求解投影變換矩陣需要用到至少8對匹配點，在本實施例中，選用了5種顏色和3種形狀組合成的共計15種醒目標記，每個標記上用十字標示其中心點，黑色的標記如圖4所示，不同顏色的標記則用不同的顏色填充。觀察相鄰攝像機監控圖像的重合區域，在各重合區域的變電站設施不同位置處分別粘貼至少10種不同類型標記。之后，標記點在各個攝像機的圖像平面上成像，如圖5所示。

首先根據各攝像機拍攝焦距不同對其拍攝畫面進行伸縮變換，做焦距調整。

然后，在攝像機1和攝像機2獲取的圖像上利用形狀和顏色信息找到相同標記，并在標記內部檢測十字中心獲取標記中心點，從而得到兩幅圖像的匹配點。使用8點法和RANSAC算法來求解攝像機1向攝像機2的投影變換矩陣F₁₂。同理獲得攝像機3向攝像機2的投影變換矩陣F₃₂。

由于攝像機拍攝角度不同，即使變換到同一視角平面，圖像上的對應點也會有所偏差，如圖6中A，B點所示。此時，需要對投影變換矩陣F₁₂，F₃₂均進行調整以便使匹配點的偏差整體最小化。同時攝像機1和攝像機3之間也會存在匹配點，如圖5中B點所示。因此，攝像機1和攝像機3之間的投影變換矩陣F₁₃也要同時調整。用歐式距離來度量投影變換后匹配點之間的偏差，然后使用Levenberg-Marquardt算法迭代求解各攝像機最優變換矩陣。

記錄下各攝像機的投影變換矩陣，以后各攝像機拍攝的所有圖像都用該對應矩陣進行投影變換。

第四步 圖像融合與顯示模塊進行全景圖像拼接

根據獲得的各攝像機最優投影變換矩陣，對攝像機1和攝像機3拍攝的圖像進行投影變換，得到伸縮和旋轉后的變換圖像；使用SIFT特征檢測算法在相鄰攝像機圖像上尋找特征點，并進行特征匹配；對攝像機1和攝像機3的投影變換后的圖像進行平移，選擇合適的平移量使匹配特征點偏差最小化；使用平均法對重合區域進行融合；檢測全景圖像中的缺損區域，使用二次線性插值法進行插值修補；用0填補全景圖像外部不規則區域，生成矩形全景圖像，投影到全景監控顯示器上顯示。

至此，完成了電力變電站的全景視頻監控。