運動特征點檢測方法及裝置的制作方法

專利名稱：運動特征點檢測方法及裝置的制作方法
技術領域：
本發明涉及適用于大角度相機的運動特征點檢測方法及裝置。
背景技術：
對相機拍攝的運動目標進行檢測的技術(以下稱為運動目標檢測技術)一直是計算機視覺領域的研究熱點，廣泛應用于視覺捕捉監控等諸多領域。其中，一般通過判斷運動目標上的特征點是否為運動特征點，來進行運動目標檢測。在運動目標檢測技術中，根據對運動目標進行拍攝的相機是否運動，運動目標檢測可以分為靜止相機下的運動目標檢測和移動相機下的運動目標檢測。以下，分別對這兩種運動目標檢測進行詳細說明。靜止相機下的運動目標檢測常用于交通監控、安防系統。具體而言，例如用于交通路口、機場、商店、停車場、商業大樓等公共場所的監控。靜止相機下的運動目標檢測相對容易實現，常用的實現方法有幀間差分法(inter-frame difference)、背景建模方法 (background modeling)禾口光流方法(optical flow)等。另一方面，移動相機下的運動目標檢測可用于汽車輔助駕駛、機器人視覺等。隨著人工智能、汽車自動化等技術的迅速發展，移動相機下的運動目標檢測正在得到日益廣泛的應用，有巨大的發展前景。但是，由于對運動目標進行拍攝的相機本身也在移動，而相機本身的移動會造成背景的運動，因此移動相機下的運動目標檢測成為運動目標檢測技術中的一個難點。具體而言，移動相機下的運動目標檢測的關鍵在于，在運動相機所拍攝的圖像中，如何區分物體的運動是由相機的移動造成的、還是由物體本身運動和相機運動共同造成的。對此，常用的方法有極線約束(印ipolarconstraint)方法、光流(optical flow)方法和三維重建(3D reconstrction)方法。以下，分別對這幾種方法進行詳細說明。首先，說明上述極線約束方法的原理。在運動相機所拍攝的圖像的某一幀中，如果一個點在真實世界中是靜止的，那么在下一幀圖像中，該點出現的位置必然在該點所對應的極線(bipolar)上。反之，如果在下一幀圖像中，該點出現的位置偏離極線，則可以判斷出該點在真實世界中是運動的。由此，可以檢測出圖像中的特征點在真實世界中是否運動， 并檢測出具有這些特征點的目標在真實世界中是否運動。接著，說明上述光流方法的原理。在光流方法中，對運動相機所拍攝的圖像，計算該圖像中每一個像素點的速度，由此得到該圖像的光流場(optical flow field)。如果該圖像中沒有在真實世界中運動的目標時，該光流場連續。反之，若該圖像中存在真實世界中的運動目標，則該運動目標所形成的光流與相鄰的背景的光流有很大不同。由此，能夠在運動相機所拍攝的圖像中檢測出在真實世界中運動的目標。最后，說明上述三維重建方法的原理。在三維重建方法中，對運動相機所拍攝的圖像，根據同一個點在多個圖像中的位置關系，來恢復該點的三維坐標。如果不能夠準確恢復該點的三維坐標，則判斷該點是真實世界中的運動目標上的點。由此，可以檢測出圖像中的特征點在真實世界中是否運動，并檢測出具有這些特征點的目標在真實世界中是否運動。
但是，以上三種移動相機下的運動目標檢測都存在自身的問題。例如，上述極線約束方法由于要判斷圖像中的點與極線之間的位置關系，因此僅適用于普通相機的針孔顯像模型，如果不符合針孔顯像模型則無法使用。另外，光流方法由于要計算圖像中每一個像素點的速度，因此計算量大，而且容易受到噪聲的干擾。最后，三維重建方法由于要根據同一個點在多個圖像中的位置關系來恢復該點的三維坐標，因此優選用于雙目相機或三目相機，在單目移動相機的情況下，雖然可以使用相鄰幀的圖像來模擬雙目相機，但顯而易見， 其精度受到很大影響，難以滿足實際使用的要求。特別是，近年來魚眼相機、全景相機等大視角相機越來越受到人們的重視。其中， 魚眼相機的成像視角一般可達到180度左右，最大甚至能夠達到220度，而全景相機的成像視角可以達到360度。這些大視角相機突破了傳統平面相機成像視角小的缺點，在車載系統等中有廣闊的應用前景。在大視角相機的這些具體應用中，例如在車載系統中，也需要移動相機下的運動目標檢測技術。然而，以上說明的各種移動相機下的運動目標檢測技術都是基于普通平面相機提出的。在大視角相機的情況下，這些運動目標檢測技術都遇到了困難。具體而言，如上所述，上述極線約束方法僅適用于普通相機的針孔顯像模型，而在魚眼相機等大視角相機下， 由于圖像中物體的真實形狀發生扭曲失真，因此極線約束方法完全無法使用。另外，上述光流方法和三維重建方法雖然還可以使用，但在大視角相機的情況下，這些方法原有的計算量大、精度低的問題變得更加嚴重。面對這種情況，一種普遍的想法是把大視角相機所拍攝的大角度圖像校正為平面圖像，再對校正后的平面圖像應用上述移動相機下的運動目標檢測技術。但是，從大角度圖像校正為平面圖像的過程會造成成像視角的損失和像素的失真。對此，為了避免成像視角的損失，可以將大角度圖像校正為多個平面圖像，但是，需要處理的對象從一張原始圖像變成了多張校正圖像，增加了算法的復雜度和處理裝置的運算負擔。如上所述，在大視角相機的應用日益普及的形勢下，迫切需要一種適合移動大視角相機的運動特征點檢測方法，以便在移動大視角相機所拍攝的圖像中檢測出運動特征點，或進一步檢測出運動目標。

發明內容
本發明鑒于現有技術中的上述問題，目的在于提供一種運動特征點檢測方法及裝置，適用于移動大視角相機的運動特征點檢測，不需要進行圖像成像面的校正，避免了圖像校正過程所帶來的信息損失，而且算法簡單，檢測效果好，易于實現。為了達到上述目的，本發明提供一種運動特征點檢測方法，用于大視角相機，其特征在于，包括以下步驟圖像獲取步驟，獲取由上述大視角相機所拍攝的t時刻的圖像和 t"k時刻的圖像；特征點對獲取步驟，根據上述圖像獲取步驟所獲取的上述t時刻的圖像和 t_k時刻的圖像，獲取該t時刻的圖像和t-k時刻的圖像中匹配的各特征點對(巧，F；-")， j ^ 1 ；虛擬平面建立步驟，建立與t時刻對應的原始相機坐標系和與t-k時刻對應的原始相機坐標系，并旋轉這兩個原始相機坐標系以使它們的光軸方向都與這兩個原始相機坐標系的各自的原點之間的連線方向一致，由此生成t時刻的虛擬相機坐標系和t-k時刻的虛擬相機坐標系，并與上述大視角相機的成像視角相對應，在t時刻的虛擬相機坐標系中建立t時刻的a個虛擬平面A' (1彡a彡6，i = 1，. . .，a)，在t-k時刻的虛擬相機坐標系中建立t-k時刻的a個虛擬平面ρ廠k ；投影點對運算步驟，根據上述特征點對獲取步驟所獲取的各特征點對(巧‘，F;_k) ,j彡1、以及上述虛擬平面建立步驟所建立的t時刻和t-k時刻的虛擬相機坐標系和虛擬平面，對于每一個特征點對(巧‘，F廣)，對其中t時刻的特征點巧，分別連接以t時刻的虛擬相機坐標系的原點為端點并經過該特征點巧的射線，該射線與t時刻的虛擬平面A'的所有交點構成該特征點巧與上述t時刻的虛擬平面乂的交點集合，將該交點集合中與t時刻的虛擬相機坐標系的原點之間的距離最近的交點作為該特征點巧的投影點，并將該投影點所在的該t時刻的虛擬平面記為該特征點巧的投影平面ρ= ,me (1，...， a)，另外，對上述特征點對(巧，巧'_1<)中t-k時刻的特征點巧_k，將上述t時刻的特征點巧的投影平面&所對應的t-k時刻的虛擬平面作為特征點巧—k的投影平面，并連接以t-k 時刻的虛擬相機坐標系的原點為端點并經過該特征點巧_k的射線，將該射線與該投影平面卩^的交點作為該特征點巧、的投影點；以及運動特征點判斷步驟，根據上述投影點對運算步驟所計算的各特征點對(巧，F；'")，j彡1中的特征點巧的投影點及特征點巧—k的投影點，對于每一個特征點對(巧，F；-")，由特征點巧的投影點及特征點^Tk的投影點構成位移向量，并根據該位移向量的方向判斷該特征點巧是否為運動的特征點，由此檢測出上述大視角相機所拍攝的t時刻的圖像中的運動特征點。 另外，本發明還提供一種運動特征點檢測裝置，用于大視角相機，其特征在于，包括圖像獲取單元，獲取由上述大視角相機所拍攝的t時刻的圖像和t-k時刻的圖像；特征點對獲取單元，根據上述圖像獲取單元所獲取的上述t時刻的圖像和t-k時刻的圖像，獲取該t時刻的圖像和t-k時刻的圖像中匹配的各特征點對(巧，F；-")，j彡1;虛擬平面建立單元，建立與t時刻對應的原始相機坐標系和與t-k時刻對應的原始相機坐標系，并旋轉這兩個原始相機坐標系以使它們的光軸方向都與這兩個原始相機坐標系的各自的原點之間的連線方向一致，由此生成t時刻的虛擬相機坐標系和t-k時刻的虛擬相機坐標系，并與上述大視角相機的成像視角相對應，在t時刻的虛擬相機坐標系中建立t時刻的a個虛擬平面乂 (1彡a彡6，i = 1，...，a)，在t-k時刻的虛擬相機坐標系中建立t_k時刻的a個虛擬平面投影點對運算單元，根據上述特征點對獲取單元所獲取的各特征點對(巧，Fj~k), j彡1、以及上述虛擬平面建立單元所建立的t時刻和t-k時刻的虛擬相機坐標系和虛擬平面，對于每一個特征點對(巧‘，F'-^，對其中t時刻的特征點巧'，分別連接以t時刻的虛擬相機坐標系的原點為端點并經過該特征點巧的射線，該射線與t時刻的虛擬平面乂的所有交點構成該特征點巧與上述t時刻的虛擬平面乂的交點集合，將該交點集合中與t時刻的虛擬相機坐標系的原點之間的距離最近的交點作為該特征點巧的投影點，并將該投影點所在的該t時刻的虛擬平面記為該特征點巧的投影平面ρ〗，me (1，...，a)，另外，對上述特征點對(巧巧_k)中t-k時刻的特征點，將上述t時刻的特征點巧的投影平面仏所對應的t-k時刻的虛擬平面作為特征點。'—k的投影平面P^k，并連接以t-k時刻的虛擬相機坐標系的原點為端點并經過該特征點^Tk的射線，將該射線與該投影平面PlTkW交點作為該特征點巧吣的投影點；運動特征點判斷單元，根據上述投影點對運算單元所計算的各特征點對(巧，F；-") , j彡1中的特征點巧的投影點及特征點/iTk的投影點，對于每一個特征點對 (F；, F;~k)，由特征點巧'的投影點及特征點巧-k的投影點構成位移向量，并根據該位移向量的方向判斷該特征點巧是否為運動的特征點，由此檢測出上述大視角相機所拍攝的t時刻的圖像中的運動特征點。根據本發明的運動特征點檢測方法及裝置，適用于移動大視角相機的運動特征點檢測，不需要進行圖像成像面的校正，避免了圖像校正過程所帶來的信息損失，而且算法簡單，檢測效果好，易于實現。而且，在上述運動特征點檢測方法中，也可以還包括運動特征點集合獲取步驟， 根據上述運動特征點判斷步驟判斷為是運動的特征點的全部特征點巧，獲取運動特征點集合；以及運動目標區域生成步驟，根據上述運動特征點集合獲取步驟所獲取的運動特征點集合，生成上述大視角相機所拍攝的t時刻的圖像中的運動目標區域。而且，在上述運動特征點檢測裝置中，也可以還包括運動特征點集合獲取單元， 根據上述運動特征點判斷單元判斷為是運動的特征點的全部特征點巧，獲取運動特征點集合；以及運動目標區域生成單元，根據上述運動特征點集合獲取單元所獲取的運動特征點集合，生成上述大視角相機所拍攝的t時刻的圖像中的運動目標區域。由此，在檢測出大視角相機所拍攝的圖像中的運動特征點的基礎上，還能夠檢測出該圖象中的運動目標。而且，在上述運動特征點檢測方法及裝置中，也可以在計算投影點對的過程中，在判斷特征點巧的投影平面Pln時，不使用上述按照交點與t時刻的虛擬相機坐標系的原點之間的距離來判斷的方式，而是按照上述以t時刻的虛擬相機坐標系的原點為端點并經過該特征點巧的射線與各個坐標軸之間的夾角來進行判斷。由此，可以根據具體情況來選擇判斷特征點巧'的投影平面Pin的方式，使本發明的應用更加方便靈活。而且，在上述運動特征點檢測方法及裝置中，也可以在大視角相機為全景相機的情況下，在建立虛擬平面時，在t時刻的虛擬相機坐標系和t_k時刻的虛擬相機坐標系中分別建立6個虛擬平面。另外，在上述運動特征點檢測方法及裝置中，也可以在上述大視角相機為魚眼相機的情況下，在建立虛擬平面時，在t時刻的虛擬相機坐標系和t_k時刻的虛擬相機坐標系中，與該魚眼相機的成像視角相對應，分別建立3個虛擬平面。由此，根據相機的成像視角來適當地選擇虛擬平面的數量，能夠在運動特征點檢測中盡可能地使算法簡化，減少運算量，加快檢測過程。


圖1是本發明的實施方式1所涉及的運動特征點檢測裝置1的結構圖。圖2是本發明的實施方式1所涉及的運動特征點檢測裝置1的功能模塊圖。圖3是表示由本發明的實施方式1所涉及的運動特征點檢測裝置1執行的運動特征點檢測的流程圖。
圖4是t時刻和t_k時刻的原始相機坐標系的示意圖。圖5是對t時刻的原始相機坐標系進行旋轉的示意圖。圖6是t時刻和t_k時刻的虛擬相機坐標系的示意圖。圖7是t時刻和t_k時刻的虛擬平面的示意圖。圖8是虛擬平面中的投影點所形成的位移向量的示意圖。圖9是本發明的實施方式2所涉及的運動特征點檢測裝置10的功能模塊圖。圖10是表示由本發明的實施方式2所涉及的運動特征點檢測裝置20執行的動作的流程圖。圖11是舉例說明特征點聚類的說明圖。符號說明1,10運動特征點檢測裝置2 大視角相機11 輸入接口12處理器13存儲器121圖像獲取單元122特征點對獲取單元123虛擬平面建立單元124投影點對運算單元125運動特征點判斷單元126運動特征點集合獲取單元127運動目標區域生成單元
具體實施例方式以下結合附圖具體說明本發明的各實施方式。其中，以下實施方式只是用于說明本發明的優選實施方式，不對本發明的保護范圍進行限定。〈實施方式1>以下，結合圖1具體說明本發明的實施方式1所涉及的運動特征點檢測裝置1的結構。另外，圖中的寬箭頭表示數據傳輸的方向，下同。圖1是本發明的實施方式1所涉及的運動特征點檢測裝置1的結構圖。如圖1所示，運動特征點檢測裝置1構成為包括輸入接口 11、處理器12和存儲器13。以下，具體說明該運動特征點檢測裝置1的各硬件結構。輸入接口 11用于傳輸數據，與大視角相機2的數據輸出端口連接，從大視角相機2 的數據輸出端口獲取該大視角相機2所拍攝的圖像數據等數據。該輸入接口 11例如可以是通用的數據傳輸接口，也可以是與大視角相機2的數據輸出端口對應的專用的數據傳輸接口。處理器12用于執行運動特征點檢測裝置1所需的運算并進行相應的控制。具體而言，處理器12從輸入接口 11獲取由大視角相機2的數據輸出端口輸出的圖像數據等數據，對該圖像數據進行運動特征點檢測，并生成由大視角相機所拍攝的圖像中的運動特征點。該處理器12例如可以是CPU(中央處理單元)、MPU(微處理器)等硬件結構，通過執行預先設定的程序來進行處理，對其具體結構不做特別限定。存儲器13用于存儲運動特征點檢測所需的數據，例如存儲處理器12的處理所需的數據、以及處理器12的處理所產生的數據。具體而言，處理器12例如將運動特征點檢測中產生的中間數據暫時存儲在存儲器13中，或將檢測出的運動特征點存儲在存儲器13中。 該存儲器13例如可以是硬盤存儲器、RAM(隨機讀取存儲器)、閃存等通用的存儲器。以下，結合圖2具體說明本發明的實施方式1所涉及的運動特征點檢測裝置1的功能模塊圖。圖2是本發明的實施方式1所涉及的運動特征點檢測裝置1的功能模塊圖。如圖 2所示，通過由上述處理器12執行預先設定的程序，能夠基于以下功能模塊來實現本實施方式所涉及的運動特征點檢測裝置1。即，運動特征點檢測裝置1通過圖像獲取單元121、 特征點對獲取單元122、虛擬平面建立單元123、投影點對運算單元124以及運動特征點判斷單元125來實現。以下，具體說明上述各功能模塊的功能。圖像獲取單元121獲取由大視角相機2所拍攝的t時刻的圖像和t-k時刻的圖像， 并將t時刻的圖像和t-k時刻的圖像發送給特征點對獲取單元122。特征點對獲取單元122獲取t時刻的圖像和t-k時刻的圖像中匹配的特征點對 (F；, F^k)，j彡1，并將獲取的特征點對(巧，F;~k)，j彡1發送給投影點對運算單元124。 關于特征點對的具體獲取方法留待后述。虛擬平面建立單元123建立與t時刻和t-k時刻分別對應的兩個原始相機坐標系，并旋轉這兩個原始相機坐標系，以使它們的光軸方向與這兩個原始相機坐標系的各自的原點之間的連線的方向一致，由此生成t時刻的虛擬相機坐標系和t-k時刻的虛擬相機坐標系，并建立與這兩個虛擬相機坐標系分別對應的虛擬平面P丨(i=l,...，6)和 ρ廣(i=l，...，6)。關于建立坐標系和虛擬平面的具體方法留待后述。投影點對運算單元IM根據由特征點對獲取單元122獲取的特征點對(巧，F;~k)， j彡1、以及由虛擬平面建立單元123建立的t時刻和t-k時刻的虛擬相機坐標系和虛擬平面ρ丨(i=l,..., 6)和ρ，(>1,...，6)，對于特征點對(巧，巧―)中t時刻的每一個特征點巧，分別連接以t時刻所對應的虛擬相機坐標系的原點為端點并經過該特征點巧的射線，該射線與t時刻的虛擬平面ρ丨(i=l，...，6)的所有交點構成該特征點巧'與上述t時刻的虛擬平面的交點集合，將該交點集合中與t時刻所對應的虛擬相機坐標系的原點最近的交點作為該特征點巧的投影點，并將該投影點所在的該t時刻的虛擬平面記為該特征點巧的投影平面ρ。 me (1，...，6)。另外，投影點對運算單元124對于上述特征點對中t-k時刻的每一個特征點巧_k，將t時刻的特征點巧‘所在的投影平面PlnK對應的t-k時刻的虛擬平面作為特征點的投影平面P；；k，并連接以t-k時刻的虛擬相機坐標系的原點為端點并經過該特征點巧_1；的射線，將該射線與投影平面P^Tk的交點作為該特征點^iTk的投影點。最后，投影點對運算單元1 將運算出的特征點對(巧，F；-")，j>l中的每一個特征點巧'的投影點及每一個特征點巧、的投影點發送至運動特征點判斷單元125。運動特征點判斷單元125從投影點對運算單元IM接收特征點對(巧，F;-”，j彡ι中的每一個特征點巧'的投影點及每一個特征點的投影點，由特征點巧'的投影點及特征點巧—“的投影點構成位移向量，根據該位移向量的方向判斷該特征點巧是否為運動的特征點。關于運動特征點的判斷方法留待后述。以下，結合圖3具體說明由本發明的實施方式1所涉及的運動特征點檢測裝置1 執行的運動特征點檢測的具體流程。圖3是表示由本發明的實施方式1所涉及的運動特征點檢測裝置1執行的運動特征點檢測的流程圖。如圖3所示，通過用于實現本實施方式的運動特征點檢測裝置1的各功能模塊，該運動特征點檢測裝置1所執行的運動特征點檢測具體包括以下步驟。(步驟 Sll)由圖像獲取單元121獲取由大視角相機2所拍攝的t時刻的圖像和t_k時刻的圖像，并將t時刻的圖像和t-k時刻的圖像發送給特征點對獲取單元122。(步驟 S12)特征點對獲取單元122對接收到的t時刻的圖像，進行Harris (哈里斯)特征點檢測，得到t時刻的特征點巧。關于此處的特征點檢測方法，可以利用現有技術中的任何一種特征點檢測技術，只要該特征點檢測技術能夠有效地提取出特征點并且滿足所要求的運算效率就可以，不限定為Harris特征點檢測。然后，特征點對獲取單元122對接收到的t-k時刻的圖像，采用Lucasand Kanade' s(盧卡斯和卡納德)特征點跟蹤方法，得到t_k時刻的圖像中的與t時刻的特征點巧匹配的特征點。關于此處的特征點匹配方法，可以利用現有技術中的任何一種特征點匹配技術，只要該特征點匹配技術能夠有效地得到匹配特征點并且滿足所要求的運算效率就可以，不限定為Lucas and Kanade' s特征點跟蹤方法。由此，特征點對獲取單元122得到多個特征點對(巧，Fj-k)，j彡1，并發送給投影點對運算單元124。(步驟S13)虛擬平面建立單元123建立與t時刻和t-k時刻分別對應的兩個原始相機坐標系。具體而言，以相機的光心為坐標系原點ο，建立原始相機坐標系0-ΧΥΖ，其中，OZ軸與相機光軸重合。如圖4所示，在t-k時亥lj，以相機的光心作為坐標系原點0t_k，建立t-k時刻的原始相機坐標系0t_k-Xt_kYt_kZt_k，其中，0t_k-Zt_k與相機光軸重合。另外，在t時亥lj，以相機的光心作為坐標系原點ot，建立t時刻的原始相機坐標系Ot-XtYtZt,其中，Ot-Zt與相機光軸重
口 O另外，通過傳感器或經典方法得到相機的運動參數α，β，Y，T，其中T = (Tx，Ty， τζ)，依次為自車從t-k時刻運動到t時刻繞X，Y，Z軸的旋轉角和沿X，Y，Z軸方向的平移量。上述傳感器可以使用速度傳感器或陀螺儀傳感器等，不做特別限定。另外，上述經典方法可以使用光流方法、運動恢復結構(Structure from Motion, SFM)的方法等，也不做特別限定。接著，如圖5所示，將坐標系Ot-XtYtZt依次繞Z，Y，X軸旋轉-γ，- β，- α角度，得到坐標系 0t”-xt”Yt”zt”。然后，如圖6所示，將坐標系0t_k-Xt_kYt_kZt_k繞向量(Tx，Ty，Tz) X (0,0,1)旋轉角度
權利要求
1.一種運動特征點檢測方法，用于大視角相機，其特征在于，包括以下步驟圖像獲取步驟，獲取由上述大視角相機所拍攝的t時刻的圖像和t-k時刻的圖像；特征點對獲取步驟，根據上述圖像獲取步驟所獲取的上述t時刻的圖像和t-k時刻的圖像，獲取該t時刻的圖像和t-k時刻的圖像中匹配的各特征點對(巧，F'-^，j彡ι ;虛擬平面建立步驟，建立與t時刻對應的原始相機坐標系和與t-k時刻對應的原始相機坐標系，并旋轉這兩個原始相機坐標系以使它們的光軸方向都與這兩個原始相機坐標系的各自的原點之間的連線方向一致，由此生成t時刻的虛擬相機坐標系和t-k時刻的虛擬相機坐標系，并與上述大視角相機的成像視角相對應，在t時刻的虛擬相機坐標系中建立t 時刻的a個虛擬平面A (1彡a彡6，i = 1，...，a)，在t-k時刻的虛擬相機坐標系中建立 t-k時刻的a個虛擬平面ρ廠k;投影點對運算步驟，根據上述特征點對獲取步驟所獲取的各特征點對(巧，F廣), j ^ 1、以及上述虛擬平面建立步驟所建立的t時刻和t-k時刻的虛擬相機坐標系和虛擬平面，對于每一個特征點對(巧‘，F；'")，對其中t時刻的特征點巧'，分別連接以t時刻的虛擬相機坐標系的原點為端點并經過該特征點巧的射線，該射線與t時刻的虛擬平面乂的所有交點構成該特征點巧與上述t時刻的虛擬平面A的交點集合，將該交點集合中與t時刻的虛擬相機坐標系的原點之間的距離最近的交點作為該特征點巧的投影點，并將該投影點所在的該t時刻的虛擬平面記為該特征點《的投影平面p^me (1，...，a)，另外，對上述特征點對(巧，巧—”中t-k時刻的特征點，將上述t時刻的特征點巧的投影平面義所對應的 t-k時刻的虛擬平面作為特征點^5Tk的投影平面P^Tk，并連接以t-k時刻的虛擬相機坐標系的原點為端點并經過該特征點/iTk的射線，將該射線與該投影平面PltTk的交點作為該特征點巧—“的投影點；以及運動特征點判斷步驟，根據上述投影點對運算步驟所計算的各特征點對(巧，, j彡1中的特征點巧的投影點及特征點巧—k的投影點，對于每一個特征點對(巧，F;~k)，由特征點巧'的投影點及特征點^Tk的投影點構成位移向量，并根據該位移向量的方向判斷該特征點巧是否為運動的特征點，由此檢測出上述大視角相機所拍攝的t時刻的圖像中的運動特征點。
2.如權利要求1記載的運動特征點檢測方法，其特征在于，還包括運動特征點集合獲取步驟，根據上述運動特征點判斷步驟判斷為是運動的特征點的全部特征點巧，獲取運動特征點集合；以及運動目標區域生成步驟，根據上述運動特征點集合獲取步驟所獲取的運動特征點集合，生成上述大視角相機所拍攝的t時刻的圖像中的運動目標區域。
3.如權利要求1記載的運動特征點檢測方法，其特征在于，在上述投影點對運算步驟中，在判斷特征點巧的投影平面P〗時，不使用上述按照交點與t時刻的虛擬相機坐標系的原點之間的距離來判斷的方式，而是按照上述以t時刻的虛擬相機坐標系的原點為端點并經過該特征點巧的射線與各個坐標軸之間的夾角來進行判斷。
4.如權利要求1記載的運動特征點檢測方法，其特征在于，在上述大視角相機為全景相機的情況下，在上述虛擬平面建立步驟中，在t時刻的虛擬相機坐標系和t-k時刻的虛擬相機坐標系中分別建立6個虛擬平面。
5.如權利要求1記載的運動特征點檢測方法，其特征在于，在上述大視角相機為魚眼相機的情況下，在上述虛擬平面建立步驟中，在t時刻的虛擬相機坐標系和t-k時刻的虛擬相機坐標系中，與該魚眼相機的成像視角相對應，分別建立3個虛擬平面。
6.一種運動特征點檢測裝置，用于大視角相機，其特征在于，包括圖像獲取單元，獲取由上述大視角相機所拍攝的t時刻的圖像和t-k時刻的圖像；特征點對獲取單元，根據上述圖像獲取單元所獲取的上述t時刻的圖像和t-k時刻的圖像，獲取該t時刻的圖像和t-k時刻的圖像中匹配的各特征點對(巧，F;~k) , j ^ 1 ；虛擬平面建立單元，建立與t時刻對應的原始相機坐標系和與t-k時刻對應的原始相機坐標系，并旋轉這兩個原始相機坐標系以使它們的光軸方向都與這兩個原始相機坐標系的各自的原點之間的連線方向一致，由此生成t時刻的虛擬相機坐標系和t-k時刻的虛擬相機坐標系，并與上述大視角相機的成像視角相對應，在t時刻的虛擬相機坐標系中建立t 時刻的a個虛擬平面A' (1彡a彡6，i = 1，...，a)，在t-k時刻的虛擬相機坐標系中建立 t-k時刻的a個虛擬平面A—k;投影點對運算單元，根據上述特征點對獲取單元所獲取的各特征點對(巧，Ft'^ , j彡1、以及上述虛擬平面建立單元所建立的t時刻和t-k時刻的虛擬相機坐標系和虛擬平面，對于每一個特征點對(巧‘，巧―k)，對其中t時刻的特征點巧‘，分別連接以t時刻的虛擬相機坐標系的原點為端點并經過該特征點巧的射線，該射線與t時刻的虛擬平面的所有交點構成該特征點巧與上述t時刻的虛擬平面乂的交點集合，將該交點集合中與t時刻的虛擬相機坐標系的原點之間的距離最近的交點作為該特征點巧的投影點，并將該投影點所在的該t時刻的虛擬平面記為該特征點巧的投影平面p^me (1，...，a)，另外，對上述特征點對(巧，巧_k)中t-k時刻的特征點《_k，將上述t時刻的特征點巧'的投影平面Pj1^對應的 t-k時刻的虛擬平面作為特征點巧_1<的投影平面p! _k，并連接以t-k時刻的虛擬相機坐標系的原點為端點并經過該特征點^5Tk的射線，將該射線與該投影平面P^Tk的交點作為該特征點的投影點；運動特征點判斷單元，根據上述投影點對運算單元所計算的各特征點對(巧，^Tk) ’ j彡1中的特征點巧的投影點及特征點巧4的投影點，對于每一個特征點對(巧，F；-")，由特征點巧'的投影點及特征點巧‘、的投影點構成位移向量，并根據該位移向量的方向判斷該特征點巧是否為運動的特征點，由此檢測出上述大視角相機所拍攝的t時刻的圖像中的運動特征點。
7.如權利要求6記載的運動特征點檢測裝置，其特征在于，還包括運動特征點集合獲取單元，根據上述運動特征點判斷單元判斷為是運動的特征點的全部特征點巧，獲取運動特征點集合；以及運動目標區域生成單元，根據上述運動特征點集合獲取單元所獲取的運動特征點集合，生成上述大視角相機所拍攝的t時刻的圖像中的運動目標區域。
8.如權利要求6記載的運動特征點檢測裝置，其特征在于，上述投影點對運算單元在判斷特征點巧的投影平面Pln時，不使用上述按照交點與t時刻的虛擬相機坐標系的原點之間的距離來判斷的方式，而是按照上述以t時刻的虛擬相機坐標系的原點為端點并經過該特征點巧的射線與各個坐標軸之間的夾角來進行判斷。
9.如權利要求6記載的運動特征點檢測裝置，其特征在于，在上述大視角相機為全景相機的情況下，上述虛擬平面建立單元在t時刻的虛擬相機坐標系和t-k時刻的虛擬相機坐標系中分別建立6個虛擬平面。
10.如權利要求6記載的運動特征點檢測裝置，其特征在于，在上述大視角相機為魚眼相機的情況下，上述虛擬平面建立單元在t時刻的虛擬相機坐標系和t-k時刻的虛擬相機坐標系中，與該魚眼相機的成像視角相對應，分別建立3個虛擬平面。
全文摘要
本發明提供一種運動特征點檢測方法及裝置，適用于大視角相機。該運動特征點檢測方法及裝置獲取由該大視角相機拍攝的圖像，根據該圖像獲取t時刻和t-k時刻的特征點對，并分別建立t時刻和t-k時刻的虛擬相機坐標系及虛擬平面，通過特征點對在虛擬平面中的投影點位移方向來判斷其是否為運動特征點。根據本發明的運動特征點檢測方法及裝置，不需要進行圖像成像面的校正，避免了圖像校正過程所帶來的信息損失，而且算法簡單，檢測效果好，易于實現。
文檔編號H04N5/14GK102243764SQ201010173489
公開日2011年11月16日 申請日期2010年5月13日 優先權日2010年5月13日
發明者于紅緋, 劉威, 袁淮 申請人:東軟集團股份有限公司, 阿爾派株式會社