用于圖像穩定的系統和方法及使用該方法的變焦相機的制作方法

專利名稱：用于圖像穩定的系統和方法及使用該方法的變焦相機的制作方法
技術領域：
與示例性實施例一致的方法和設備涉及通過圖像處理進行圖像穩定以及一種包括圖像穩定功能的變焦相機(zoom camera)。
背景技術：
近來，在建筑物和街道安裝了很多監視相機，以防止犯罪和偷竊。通過警察局或大樓管理處中的監視器，監視相機拍攝的圖像顯示安裝有監視相機的地方的當前狀態。通常，監視相機具有變焦功能以放大或縮小目標，從而為用戶提供更多的便利。然而，在具有變焦功能的監視相機中，當諸如多個透鏡組和電荷耦合裝置(CCD)的成像裝置安裝在監視相機中時，或者由于諸如光學系統的公差的各種因素，會出現光軸誤差，因此，監視相機的光軸根據可變焦距的變化而改變。圖1A至圖1C是示出在變焦相機拍攝的圖像中出現光軸誤差時的圖像。參照圖1，圖1A中標記有“ + ”的部分表示圖像的中心區域。然而，比較圖1A中的圖像與圖1B中的圖像，圖1A中的標記有“ + ”的中心部分移動，如圖1B所示，這表明出現了光軸誤差。因此，如圖1C所示，需要一種補償光軸誤差的方法，從而即使在圖像被放大之后，圖像的中心區域也保持在其原始位置處。通常，已經提出了機械的圖像穩定的方法。然而，這種方法的問題在于，如果物理沖擊在補償光軸誤差之后施加到相機，或者如果經過了很長的時間，則應該再次對相機應用物理補償。

發明內容
一個或多個示例性實施例提供了這樣一種方法和系統，S卩，通過圖像處理確定輸入圖像是否包括代表性特征部分，當輸入圖像包括代表性特征部分時通過使用圖像匹配方法進行圖像穩定，如果輸入圖像不包括代表性特征部分，則通過使用光流信息補償光軸誤差；一個或多個示例性實施例還提供了一種包括圖像穩定功能的變焦相機。根據示例性實施例的一方面，提供了一種圖像穩定的方法，所述方法包括:確定輸入圖像是否包括代表性特征部分；如果確定輸入圖像包括代表性特征部分，則對代表性特征部分進行采樣，以產生采樣圖像；放大采樣圖像，將放大圖像與采樣圖像進行匹配，并獲得匹配圖像的中心坐標；以及通過計算匹配圖像的中心坐標和采樣圖像的中心坐標之間的差使光軸對準。代表性特征部分可具有高于預定等級的亮度等級或者包括預定的形狀，并且從輸入圖像中的多個特征部分中選擇代表性特征部分。確定輸入圖像是否包括代表性特征部分的步驟可包括:從輸入圖像提取多個特征部分；從提取的特征部分中選擇具有預定特征的候選特征部分；以及如果放大的采樣圖像包括候選特征部分，則確定輸入圖像包括代表性特征部分，如果放大的采樣圖像不包括候選特征部分，則確定輸入圖像不包括代表性特征部分。將放大的采樣圖像與采樣圖像進行匹配的步驟可包括:如果以等于或小于2.5的放大率放大采樣圖像，則執行尺度不變特征變換(SIFT)匹配。將放大的采樣圖像與采樣圖像進行匹配的步驟可包括:如果以等于或大于2.5的放大率放大采樣圖像，則通過以放大采樣圖像所采用的放大率調整采樣圖像的大小來執行模板匹配。根據另一示例性實施例的方面，提供了一種圖像穩定的方法，所述方法包括:確定輸入圖像是否包括代表性特征部分；如果確定輸入圖像不包括代表性特征部分，則在輸入圖像的放大過程中計算輸入圖像的光流；通過使用從計算的光流獲得的光流信息來獲得光軸誤差信息；通過使用獲得的光軸誤差信息使光軸對準。計算光流的步驟可包括:在輸入圖像的放大過程中根據預定數量的幀獲得輸入圖像。獲得光軸誤差信息的步驟可包括:基于距離輸入圖像的中心的至少一個距離和在所述至少一個距離中的每個距離處的至少一個方向形成光流柱狀圖。只有在所述至少一個距離中的每個距離處的光流的最小值和最大值的方向相互對稱的情況下，才可獲得光軸誤差信息。可基于在所述至少一個距離的每個距離處的光流的平均值和最小值的差獲得光
軸誤差信息。根據另一示例性實施例的方面，提供一種圖像穩定系統，所述圖像穩定系統包括:代表性特征部分存在確定單元，確定輸入圖像是否包括代表性特征部分；采樣單元，如果確定輸入圖像包括代表性特征部分，則采樣單元對代表性特征部分進行采樣以產生采樣圖像；匹配單元，放大采樣圖像，將放大圖像與采樣圖像進行匹配，并獲得匹配圖像的中心坐標；以及光軸對準單元，通過計算匹配圖像的中心坐標和采樣圖像的中心坐標之間的差使光軸對準。代表性特征部分可具有高于預定等級的亮度等級或者包括預定的形狀，并且從輸入圖像中的多個特征部分中選擇代表性特征部分。代表性特征部分存在確定單元可從輸入圖像提取多個特征部分，從提取的特征部分中選擇具有預定特征的候選特征部分，如果放大的采樣圖像包括候選特征部分，則確定輸入圖像包括代表性特征部分，如果放大的采樣圖像不包括候選特征部分，則確定輸入圖像不包括代表性特征部分。如果以等于或小于2.5的放大率放大采樣圖像，則匹配單元通過尺度不變特征變換(SIFT)匹配將放大的采樣圖像和采樣圖像進行匹配。如果以等于或大于2.5的放大率放大采樣圖像，則匹配單元通過以放大采樣圖像所采用的放大率調整采樣圖像的大小來通過模板匹配將放大的采樣圖像和采樣圖像進行匹配。根據另一示例性實施例的方面，提供了一種圖像穩定系統，所述圖像穩定系統包括:代表性特征部分存在確定單元，確定輸入圖像是否包括代表性特征部分；光流計算單元，如果確定輸入圖像不包括代表性特征部分，則光流計算單元在輸入圖像的放大過程中計算輸入圖像的光流；誤差信息提取單元，通過使用從計算的光流獲得的光流信息來獲得光軸誤差信息；光軸對準單元，通過使用獲得的光軸誤差信息使光軸對準。光流計算單元可通過在輸入圖像的放大過程中根據預定數量的幀獲得輸入圖像來計算光流。誤差信息提取單元可基于距離輸入圖像的中心的至少一個距離和在所述至少一個距離中的每個距離處的至少一個方向形成光流柱狀圖來獲得光軸誤差信息。只有在所述至少一個距離中的每個距離處的光流的最小值和最大值的方向相互對稱的情況下，誤差信息提取單元才可獲得光軸誤差信息。誤差信息提取單元可基于在所述至少一個距離的每個距離處的光流的平均值和最小值的差獲得光軸誤差信息。根據另一示例性實施例，提供了一種變焦相機，所述變焦相機包括:代表性特征部分存在確定單元，確定輸入圖像是否包括代表性特征部分；光軸誤差計算單元，如果代表性特征部分存在確定單元確定輸入圖像包括代表性特征部分，則通過將包括代表性特征部分的采樣部分與放大的采樣部分進行匹配來獲得光軸誤差信息，如果代表性特征部分存在確定單元確定輸入圖像不包括代表性特征部分，則通過計算與輸入圖像對應的至少兩個圖像之間的光流信息來計算光軸誤差信息；以及光軸對準單元，通過使用獲得的光軸誤差信息補償光軸誤差。


通過參照附圖詳細地描述以上和其它方面的示例性實施例，以上和其它方面將變得更清楚，在附圖中:圖1A至圖1C是示出在變焦相機拍攝的圖像中出現光軸誤差時的圖像；圖2是根據示例性實施例的圖像穩定系統的框圖；圖3A至圖3D是示出根據示例性實施例的用于檢測代表性特征部分的示例的示圖；圖4是示出根據示例性實施例的可能出現光軸誤差的方向近似為八個方向的示圖；圖5A至圖5C是分別示出了根據示例性實施例的通過對圖1A至圖1C中的圖像進行采樣獲得的圖像、對采樣采樣的圖像進行放大獲得的圖像以及將區域進行匹配獲得的圖像的示圖；圖6是示出了根據示例性實施例的當光軸向右上方移動時根據距離圖像中心的距離的光流的大小信息的示圖；圖7是用于描述根據示例性實施例的圖像穩定系統的流程圖；圖8是用于描述根據示例性實施例的確定圖像是否包括代表性特征部分的方法的流程圖；圖9是用于描述根據示例性實施例的光流計算單元計算光流的過程的流程圖；和圖10是用于描述根據示例性實施例的誤差信息提取單元通過使用光流信息提取光軸誤差的過程的流程圖。
具體實施例方式現在將參照附圖更充分地描述本發明構思，在附圖中示出了本發明構思的示例性實施例。將詳細地描述示例性實施例，從而本領域的普通技術人員可以容易地實現本發明構思。應該理解的是，本發明構思的示例性實施例可改變，但不是相互排斥的。例如，在不脫離本發明構思的精神和范圍的情況下，根據本說明書中的預定實施例的具體形狀、結構和性能可在其它實施例中進行變型。另外，在不脫離本發明構思的精神和范圍的情況下，每個示例性實施例的單獨組件的位置或布局也可以進行變型。因此，下面的詳細描述不應該被解釋為具有限制的意思，而是應該被解釋為包含權利要求的范圍及任何與權利要求的范圍等同的范圍。在附圖中，在各個方面，相同的標號表示相同的元件。在下文中，現在將參照附圖更充分地描述本發明構思，在附圖中示出了本發明構思的示例性實施例，從而本領域的普通技術人員可容易地實現本發明構思。圖2是根據示例性實施例的圖像穩定系統的框圖。參照圖2，圖像穩定系統包括變焦相機1、圖像預處理器10、代表性特征部分存在確定單元20、采樣單元31、匹配單元32、光流計算單元33、誤差信息提取單元34和光軸對準單元40。變焦相機I安裝在需要圖像拍攝的區域中，并提供拍攝該區域而獲得的圖像。變焦相機I是能夠拍攝圖像的設備，例如，相機、可攜式攝像機或閉路電視(CCTV)。在當前的實施例中，變焦相機I可提供使輸入圖像放大的功能。圖像預處理器10將變焦相機I輸入的圖像數據的模擬信號轉換成數字信號。盡管在圖2中圖像預處理器10設置在變焦相機I的外部，但是圖像預處理器10也可以設置在變焦相機I內。代表性特征部分存在確定單元20確定從變焦相機I獲得的輸入圖像是否具有特征部分。在當前的實施例中，圖像的代表性特征部分指的是圖像中的作為用于確定輸入圖像中的光軸誤差的標準的部分。換言之，代表性特征部分指的是圖像中的具有顯著的高亮和區別形狀的部分，從而即使在圖像處理過程中將放大后的圖像與其放大前的圖像相比，用戶可以清楚地識別兩個圖像是相同的。在當前的實施例中，輸入圖像可具有一個或多個代表性特征部分。圖3A至圖3D是示出根據示例性實施例的用于檢測代表性特征部分的示例的示圖。參照圖3A，當圖像中用星星標記的部分被稱作特征部分時，圖3A中的圖像具有多個特征部分。在這樣的情況下，代表性特征部分存在確定單元20可將多個特征部分中的一些特征部分相互重疊的部分或者強特征部分確定為候選特征部分。在圖3A至圖3C中，被代表性特征部分存在確定單元20確定為代表性特征部分的候選特征部分用黑色星星標記。參照圖3A，當圖像被放大時，放大區域Zl可不包括候選特征部分。在這種情況下，代表性特征部分存在確定單元20可在放大區域Zl中重新確定候選特征部分。通過重復上述的處理，假設圖3C中的圖像是最終放大圖像，如果圖3C中的圖像包括候選特征部分，則代表性特征部分存在確定單元20可將候選特征部分確定為代表性特征部分。
可選地，假設圖3D中的圖像是最終放大圖像，如圖3A至圖3D所示，則即使當最終放大圖像不包括特征部分時，或者不包括作為代表性特征部分的特征部分時，代表性特征部分存在確定單元20可確定圖像不包括代表性特征部分。如果圖像不包括代表性特征部分，則可通過使用光流信息獲得光軸誤差信息，如后面所述。另外，代表性特征部分存在確定單元20可確定輸入圖像是否僅在特定方向上包括代表性特征部分。在變焦相機I中，由于光軸誤差通常僅出現在一個方向上，所以代表性特征部分存在確定單元20可僅在出現光軸誤差的方向上確定特征部分的存在，以減少操作量。圖4是示出根據示例性實施例的可出現光軸誤差的方向近似為八個方向的示圖。參照圖4，假設僅在第I至第8的8個方向上出現光軸誤差。具體地講，在-22.5度和+22.5度之間的光軸誤差被近似，使得該光軸誤差出現在+0度的方向上。與在所有方向上檢測代表性特征部分的存在時相比，代表性特征部分存在確定單元20可僅在如圖4所示的八個方向上確定代表性特征部分的存在，從而減少了操作量。在下文中，將描述如果代表性特征部分存在確定單元20確定圖像包括特征部分的圖像穩定的方法。后面將描述如果代表性特征部分存在確定單元20確定圖像不包括特征部分的圖像穩定的方法。采樣單元31對圖像中包括特征部分的部分進行采樣。采樣單元31執行采樣的區域包括特征部分，并可具有適于在圖像之間進行匹配的大小。在當前的實施例中，如果輸入圖像包括多個特征部分，則輸入圖像也可以包括多個采樣區域。另外，采樣單元31可獲得采樣區域的中心坐標。從采樣區域獲得的中心坐標可用(x_s，y_s)表不。圖5A至圖5C是分別示出了根據示例性實施例的對圖1A至圖1C中的圖像進行采樣獲得的圖像、放大采樣圖像獲得的圖像以及對區域進行匹配獲得的圖像的示圖。參照圖5A，對在圖1A的圖像中用“ + ”標記的部分(即，圖像的中心區域和外圍區域)進行采樣。換言之，如果代表性特征部分存在確定單元20確定圖像中心的光為代表性特征部分，則可獲得包括該光的預定區域作為如圖5A所示的采樣圖像。另外，采樣單元31可調整采樣圖像的大小，如圖5B所示，以執行將在后面描述的模板匹配。返回參照圖2，匹配單元32將采樣圖像與采樣圖像的放大圖像進行匹配。如果以等于或小于2.5的放大率放大采樣圖像，則匹配單元32通過尺度不變特征變換(SIFT)匹配執行匹配。即使圖像由于例如大小的改變、旋轉或光的變化而改變時，SIFT匹配也可以用于通過提取在目標的邊緣或頂點(vertex)產生的特征點作為矢量來對圖像進行平滑地匹配。換言之，根據SIFT匹配的特性，無論圖像的大小和方向如何，SIFT匹配可將放大圖像與采樣圖像進行匹配大小。相反，如果以等于或大于2.5的放大率放大采樣圖像，則匹配單元32可以以匹配之后的剩余放大率放大采樣圖像，并且如果光軸移動，則匹配單元32可執行包括匹配和補償采樣圖像的重復性補償方法。因此，如果以等于或大于2.5的放大率放大采樣圖像，則匹配單元32可通過以放大采樣部分所采用的放大率調整采樣圖像的大小來執行模板匹配。另外，匹配單元32獲得匹配后的匹配區域的中心坐標。返回參照圖5A至圖5C，匹配單元32可獲得圖5A的圖像中的匹配區域的中心坐標，例如，即最亮區域的中心坐標。獲得的中心坐標可用(x_m，y_m)表示。光軸對準單元40可通過使用獲得的中心坐標，使變焦相機I在平移方向(pan direction)上移動(x_s_x_m)并在傾斜方向上移動(y_s_y_m)。在下文中，將描述如果代表性特征部分存在確定單元20確定圖像不包括特征部分的圖像穩定的方法。如果代表性特征部分存在確定單元20確定圖像不包括代表性特征部分并且多個特征點分散在整個圖像中，則不會使用通常的SIFT匹配方法或模板匹配方法，因此，代表性特征部分存在確定單元20通過計算圖像之間的光流來提取并補償變焦相機I的光軸誤差。根據示例性實施例，如果圖像沒有任何部分的亮度水平高于預定水平，則代表性特征部分存在確定單元20可確定圖像不包括代表性特征部分。詳細地講,光流計算單元33計算變焦相機I放大圖像時圖像之間的光流。光流計算單元33可將放大之前的圖像設置為圖像A_0，并可將預定的時間段流逝之后(N幀之后)的圖像設置為圖像A_l，其中，N是大于或等于I的整數。為了在每幀中計算圖像的光流，操作量增大，因而處理效率會降低。因此，在當前的實施例中，通過在預定的幀計算圖像的光流，在不丟失特征部分的情況下，可減少操作的數量。光流計算單元33可將使用圖像A_0和圖像A_1進行放大時的光流信息存儲為0F_1 ο通過使用這種方法，光流計算單兀33可在每第(N+1)巾貞獲得圖像彳目息A_0、A_l、A_2、...、A_k,并獲得圖像之間的光流信息0F_0、0F_1、0F_2、...、0F_k_l，其中，k為大于或等于I的整數。誤差信息提取單元34通過使用獲得的光流信息獲得距離光流的圖像的中心的距離，然后形成關于L個距離和M個方向的二維(2D)柱狀圖。誤差信息提取單元34參照形成的2D柱狀圖，在每個距離處相對于每個方向提取光流的最小值和最大值。這里，由于根據相機曲率的特性，距離圖像的中心的距離與光流的大小成比例，所以可通過針對每個距離獲得光流的方向和大小來提取可靠的信息，因此，誤差信息提取單元34獲得光流特征部分距離圖像的中心的距離。圖6是示出根據示例性實施例的當光軸朝向右上側移動時根據距離圖像的中心的距離的光流的大小信息的示圖。圖6示出了當變焦相機I朝向右上方移動(沿方向(a)移動)時。如果變焦相機I的光軸沒有移動，則與圖像的中心C分隔開距離d的區域Cl的光流將具有等大小的位于圓環外側的射線形式。然而，參照圖6，在與圖像的中心C分隔開距離d的區域Cl的光流中，方向(a)的大小小于方向(b)的大小。換言之，位于區域Cl的方向(a)上的光流和方向(b)上的光流具有不同的大小，與沒出現光軸誤差的情況不同。類似的，在與圖像的中心C分隔開不同距離的區域C2和C3中，由于與其放大前的圖像相比，圖像的中心C沿方向(a)移動，所以方向(a)上的光流小于方向(b)上的光流。另外，參照圖6，隨著距離圖像的中心C的距離增大，光流的大小增大。由于當通過使用變焦相機I放大圖像時，遠離圖像的中心C的區域移動得更遠，所以光流的大小按照區域C1、C2和C3的順序增大。返回參照圖2，誤差信息提取單元34可通過使用光流計算單元33獲得的光流信息形成關于L個距離的在M個方向上的柱狀圖。關于L個距離，誤差信息提取單元34可在不過于增加操作量的范圍內以近似的水平設置L個距離。例如，L可為3，如圖6中所示。另外，如以上參照圖4所描述的，M個方向可設置為8。如果整個角度區域被劃分成8個區域，如圖4所示，則執行關于角度的近似，因此，可考慮相對于相鄰方向的近似值以減小誤差。基于形成的柱狀圖，誤差信息提取單元34在每個距離提取相對于每個方向的最小值和最大值。這里，由于根據變焦相機I的光軸誤差的特性，距離圖像的中心的距離與光流的大小成比例，所以光流的方向和大小彼此不同，因此，誤差信息提取單元34提取最小值和最大值。換言之，返回參照圖6，在距離中心C的相同距離的區域(例如，Cl)中的光流的大小彼此不同，并且光流的大小在與圖像的中心C距離不同距離的區域C1、C2和C3中彼此不同。換言之，當距離圖像的中心C的距離增大時，光流的大小增大，并且與光軸誤差的方向相同的方向(a)上的光流小于方向(b)上的光流。因此，可通過獲得關于距離和方向的光軸誤差數據來執行可靠的誤差補償。誤差信息提取單元34確定最小值和最大值的方向是否相互對稱。當最小值和最大值的方向相互對稱時，誤差信息提取單元34可通過使用最大值和最小值之間的差的平均值來提取誤差信息。這里，由于光軸通常移動，所以最小值和最大值的方向相互對稱。換言之，如圖6所示，光流的大小在光軸移動所沿的方向(a)上小，而在與方向(a)相反的方向(b)上大,最小值和最大值的方向相互對稱。如果最小值和最大值的方向不相互對稱，則由于光軸沒有向任何一個方向移動，所以難以通過使用光流的變化來提取光軸誤差/[目息O如果最小值和最大值的方向經過了上述的對稱檢查，則誤差信息提取單元34在對應的距離計算光流的平均值和最小值的差。誤差信息提取單元34可通過使用計算的平均值獲得光軸誤差信息。參照回到圖6，可通過計算光流的平均值與光流(在方向(a)上)的最小值之間的差來獲得方向(a)上的光軸誤差信息。最終，光軸對準單元40通過使用匹配單元32和誤差信息提取單元34獲得的光軸誤差信息補償光軸誤差。這里，替代使用物理方法，可通過將光軸移動的程度轉換成坐標的圖像處理來執行對光軸誤差的補償。圖7是用于描述根據示例性實施例的圖像穩定系統的流程圖。參照圖7，圖像穩定系統通過使用變焦相機I獲得具有特定變焦值的輸入圖像(操作 Si)。接下來，代表性特征部分存在確定單元20確定獲得的輸入圖像是否包括代表性特征部分(操作S2)。如上所述，代表性特征部分可指輸入圖像的設置為代表性值以在圖像處理過程中從多個區別特征部分中補償光軸誤差的部分。接下來，如果代表性特征部分存在確定單元20確定輸入圖像包括代表性特征部分，則對輸入圖像的代表性特征部分進行采樣以產生采樣圖像，并且獲得采樣區域的中心坐標且中心坐標被設置為(X_s, y_s)(操作Fl)。接下來，使用變焦相機I放大輸入圖像，并獲得輸入圖像的放大區域的圖像信息(操作F2) ο然后，確定采樣圖像是否是以等于或小于2.5的放大率放大(操作F3)。如果采樣圖像以等于或小于2.5的放大率放大，則采樣圖像和放大圖像通過SIFT匹配而相互匹配(操作F4)。相反，如果采樣圖像以大于2.5的放大率放大，則可通過放大采樣圖像所采用的放大率來調整采樣圖像的大小，然后采樣圖像和放大圖像通過模板匹配而相互匹配(操作F5)。接下來，獲得放大圖像中的匹配區域的中心坐標(x_m，y_m)(操作F6)。最終，光軸對準單元40通過使中心坐標在平移方向上移動(x_s_x_m)并在傾斜方向上移動(y_s_y_m)以補償光軸誤差來使移動的光軸對準。另一方面,如果代表性特征部分存在確定單元20確定輸入圖像不包括代表性特征部分，則光流計算單元33獲得使輸入圖像放大之前的圖像(操作01)。接下來，光流計算單元33通過使用變焦相機I使圖像放大，并在圖像的放大過程中計算圖像的光流(操作02)。接下來，誤差信息提取單元34通過使用光流信息提取光軸誤差信息(操作03)。如上所述，通過利用光軸僅沿一個方向移動的事實，誤差信息提取單元34基于光流的移動方向和與光流的移動方向相反的方向上的光流信息獲得光軸誤差信息。最后，光軸對準單元40通過在與光軸誤差信息的方向相反的方向上使平移值和傾斜值移動光軸誤差信息的大小來補償光軸誤差(操作04)。圖8是用于描述根據示例性實施例的確定圖像是否包括代表性特征部分的方法的流程圖。參照圖8，代表性特征部分存在確定單元20從放大之前的圖像提取全部特征部分(操作S21)。接下來，將可作為圖像中的代表性特征部分的特征部分設置為候選特征部分(操作S22)，然后對圖像進行放大(操作S23)。接下來，確定放大的圖像是否包括候選特征部分(操作S24)。如果放大的圖像不包括候選特征部分，則在放大的圖像中重新設置候選特征部分(操作S25)。否則，如果放大的圖像包括候選特征部分，則確定圖像是否需要被另外放大(操作S26)。如果圖像需要被另外放大，則該方法返回至操作S23，并重復該操作。否則，如果圖像不需要被另外放大，則代表性特征部分存在確定單元20將設置的候選特征部分設置為代表性特征部分(操作S27)。盡管在圖8中未示出，與圖8中示出的處理無關，當代表性特征部分存在確定單元20可不設置代表性特征部分時，代表性特征部分存在確定單元20可確定輸入圖像不包括代表性特征部分。圖9是用于描述根據示例性實施例的光流計算單元33計算光流的過程的流程圖。參照圖9，光流計算單元33獲得放大之前的圖像，并將該圖像存儲為圖像A_0 (操作 021)。接下來，光流計算單元33計算圖像A_0和N幀之后的圖像A_1之間的光流，并將該光流存儲為0F_1 (操作022)。接下來，光流計算單元33計算圖像A_1和從圖像A_1的幀之后的N幀之后的圖像A_2之間的光流，并將該光流存儲為0F_2 (操作023)。通過使用上述的方法，光流計算單元33以N個幀為間隔計算圖像A_k_l和圖像A_k的光流，并將所述光流存儲為0F_k-l (操作024)。為了運算效率，光流計算單元33在每第(N+1)巾貞計算光流，而不是在每巾貞計算圖像的光流。
圖10是用于描述根據示例性實施例的誤差信息提取單元34通過使用光流信息提取光軸誤差的過程的流程圖。參照圖10，誤差信息提取單元34計算存儲的光流特征部分與圖像的中心的距離(操作031)。接下來，誤差信息提取單元34針對距離圖像的中心的L個距離形成M個方向上的光流柱狀圖(操作032)。如上所述，參照圖4和圖6，誤差信息提取單元34可形成關于距離圖像中心的三個距離在8個方向上的柱狀圖。接下來，誤差信息提取單元34針對L個距離提取每個方向上的最大值和最小值(操作033)。如上所述，當光軸沿任何一個方向移動時，光軸移動所沿的方向上的光流具有最小值，而與光軸移動所沿的方向相反的方向上的光流具有最大值。誤差信息提取單元34可通過使用最大值和最小值之間的差計算光軸誤差信息。接下來，誤差信息提取單元34在L個距離中的每個距離處確定最小值和最大值的方向是否相互對稱(操作034)。如果光軸在任何一個方向上移動，則最小值和最大值的方向相互對稱。如果最小值和最大值的方向相互對稱，則誤差信息提取單元34在L個距離中的每個距離處提取光流的平均值，并將該平均值存儲為(Avg_l，...Avg_L)(操作035)。另一方面,如果最大值和最小值的方向相互不對稱，則光軸在各個方向移動，因此，誤差信息提取單元34可不使用對應距離的特征部分信息(操作036)。最后，誤差信息提取單元34可通過用L除在對應的距離值中的每個距離值處的光流的平均值和最小值之差的和來獲得光軸誤差信息。換言之，可通過等式Σ (Avg_a-Min_a) /L來獲得光軸誤差信息，其中，a為I至L (操作037)。根據以上的示例性實施例，光軸誤差系統可通過圖像處理有效地補償光軸誤差。另外，在無需物理改變變焦相機的設置的情況下，可通過圖像處理補償光軸誤差。盡管已經參照本發明構思的示例性實施例具體地示出和描述了本發明構思，但是本領域的普通技術人員將理解的是，在不脫離由權利要求限定的本發明構思的精神和范圍的情況下，可以在此在形式和細節上做出各種改變。
權利要求
1.一種圖像穩定的方法，所述方法包括以下步驟: 確定輸入圖像是否包括代表性特征部分； 如果確定輸入圖像包括代表性特征部分，則對代表性特征部分進行采樣，以產生采樣圖像； 放大采樣圖像，將放大圖像與采樣圖像進行匹配，并獲得匹配圖像的中心坐標；和 通過計算匹配圖像的中心坐標和采樣圖像的中心坐標之間的差使光軸對準。
2.根據權利要求1所述的方法，其中，代表性特征部分具有高于預定等級的亮度等級或者包括預定的形狀，并且從輸入圖像中的多個特征部分中選擇代表性特征部分。
3.根據權利要求1所述的方法，其中，確定輸入圖像是否包括代表性特征部分的步驟包括: 從輸入圖像提取多個特征部分；從提取的特征部分中選擇具有預定特征的候選特征部分；和 如果放大的采樣圖像包括候選特征部分，則確定輸入圖像包括代表性特征部分，如果放大的采樣圖像不包括候選特征部分，則確定輸入圖像不包括代表性特征部分。
4.根據權利要求1所述的方法，其中，將放大的采樣圖像與采樣圖像進行匹配的步驟包括:如果以等于或小于2.5的放大率放大采樣圖像，則執行尺度不變特征變換SIFT匹配。
5.根據權利要求1所述的方法，其中，將放大的采樣圖像與采樣圖像進行匹配的步驟包括:如果以大于2.5的放大率放大采樣圖像，則通過以放大采樣圖像所采用的放大率調整采樣圖像的大小來執行模板匹配。
6.一種圖像穩定的方法，所述方法包括: 確定輸入圖像是否包括代表性特征部分； 如果確定輸入圖像不包括代表性特征部分，則在輸入圖像的放大過程中計算輸入圖像的光流； 通過使用由計算的光流獲得的光流信息來獲得光軸誤差信息； 通過使用獲得的光軸誤差信息使光軸對準。
7.根據權利要求6所述的方法，其中，計算光流的步驟包括:在輸入圖像的放大過程中根據預定數量的幀獲得輸入圖像。
8.根據權利要求6所述的方法，其中，獲得光軸誤差信息的步驟包括:基于距離輸入圖像的中心的至少一個距離和在所述至少一個距離中的每個距離處的至少一個方向形成光流柱狀圖。
9.根據權利要求8所述的方法，其中，只有在所述至少一個距離中的每個距離處的光流的最小值和最大值的方向相互對稱的情況下，才能獲得光軸誤差信息。
10.根據權利要求6所述的方法，其中，基于在所述至少一個距離的每個距離處的光流的平均值和最小值的差獲得光軸誤差信息。
11.一種圖像穩定系統，所述圖像穩定系統包括: 代表性特征部分存在確定單元，確定輸入圖像是否包括代表性特征部分； 采樣單元，如果確定輸入圖像包括代表性特征部分，則采樣單元對代表性特征部分進行采樣以產生采樣圖像； 匹配單元，放大采樣圖像，將放大圖像與采樣圖像進行匹配，并獲得匹配圖像的中心坐標；和 光軸對準單元，通過計算匹配圖像的中心坐標和采樣圖像的中心坐標之間的差使光軸對準。
12.根據權利要求11所述的圖像穩定系統，其中，代表性特征部分具有高于預定等級的亮度等級或者包括預定的形狀，并且從輸入圖像中的多個特征部分中選擇代表性特征部分。
13.根據權利要求11所述的圖像穩定系統，其中，代表性特征部分存在確定單元從輸入圖像提取多個特征部分，從提取的特征部分中選擇具有預定特征的候選特征部分，如果放大的采樣圖像包括候選特征部分，則確定輸入圖像包括代表性特征部分，如果放大的采樣圖像不包括候選特征部分，則確定輸入圖像不包括代表性特征部分。
14.根據權利要求11所述的圖像穩定系統，其中，如果以等于或小于2.5的放大率放大采樣圖像，則匹配單元通過尺度不變特征變換SIFT匹配將放大的采樣圖像和采樣圖像進行匹配。
15.根據權利要求11所述的圖像穩定系統，其中，如果以等于或大于2.5的放大率放大采樣圖像，則匹配單元通過以放大采樣圖像所采用的放大率調整采樣圖像的大小來通過模板匹配將放大的采樣圖像和采樣圖像進行匹配。
16.一種圖像穩定系統，所述圖像穩定系統包括: 代表性特征部分存在確定單元，確定輸入圖像是否包括代表性特征部分； 光流計算單元，如果確定輸入圖像不包括代表性特征部分，則光流計算單元在輸入圖像的放大過程中計算輸入圖像的光流； 誤差信息提取單元，通過使 用從計算的光流獲得的光流信息來獲得光軸誤差信息； 光軸對準單元，通過使用獲得的光軸誤差信息使光軸對準。
17.根據權利要求16的圖像穩定系統，其中，光流計算單元通過在輸入圖像的放大過程中根據預定數量的幀獲得輸入圖像來計算光流。
18.根據權利要求16的圖像穩定系統，其中，誤差信息提取單元基于距離輸入圖像的中心的至少一個距離和在所述至少一個距離中的每個距離處的至少一個方向形成光流柱狀圖來獲得光軸誤差信息。
19.根據權利要求18的圖像穩定系統，其中，只有在所述至少一個距離中的每個距離處的光流的最小值和最大值的方向相互對稱的情況下，誤差信息提取單元才能獲得光軸誤差/[目息。
20.根據權利要求16的圖像穩定系統，其中，誤差信息提取單元基于在所述至少一個距離的每個距離處的光流的平均值和最小值的差獲得光軸誤差信息。
21.一種變焦相機，所述變焦相機包括: 代表性特征部分存在確定單元，確定輸入圖像是否包括代表性特征部分； 光軸誤差計算單元，如果代表性特征部分存在確定單元確定輸入圖像包括代表性特征部分，則通過將包括代表性特征部分的采樣部分與放大的采樣部分進行匹配來獲得光軸誤差信息，如果代表性特征部分存在確定單元確定輸入圖像不包括代表性特征部分，則通過計算與輸入圖像對應的至少兩個圖像之間的光流信息來計算光軸誤差信息；和 光軸對準單元，通過使用獲得的光軸誤差信息補償光軸誤差。
全文摘要
本發明提供了一種通過圖像處理的圖像穩定的方法和系統以及一種包括圖像穩定功能的變焦相機。所述方法包括確定輸入圖像是否包括代表性特征部分；如果確定輸入圖像包括代表性特征部分，則對代表性特征部分進行采樣，以產生采樣圖像；放大采樣圖像，將放大圖像與采樣圖像進行匹配，并獲得匹配圖像的中心坐標；以及通過計算匹配圖像的中心坐標和采樣圖像的中心坐標之間的差使光軸對準。
文檔編號H04N5/232GK103188442SQ20121058386
公開日2013年7月3日 申請日期2012年12月28日 優先權日2011年12月29日
發明者全材烈 申請人:三星泰科威株式會社