專利名稱：估算無人機，尤其是能夠在自動駕駛下執行懸停飛行的無人機的水平速度的方法
技術領域：
本發明涉及駕駛無人機，尤其是諸如直升機、四旋翼直升機之類的旋翼無人機。
背景技術：
此類無人機的典型示例是法國巴黎的鸚鵡股份有限公司(Parrot SA)生產的 AR. Drone，其是裝配有一系列傳感器(三軸加速計和陀螺儀，高度計)的四旋翼直升機。無人機還設置有前置攝像機，其朝無人機前進的方向拍攝場景圖片，并且還設置有垂直定向的攝像機，拍攝無人機所飛過地形的圖片。無人機可由用戶通過由無線電連接到無人機的遠程遙控設備進行駕駛。無人機還設置有用于穩定懸停飛行的自動系統，該自動系統尤其用于使無人機能以自動方式達到平衡點，并且一旦達到所述平衡點，其用于提供保持該固定點所需的修整校正，即通過校正由于例如空氣流動的外部影響和傳感器的漂移引起的小的平移運動而提供修整校正。高度計是位于無人機下的超聲測距儀，其提供垂直速度的測量，從而可伺服控制推力以穩定無人機的高度。此外，慣性傳感器(加速計和陀螺儀)用于以一定的準確性測量無人機的角速度和姿態角，從而可用于沿與地心引力相反的方向動態伺服控制無人機的推力方向。為了進行懸停飛行，仍然存在消除無人機線性速度的問題。可惜的是，所采用低成本的加速計通常噪聲過大，以致當來它們的信號被二次整合時無法給出令人滿意的無人機速度估算。W02009/109711A2 (鸚鵡股份有限公司，Parrot)提出了通過分析前視相機拍攝的連續圖片并識別圖片中各個特征點的運動來從前視相機的圖片中估算無人機的水平速度。然而，該技術的不足在于缺乏準確性，尤其是在最低速度情況下(當無人機以低速朝前移動時，所拍攝圖片的連續圖片之間的變化非常小)。它還非常依賴于相機拍攝的場景中感興趣特征點的存在或不存在當圖片均一時，例如，當在戶外時，示出墻壁或天空， 特征點的準缺失(quasi-absence)使該技術失效。本發明依賴于垂直定向的相機而非前視相機所傳送的圖片以估算無人機的水平速度。然而，識別由該相機拍攝的圖片中的各個點的移動仍然是一項困難的任務，該任務強烈地同時依賴于i)場景的特性(或多或少的對比度，朝或大或小范圍的改變)；ii)速度；和iii)限制計算復雜度的約束。特別地，如果要求在懸停時執行自動穩定伺服控制，適合的做法是進行同步準確的，靈敏的(由于平衡點附近的線性速度可能非常低)，并實時可用的速度測量，從而可有效地，反應地執行伺服控制。然而，應注意到本發明并不限于為了穩定無人機的懸停飛行而估算速度，它可更普遍地應用于無人機的所有飛行配置中，即使移動值接近無人機的最大速度(大約5米每秒(m/s))。
存在各種能從攝像機拍攝的場景中估算移動速度的算法。算法的第一種類型是所謂的“光流算法”，以下文獻特別對其進行了詳細描述[1]LUCAS B. D.和KANADE T.，“迭代圖像配準技術在立體視覺中的應用”(An Iterative Image Registration Technique with an Application to Stereo Vision), PR0C. DARPA Image Understanding Workshop，第 121-130 頁，1981 ；和[2]HORN B. K. P.禾Π SCHUNK Β·，“確定光流”(Determining Optical Flow), Artificial Intelligence, (17)第 185-204 頁，1981。還可以參考以下文獻[3]M0NDRAG0N I.et al.，“基于對無人機控制的平面物體追蹤的三維姿態估計，，(3D Pose Estimation Based on Planar Object Tracking for UAVs Control), proc. IEEE conf.On Robotics and Automation，第 35-41 頁，2010，5 月 3-8，其中描述了用于無人機著陸時的駕駛的，采用不同分辨率估算光流的多分辨率技術。光流方法具有對場景約束少的優勢(對比少，內容少)。此外，通過采用“多分辨率”方法，能夠估算高速度和低速度兩者。相反，該方法對旋轉和姿態的變化很敏感，它不可能內在地驗證給出結果的質量，即，此算法始終假設有足夠點提供了大的梯度并藉此給出一結果，但即使該結果是無意義，其仍被給出。總而言之，光流法是一種“全地形”法，能夠在非常寬范的速度范圍內操作，但它給出的結果并不總是可靠的，也不非常準確，特別是在低速時。另一種類型的算法包括所謂“角點探測器”或“感興趣點探測器”算法，此算法的基礎在以下文獻中示例給出[4]ROSTEN E.和DRUMM0ND T. “用于高性能跟蹤的融合點和線”(Fusing Points and Lines for High Performance Tracking)， IEEE International Conference on Computer Vision，第 1508-1511 頁，2005 年，和 [5] ROSTEN Ε.和DRUMM0ND Τ. “用于高速角點探測的機器學習” (Machine Learning for High-Speed Corner Detection)， European Conference on Computer Vision，第 430-443 頁，2006 年。角點探測器算法準確，魯棒性強，它考慮了旋轉，并能夠探測異常的估算結果并排除它們。此外，無論速度如何，其絕對精度不變(與光流法不同)，這使它可得到很好的結果，尤其是在低速時，當希望使用它的結果用于懸停飛行的穩定和伺服控制時，其優點尤其明顯。作為對比，該方法在對比和紋理方面對場景施加了更大的約束，這意味它并不適用于所有可能遇到的情況。最后，在所有環境下，采用計算結果用于伺服控制無人機的特定自動駕駛控制要求數據實際上實時可用，且在任何情況下足夠快以保證無人機可以以所有預期的反應度進行自動駕駛。該約束限制了執行傳統算法的可能性，傳統算法通常設計成在具有快速處理器和大內存容量的計算機上執行
發明內容
本發明的一個目標是提供綜合上述兩種技術，即光流法和角點探測法的優點的新方法，該方法尤其在檢測速度以用于伺服控制懸停飛行的無人機的情況下使用，但并不限于此。本發明的另一個目標是能夠從這些優點中受益，即使在對比度很低而噪音高的場景，或者在圖像中所識別的形狀能夠以不可預知的方式發生外觀改變的場景，例如當無人機飛過非常易變和不可預知的地形時發生的情況。本發明的另一個目標是提出一種測量水平速度的方法，其適于實現，從而可通過組裝在無人機中的，因此計算能力方面的性能有限的機載計算機來給出實時速度測量結^ ο為此，本發明提供估算無人機的水平平移速度的方法，所述無人機尤其是具有適合測量無人機相對無人機飛過地形高度的高度計，和適合拍攝地形場景的連續數字圖像的垂直定向俯視攝像頭的無人機。該方法通過估算攝像機拍攝的連續圖像間的場景的移動，并通過將比例因子應用到所估算的移動來操作，其中比例因子是測量高度的函數。以一種本身已知的方式，移動的估算包括定期和連續地更新圖像類型金字塔的多分辨率表示，該多分辨率表示以不同的連續降低的分辨率建模場景的給定被拍攝圖像； 對每個新拍攝圖像，應用光流型迭代算法到所述多分辨率表示來估算連續圖像間的場景的差異移動。以本發明的特征方式，該方法進一步包括從光流算法生成的數據中獲取表示拍攝場景中微對比等級的至少一個紋理參數；得到無人機水平平移速度的近似值；將第一組預定標準應用于所述紋理參數和所述速度近似值；如果滿足所述第一組預定標準，從光流算法轉到角點探測器型算法以估算連續圖像間的場景的差異移動。紋理參數是從圖像梯度分量的矩陣中導出的參數
權利要求
1.一種估算無人機，尤其是能夠在自動駕駛下懸停飛行的旋翼無人機的水平平移速度的方法，所述無人機包括 高度計，適于測量無人機相對于其飛過地形的高度； 垂直定向的俯視攝像頭，適合拍攝所述地形的場景的連續數字圖像； 該方法包括估算攝像機拍攝的連續圖像間的場景的移動，并將作為測得高度函數的比例因子應用到所估算的移動， 移動的估算包括 定期和連續更新圖像類型金字塔的多分辨率表示，該多分辨率表示以不同的連續降低的分辨率建模場景的給定被拍攝圖像；和 對每個新拍攝圖像，應用光流型迭代算法到所述多分辨率表示以估算連續圖像間的場景的差異移動。該方法進一步包括 從光流算法生成的數據中獲取拍攝場景中微對比等級的至少一個紋理參數表示，該紋理參數表示并從圖像的梯度分量的矩陣中導出H1Jy 1Eετ^ιχ ] ΕE 」其中Ix和Iy是圖像的梯度分量，E是一點集，其中梯度對該點集的范數大于預定第一有用閾值； 獲取無人機水平平移速度的近似值； 將第一組預定標準應用于所述紋理參數和所述速度近似值；和 如果滿足所述第一組預定標準，從光流算法轉到角點探測器型算法以估算連續圖像間的場景的差異移動。
2.根據權利要求1的方法，其中所述至少一個紋理參數是所述圖像梯度分量的矩陣的軌跡的值。
3.根據權利要求1的方法，其中所述至少一個紋理參數是梯度對其的范數大于第一預定有用閾值的所述點集E的基數。
4.根據權利要求1的方法，其中所述至少一個紋理參數是所述圖像梯度分量的矩陣的軌跡的值，并且至少一個所述紋理參數是梯度對其的范數大于第一預定有用閾值的所述點集E的基數，并且其中用于決定是否從光流算法轉到角點探測器算法的第一組預定標準可累計地包括以下條件 所述軌跡的值大于第二給定閾值； 所述基數大于第三給定閾值；和 速度估算小于第四給定閾值。
5.根據權利要求1的方法，其中，當所選算法是角點探測器算法并且速度近似值小于第五閾值時，該方法進一步包括通過為至少一些所選跟蹤器修改跟蹤器的搜索參數和圖像中搜索區在限定方向上的尺度來調整角點探測器算法。
6.根據權利要求1的方法，進一步包括，當所選算法是角點探測器算法并且速度近似值小于第五閾值時，激活伺服控制無人機在原位的自動駕駛模式。
7.根據權利要求1的方法，還包括，在轉到角點探測器算法后 從角點探測器算法生成的數據中得到，表示通過角點探測器算法估算連續圖像間的場景的差異移動的失敗風險的至少一個參數； 獲取無人機的水平平移速度的近似值； 應用第二組預定標準到所述失敗風險參數和所述速度近似值； 若滿足所述第二組預定標準，轉回到光流算法以估算連續圖像間的場景的差異移動。
8.根據權利要求7的方法，其中所述失敗風險參數可包括由角點探測器算法采用的鎖定跟蹤器的數目。
9.根據權利要求8的方法，其中用于決定是否轉回到光流算法的所述第二組預定標準可包括以下任一條件 鎖定跟蹤器的數目小于第六給定閾值；或 速度估算大于第七給定閾值。
10.根據權利要求1的方法，進一步包括計算從光流算法或角點探測器算法的第一算法轉到另一個算法開始已被拍攝的連續圖像的數目，并且以自轉到其他算法開始計數了某最小數目的圖像為條件而轉回到第一算法。
全文摘要
本發明涉及估算無人機，尤其是能夠在自動駕駛下執行懸停飛行的無人機的水平速度的方法。本發明的方法通過估算垂直定向的相機拍攝的場景的差異移動來操作。估算包括定期和連續地更新圖像類型金字塔的多分辨率表示，該多分辨率表示以不同的連續降低的分辨率建模場景的給定被拍攝圖像。對每個新拍攝圖像，應用光流型迭代算法到所述表示。該方法進一步提供響應由光流算法生產的數據以獲取拍攝場景中微對比等級的至少一個紋理參數表示，并獲取速度的近似值，隨后對此參數應用一組預定標準參數。如果滿足所述一組預定標準，則該系統從光流算法轉到角點探測器型算法。
文檔編號A63H27/133GK102298070SQ20111022926
公開日2011年12月28日 申請日期2011年6月17日 優先權日2010年6月22日
發明者T·德爾巴納 申請人:鸚鵡股份有限公司