專利名稱：Method of using laser scanned point clouds to create selective compression masks的制作方法
技術領域：
本發明涉及一種處理來自移動測繪系統(MMS)的相機數據的方法、一種計算機布 置、一種包括此計算機布置的數據處理系統、一種計算機程序產品及一種具備此計算機程 序產品的數據載體。
背景技術：
在一些MMS應用中，主要意圖是捕獲建筑物立面及其它固定對象(如樹木、街道標 志及街燈)的圖片，所述圖片稍后在用于(例如)汽車導航系統中的“真實世界”2D及/或 3D街道圖像中使用。接著，向具備此一導航系統的汽車的駕駛員顯示這些圖像，使得所述駕 駛員在所述導航系統的屏幕上看到與在通過所述汽車的窗戶觀察時的真實世界視圖對應 的2D及/或3D圖像。此類圖片還可用于除了汽車導航系統以外的應用中，舉例來說，用于 可作為獨立系統或作為聯網環境中的協作系統而在計算機上玩的游戲中。此一環境可以是 因特網。如下文所呈現的本發明的解決方案不限于特定應用。所述圖片被收集并存儲且涉及巨大的數據大小，因為許多圖片經拍攝以覆蓋道路 網絡的顯著部分。因此，圖片數據包括可能來自多個相機的許多圖像幀。為將圖片數據減 小到可管理大小，可應用壓縮技術。通常，圖像質量與壓縮量成反比。這在例如交通標志等 項需要保持可辨識/可辨認時可為不利的，而不論應用于圖片數據的可能壓縮技術如何。根據現有技術，已知在每一圖片中識別不同的所關心的區域且在第一所關心的區 域中使用第一壓縮因數(相對高)并在第二所關心的區域中使用第二壓縮因數(相對低) 的技術。此確保實現相對高的數據大小減小，同時又不擯棄有價值的信息，例如交通標志。 此技術稱為光柵圖像(即，相機數據)的差分壓縮且是現代文檔掃描及壓縮系統的主要要
o這些現有技術解決方案(即，Luratech' s LuraDocument)中的大多數使用文本 辨識作為識別所關心的區域的手段。此類系統的基本假設是可以較高比率(即，具有較多 損失)壓縮非文本區。此類算法在計算上是昂貴且復雜的，且如果應用到MMS數據將需要 對計算機功率的顯著投資。此外，文本辨識算法可需要關于待辨識的文本的字體、間距、旋 轉的假設。最重要的，此類技術局限于識別包括文本的所關心的區域。2006年10月30日提出申請且在本專利申請案提出申請時未公開的文件PCT/ NL2006/050269描述一種用于通過使用掃描儀識別某些對象而找出圖像中的區域來支持圖 像辨識的系統。PCT/NL2006/050269僅涉及找出區域，但未解決管理相機數據量的問題。2007年11月7日提出申請且在本專利申請案提出申請時未公開的文件PCT/ NL2007/050541描述可如何使用掃描儀數據來識別某些對象(例如)以從相機數據中移除 隱私敏感數據。同樣，此文件未解決管理相機數據量的問題。
發明內容
本發明的目標是提供可使用相對少的計算功率來執行的差分壓縮算法。
根據一方面，提供一種處理移動測繪系統的相機數據的方法，其中所述方法包 括a)獲得來自所述移動測繪系統的至少一個相機的相機數據，b)檢測所述相機數據中的至少一個區域，c)在第一區域中對所述相機數據應用壓縮技術，其中所述方法進一步包括獲得來自至少第一范圍傳感器的范圍傳感器數據，所述 范圍傳感器數據至少部分地對應于所述相機數據且b)包括使用所述范圍傳感器數據來識 別所述相機數據中的所述至少一個區域。根據進一步的方面，提供一種計算機布置，其包括處理器及連接到所述處理器的 存儲器，所述存儲器包括計算機程序，所述計算機程序包括經布置以允許所述處理器執行 以下操作的數據及指令a)獲得來自移動測繪系統的至少一個相機的相機數據，b)檢測所述相機數據中的至少一個區域，c)在第一區域中對所述相機數據應用第一壓縮技術，其中所述處理器進一步被允許獲得來自至少第一范圍傳感器的范圍傳感器數據， 所述范圍傳感器數據至少部分地對應于所述相機數據且b)包括使用所述范圍傳感器數據 來識別所述相機數據中的所述至少一個區域。根據一方面，提供一種包括如上所述的計算機布置及移動系統的數據處理系統， 所述移動系統包括用于提供所述時間及位置和定向數據的位置確定系統、用于提供所述第 一范圍傳感器數據的至少第一范圍傳感器及用于提供所述圖像數據的至少一個相機。根據一方面，提供一種包括可由計算機布置加載的數據及指令的計算機程序產 品，所述數據及指令所述計算機布置執行所描述的方法中的任一者。根據一方面，提供一種具備此一計算機程序的數據載體。應注意，與基于文本的現有技術解決方案相比，所提供的實施例在計算上不那么 昂貴及復雜。由于在所述實施例中現在使用范圍傳感器，因此辨識交通標志(平面對象) 不需要關于將要辨識的文本的字體、間距、旋轉的假設。此外，所述實施例不局限于辨識文 本，而是可辨識更多的對象。
將參照一些圖式詳細地解釋本發明，所述圖式僅打算顯示本發明的實施例而非限 制范圍。本發明的范圍在所附權利要求書中且由其技術等效內容加以界定。所述圖式顯示圖1顯示具有相機及激光掃描儀的MMS系統；圖2顯示位置和定向參數的圖示；圖3顯示在其車頂上具備兩個相機及兩個范圍傳感器的汽車的示意性俯視圖；圖4a顯示執行本發明可借助的計算機布置的圖示；圖4b顯示根據本發明實施例的流程圖；圖5顯示根據實施例的相機數據，圖6顯示根據實施例的范圍傳感器數據，
圖7顯示根據實施例的立方體區域，圖8a及8b顯示投射到相機數據上的范圍傳感器數據，圖9顯示相機數據中的所關心的區域，且圖10顯示根據實施例的相機數據。
具體實施例方式本發明主要涉及處理由移動測繪系統(MMS)上的相機拍攝的圖像的領域。更具體 而言，在一些實施例中，本發明涉及處理此類圖像。然而，并不排除所附權利要求書的范圍 所涵蓋的其它應用。例如，可由例如飛機或海船等任何其它適合載具來攜載相機。圖1顯示采取汽車1形式的匪S系統。汽車1具備一個或一個以上相機9(1)，I =1，2，3，...1及一個或一個以上激光掃描儀3(力，]_ = 1，2，3，...J。在本文中，由相機9(i)捕獲的數據將稱為相機數據。此為2D數據。由3(j)捕獲 的數據將稱為掃描儀數據。此為3D數據。相機數據及掃描儀數據可共同地稱為MMS數據。范圍傳感器可使用來自至少兩個或兩個以上掃描儀3(j)的信息。汽車1可由駕駛員駕駛著 沿所關心的道路行駛。激光掃描儀3(j)可由任一種類的范圍傳感器替代，所述任一種類的 范圍傳感器允許針對某一組方位檢測所述范圍傳感器與由所述范圍傳感器感測的對象之 間的距離。此一替代范圍傳感器可以是(例如)雷達傳感器或激光雷達傳感器。如果使用 雷達傳感器，那么其范圍和方位測量數據應與如可借助激光掃描儀獲得的那些范圍和方位 測量數據相當。所述范圍傳感器提供與不同對象相關的此類點云。由于對象并不位于相同位置 上，因此與此類點云中的每一者相關的點向所述范圍傳感器顯示清晰的不同距離及/或方 位(取決于所述點屬于哪一對象)。因此，使用相對于所述范圍傳感器的這些范圍差，可容 易地做出與不同對象相關的遮掩。接著，可將這些遮掩應用到由所述相機拍攝的圖像以在 所述圖像中識別對象。此結果為識別那些對象的可靠方式且比僅依賴于圖像數據更容易。激光掃描儀數據可包括若干像素，其中每一像素包括方向信息(即，在獲得特定 像素時激光掃描儀所指向的方向)及距離信息(即，激光掃描儀與所檢測對象之間的距 罔)。在一實施例中，范圍傳感器/激光掃描儀3(j)經布置而以最小50Hz及ldeg分 辨率產生輸出以針對本文所描述的實施例產生足夠密集的輸出。例如由SICK生產的型號 LMS291-S05的激光掃描儀能夠產生此輸出。此一激光掃描儀提供足夠分辨率以檢測如交通 標志等項。圖像傳感器此處術語“相機”被理解為包含任一類型的圖像傳感器，包含(例如)LadybugTM。MMS系統上的相機可及時拍攝相連圖片，使得其再現具有相同場景的重疊部分的 數個圖片。在此類重疊部分中，所捕獲對象可在數個圖片中可見。可在使用任一類型的范圍傳感器(例如，激光、雷達或激光雷達)的同時應用本發 明的原理。可由任一適合載具(例如，飛機)所攜載的任一類型的相機拍攝圖像。汽車1具備多個車輪2。此外，汽車1具備高精確度位置/定向確定系統。此一系統經布置以提供關于汽車1的位置和定向的6自由度數據。圖1中顯示一實施例。如圖1 中所示，所述位置/定向確定系統包括以下裝置 GPS(全球定位系統)單元，其連接到天線8且經布置以與多個衛星SLk(k= 1， 2,3,...)通信且根據從衛星SLk接收的信號計算位置信號。所述GPS單元連接到微處理 器PP。所述微處理器PP經布置以存儲從所述GPS單元接收的隨時間而變的數據。此數 據將被發送到外部計算機布置以供進一步處理。在一實施例中，基于從所述GPS單元接收 的信號，所述微處理器P P可確定將在汽車1中的監視器4上顯示的適合顯示信號，從而告 知駕駛員汽車的所在位置及所述汽車可能正沿哪個方向行進(注意GPS是通用的。例如 歐洲伽利略(European Galileo)或俄羅斯全球軌道導航衛星系統(Russian GL0NASS)的 系統可包括“GPS”)以及原始美國國防部GPS。
DMI (距離測量儀器)。此儀器是通過感測車輪2中的一者或一者以上的旋轉次 數來測量汽車1行進的距離的里程表。所述DMI還連接到所述微處理器yP。所述微處理 器UP經布置以存儲變化從所述DMI接收的隨時間而變的數據。此數據也將被發送到外部 計算機布置以供進一步處理。在一實施例中，所述微處理器PP在根據來自所述GPS單元 的輸出信號計算顯示信號的同時考慮到由所述DMI測量的距離。
IMU(慣性測量單元)。此一 IMU可實施為經布置以測量旋轉加速度的三個回轉 儀單元及沿三個正交方向的三個平移加速計。所述IMU還連接到所述微處理器yP。所述 微處理器PP經布置以存儲變化從所述IMU接收的隨時間而變的數據。此數據也將被發送 到外部計算機布置以供進一步處理。如圖1中所示的系統(例如)通過借助安裝于汽車1上的一個或一個以上相機 9(i)拍攝圖片來收集地理數據。所述相機連接到所述微處理器PP。此外，在汽車1正沿 所關心的道路行駛時，激光掃描儀3 (j)拍攝激光樣本。因此，所述激光樣本包括與同這些 所關心的道路相關聯的環境相關的數據且可包含與建筑物大廈、與樹木、交通標志、停泊的 車、人等相關的數據。激光掃描儀3 (j)還連接到所述微處理器P P且將這些激光樣本發送到所述微處 理器UP。通常想要從三個測量單元GPS、IMU及DMI提供盡可能精確的位置和定向測量。在 相機9(i)拍攝圖片且激光掃描儀3 (j)拍攝激光樣本的同時測量這些位置和定向數據。存 儲所述圖片(相機數據)及所述激光樣本(掃描儀數據)兩者以供稍后在所述微處理器 PP的適合存儲器中結合在拍攝這些圖片及激光樣本時收集的汽車1的對應位置和定向數 據使用。及時使來自所述GPS、通隊010、相機9(1)及激光掃描儀3(j)的所有數據相關的 替代方式為給所有這些數據加時間戳并將時間戳數據連同其它數據一起存儲于所述微處 理器的存儲器中。可替代地使用其它時間同步標記。所述圖片及激光樣本(分別為相機數據及掃描儀數據)包含(例如)關于建筑物 大廈立面、交通標志的信息。圖2顯示可從圖1中所示的三個測量單元GPS、DMI及IMU獲得哪些位置信號。圖 2顯示微處理器P P經布置以計算6個不同參數，即，相對于預定坐標系統中的原點的3個 距離參數x、y、z及分別為《x、《y、《,的3個角度參數，其分別表示繞x軸、y軸及z軸的 旋轉。z方向與重力向量的方向一致。
圖3顯示具有兩個范圍傳感器3(1)、3(2)(其可以是激光掃描儀但或者可以是 (例如)雷達)及兩個相機9 (1)、9 (2)的MMS。兩個范圍傳感器3 (1) ,3(2)布置于汽車1的 車頂上，使得在相對于汽車1的行駛方向觀看時其指向汽車1的右側。借助SDl指示范圍 傳感器3(1)的掃描方向而借助SD2指示范圍傳感器3(2)的掃描方向。相機9(1)也向右 側觀看，即，其可垂直于汽車1的行駛方向指向。相機9(2)正沿行駛方向觀看。此設置適 合于其中車輛在右車道中行駛的所有那些國家。在相機9(1)及激光掃描儀3(1)、3 (2)定 位于汽車車頂的左側上的意義上，所述設置優選地針對其中車輛在街道的左側上行駛的那 些國家而改變(同樣，“左”是相對于汽車1的行駛方向界定的)。應理解，所屬領域的技術 人員可使用許多其它配置。例如，一個范圍傳感器3(1)可定位于汽車1的右側上，而第二 范圍傳感器3(2)位于汽車1的左側上。當然，也可提供單個激光掃描儀。汽車1中的微處理器可實施為計算機布置。圖4a中顯示此一計算機布置的實例。在圖4a中，給出計算機布置10的概略圖，其包括用于實施算術運算的處理器11。處理器11連接到多個存儲器組件，包含硬盤12、只讀存儲器(ROM) 13、電可擦除可 編程只讀存儲器(EEPROM) 14及隨機存取存儲器(RAM) 15。并不一定需要提供所有這些存儲 器類型。此外，這些存儲器組件無需在物理上接近于處理器11定位而是可遠離處理器11 定位。處理器11還連接到用戶用來輸入指令、數據等的構件，如鍵盤16及鼠標17。也可 提供所屬領域的技術人員已知的其它輸入構件，例如觸摸屏、軌跡球及/或話音轉換器。提供連接到處理器11的讀取單元19。讀取單元19經布置以從數據載體(如軟 盤20或⑶ROM 21)讀取數據且可能地在所述數據載體上寫入數據。其它數據載體可以是 磁帶、DVD、⑶-R、DVD-R、存儲棒等，如所屬領域的技術人員已知。處理器11還連接到打印機23以在紙張上以及向顯示器18打印輸出數據，所述顯 示器例如是監視器或LCD (液晶顯示器)屏或所屬領域的技術人員已知的任何其它類型的 顯不器。處理器11可連接到擴音器29。處理器11可借助I/O構件25連接到通信網絡27，例如，公共交換電話網(PSTN)、 局域網(LAN)、廣域網(WAN)、因特網等。處理器11可經布置以通過網絡27與其它通信布 置通信。當載具在沿街道移動的同時收集數據時，這些連接可不均實時地連接。數據載體20、21可包括呈數據及指令形式的計算機程序產品，其經布置以給所述 處理器提供執行根據實施例的方法的能力。然而，或者，此計算機程序產品可經由電信網絡 27下載。處理器11可實施為獨立系統，或實施為各自經布置以實施較大計算機程序的子 任務的多個平行操作處理器，或實施為具有數個子處理器的一個或一個以上主處理器。本 發明的部分功能性甚至可由通過網絡27與處理器11通信的遠程處理器實施。可以看出，當應用于汽車1中時，所述計算機布置不需要具有圖4a中所示的所有 組件。舉例來說，那么所述計算機布置不需要具有擴音器及打印機。至于汽車1中的實施 方案，所述計算機布置需要至少處理器11、用以存儲適合程序的某一處理器及用以從操作 者接收指令及數據并向所述操作者顯示輸出數據的某一種類的接口。為對分別由相機9 (i)、激光掃描儀3 (j)及位置/定向測量系統拍攝的圖片、掃描及所存儲的位置和定向數據進行后處理，將使用與圖4a中所示的布置類似的布置，但此布 置可不定位于汽車1中而是可方便地定位于建筑物中以供離線后處理。將由相機9(i)、掃 描儀3(j)及位置/定向測量系統拍攝的圖片、掃描及位置/定向數據存儲于存儲器12到 15中的一者中。此存儲可經由首先將所述圖片、掃描及位置/定向數據存儲于DVD、存儲棒 或類似物上或從存儲器12、13、14、15中傳輸其(可能以無線方式)來完成。優選地還給所 有測量加時間戳且還存儲這些各種時間測量。實施例根據實施例，使用掃描儀數據來形成用于掩蔽相機數據中的區的遮掩以設定相機 數據內的差分壓縮參數。因此，使用掃描儀數據來確定相機數據中的區域。所述區域可以 是所關心的區域，其中不同的所關心的區域可具有指派給其的不同的所關心的程度。且不 同壓縮參數可適合于不同的所關心的程度。因此，提供一種處理來自移動測繪系統的相機數據，其中所述方法包括a)獲得來自所述移動測繪系統的至少一個相機9 (j)的相機數據，b)檢測所述相機數據中的至少一個區域，c)在第一區域中對所述相機數據應用壓縮技術，其中所述方法進一步包括獲得來自至少第一范圍傳感器3(1)的范圍傳感器數 據，所述范圍傳感器數據至少部分地對應于所述相機數據且b)包括使用所述范圍傳感器 數據識別所述相機數據中的所述至少一個區域。所述方法可進一步包括d)在第二區域中對所述相機數據應用第二壓縮技術。至少兩個區域可以是所關心 的區域，其具有不同的所關心的程度。所述第一壓縮技術可涉及應用第一壓縮因數且所述 第二壓縮技術可涉及應用第二壓縮因數，所述第一壓縮因數大于所述第二壓縮因數。當然， 這也可以是相反的，即，所述第一壓縮因數小于所述第二壓縮因數。此允許將第一壓縮技術用于所述第一區域且將第二技術用于所述第二區域。所述 第一壓縮技術可涉及使用第一壓縮因數(相對高的數據減小)。所述第二技術可涉及使用 具有第二壓縮因數的第二壓縮技術(相對低的數據減小)。實施例使用通過使用掃描儀數據確定所述相機數據中的區域的算法。此算法稱為 區域檢測算法。下文將提供此類區域檢測算法的實例。所述區域檢測算法可為靈活的且可 針對不同應用、不同區(城市的、農村的、工業的等等)而不同。因此，b)可包括對所述范圍傳感器數據應用區域檢測算法以檢測至少一個區域。 所述區域檢測算法可經布置以檢測為以下各項的區域1)在預定距離或區準則內，2)平面的，3)特定對象(或對象類別)，4)非特定對象(或對象類別)，或5)具有預定特性的表面。對象類別可以是樹木、汽車、人類等等。預定特性的表面可以是具有某些預定尺寸 或具有預定形狀(圓形、三角形、正方形)的平面表面。實施例使用除所述相機數據以外的信息來檢測所述相機數據內的區域。通過使用空間分析來使所述相機數據與掃描儀數據相關。可如此處所解釋的那樣來完成使所述掃描儀數據與所述相機數據相關或將所述 掃描儀數據投射到所述相機數據的過程。所述掃描儀數據具備時間戳。可使用此時間戳計 算在那個時刻汽車1的準確位置和定向。可根據由GPS (全球定位系統)單元、DMI (距離測 量儀器)及/或IMU (慣性測量單元)獲得的存入數據推斷汽車1的位置和定向。因此，已 知激光掃描儀關于所述汽車的位置和定向，可在真實世界坐標中計算每一激光掃描儀點。此外，相機數據具備時間戳且已知其相對于所述汽車的位置和定向。因此，對于所 述相機數據，可確定真實世界坐標及定向。因此，對于所述掃描儀數據及所述相機數據兩 者，準確位置和定向數據是可用的。通過使用來自相機鏡頭參數(焦距、校準的光學失真)的信息，可使用簡單透視方 程式將每一掃描儀數據映射到所述相機數據的坐標空間。因此，圖像數據中的每一像素可 與在相機中檢測到的深度或對象或表面相關聯。由于掃描儀數據的分辨率通常低于圖像數 據，因此通常需要激光掃描儀數據的聚合。此可通過以下步驟來完成用所述激光掃描儀點 產生網并將所述網映射到相機數據或將每一激光點映射到圖像坐標并使用如膨脹等圖像 技術在圖像空間中進行外推。因此，所述掃描儀數據及所述相機數據兩者實際上可包括兩種類型的信息圖像 數據及圖像空間參考數據。所述圖像數據形成圖像本身(點云或像素)，而所述圖像空間 參考數據包括關于界定拍攝所述圖像的地方及所沿的方向的(元)信息。所述圖像空間參 考數據可(例如)包括6個條目X、y、z及α、β、Y，其中x、y、ζ坐標用于界定特定相機 9 (j)或范圍傳感器3 (i)的(相對)位置且α、β、γ是界定特定相機9 (j)或范圍傳感器 3(i)的特定相機或激光掃描儀的(相對)方向的角度。流程4b顯示根據實施例的流程圖。所述流程圖可編碼成經布置以給處理器11提供 執行所述流程圖的能力的數據及指令的形式。所述數據及指令可存儲于存儲器中且可由處 理器11讀取并執行。在第一動作101中，計算機布置10可捕獲MMS數據，如上文所描述。此動作產生 掃描儀數據及相機數據，如圖4b中所示意性地指示。在第二動作102中，計算機布置10使用所述掃描儀數據來檢測區域。不同的區域 檢測算法可用于此動作。所述區域可以是可指派給其一所關心的程度的所關心的區域。例 如，可給一些區域指派第一所關心的程度(例如，最可能為交通標志的平面對象)，而可給 其它對象指派低于所述第一所關心的程度的第二所關心的程度(例如，大于預定距離之外 的區域或與特定對象(或對象類別)相關聯的區域)。根據第一區域檢測算法，將區域界定為距汽車1在預定距離(例如10米)或區內 的區域。由于掃描儀數據包括距離數據，因此可容易地確定相機數據中的在距汽車1預定 距離內的所有區域。當然，可相對于汽車1以及相對于相機9(1)，I = 1，2，3，... I或激光 掃描儀3 (j)，j = 1，2，3，. . . J來界定所述預定距離。此外，可將區域界定為相對于汽車在預定區內的區域，其中所述區可以是立方形 區或任一其它適合形狀區，例如鉆石形區、圓柱形區、球體的一段等等。可將在預定距離或區之外的所有區域界定為第一區域，而可將在預定距離或區之內的區域界定為第二區域。此處應注意，未必需要聚合區域。如下文將解釋，產生可為傳遞 到差分壓縮的一組單一像素的遮掩。根據一實施例，可聚合所檢測到的區域并將其隔離為不同的對象，例如使用聚合 技術，其使用形成多邊形的網產生。可使用的技術為RANSAC算法。此實施例將具有數個優點。例如，大于(例如)IOm之外的所有事物在下一圖片上 將更佳地可見。因此，即使60m之外存在某一文本(或任何其它信息)，人們也可將其忽略， 因為其在由相機拍攝的下一圖像上將為可見的。因此，不僅以高效方式壓縮了單個圖像，而 且以有效方式壓縮了圖像序列。根據第二區域檢測算法，將區域界定為平面對象。可將平面對象界定為具有至少 某一(真實世界)大小(例如，至少30x30cm)的平面對象。可使用角度及距離數據根據掃 描儀數據計算平面對象的真實世界大小。可從所述掃描儀數據中容易地檢索平面對象，這 允許過濾交通標志等。根據第三區域檢測算法，所述算法可經布置以針對特定對象(例如汽車)分析掃 描儀數據。如果對于特定應用來說對汽車不關心，那么所述區域檢測算法可經布置以檢測 形狀為汽車的對象并將那些對象界定為可指派給其低的所關心的程度的第一區域。相反 地，如果對于特定應用對如汽車的對象特別關心，那么所述區域檢測算法可經布置以檢測 形狀為汽車的對象并將那些對象界定為可指派給其高的所關心的程度的區域。此外，可使用以上算法的組合，其中識別三個區域-為平面的且在預定區內的區域，可指派給其高的所關心的程度，_非平面的且在預定區內的區域，可指派給其中等的所關心的程度，及-在所述預定區之外的區域，可指派給其低的所關心的程度。一般來說，可識別任何適當數目個區域及任何適當類型的區域，每一區域可被指 派特定的所關心的程度及/或可經受適合壓縮技術。一般來說，可識別兩種類型的區域檢測算法1)使用距離準則的區域檢測算法，及2)使用若干規則來分析掃描儀數據以搜索特定對象的區域檢測算法。圖5到10中所提供的實例是兩種類型的區域檢測算法的組合。在進一步的動作103中，將在動作102中檢測到的區域投射在相機數據上。可以看出，已展現了用以將掃描儀數據鏈接到相機數據的方式。例如，已展現了具 有相機的系統，所述相機與激光掃描儀搭配且同步使得其提供范圍傳感器數據與圖像數據 之間的直接相關性。例如，已由以下各項顯示此類系統-3D-CAM-深度相機及深度鍵控，德國凱姆尼茨工業大學研究所，弗勞恩霍夫協 會，馬丁瑞澤名譽博士教授(Prof. Dr. Dr. h. c. Martin Reiser, Fraunhofer-Institut, Medienkommunikation IMK)(http://www, imk. fhg. de/sixcms/media. php/130/3dcameng. 碰，及-用于游戲應用的3D成像相機，電氣與電子工程師協會會員G.亞哈夫，以色列約 克尼穆3DV系統有限公司G. J.伊旦及D.曼德爾鮑姆(G. Yahav，Member, IEEE, G. J. Iddan and D. Mandelboum, 3DV Systems Ltd., Yokneam, ISRAEL)(http://www3dvsystemscom/ technoloRy/3D% 20Camera% 20for% 20GaminR_l.pdf)。
市場上的其它系統包括借助將來自特殊紅外相機的圖像與從正常C⑶傳感器獲 得的數據合并的ζ距離增大的相機圖像。基于現有技術，可確定相機數據中的每一像素的3D位置。然而，還可僅將掃描儀 數據投射到相機數據上。在動作104中，基于動作102及103形成遮掩。所述遮掩可包括所識別的區域且 可能包括每一區域的類型指示(平面的、對象類別、在或不在預定區內等等)及/或指派給 所識別區域的所關心的程度。所述遮掩還可包括將應用于特定區域的所要壓縮技術的直接 指示。最終，可使用所述遮掩來應用如上所述的差分壓縮。動作103或104可進一步包括使掃描儀數據膨脹以確保考慮到相機數據的所有相 關部分。下文更詳細地解釋此膨脹。動作104是圖像坐標空間中的遮掩形成。圖8a顯示動作102/103的結果。由于掃 描儀數據的分辨率可能相對低的事實，因此投射產生點而非區域。因此，作為動作103/104 的一部分的膨脹是確保形成區域而非點。所述遮掩可包括關于不同的所檢測區域的信息， 其中所述遮掩中的區域由掃描儀數據的經膨脹點所覆蓋的區界定。因此，可使用經膨脹點 來形成所述遮掩。可將動作102到104視為其中檢測區域且將其映射到相機數據/圖像空間的單個動作。如上文所界定，掃描儀數據及相機數據可包括兩種類型的信息圖像數據及圖像 空間參考數據。掃描儀數據的圖像數據形成圖像本身(點云或像素)，而所述圖像空間參考 數據包括關于界定拍攝所述圖像的地方及所沿的方向的元(信息)。應理解，動作102可主 要使用掃描儀數據的圖像數據，動作103可使用相機數據的圖像數據及圖像空間參考數據 兩者。最終，動作105可主要使用相機數據的圖像數據。因此，提供其中b)進一步包括將至少一個所檢測區域投射到相機數據103上的方 法。進一步提供其中b)進一步包括形成遮掩并基于所形成的遮掩104執行c)的方法。此 外，可基于所形成的遮掩104來執行d)。在最終動作105中，將差分壓縮應用于相機數據。如上所述，差分壓縮可包括在第 一區域中使用第一壓縮技術。根據一實施例中，可在第二區域中應用第二壓縮技術。所述 第一壓縮技術可涉及使用第一壓縮因數(相對高)。所述第二技術可涉及使用涉及第二壓 縮因數(相對低)的第二壓縮技術。可基于遮掩中所包括的信息來選擇壓縮技術。例如，當遮掩包括不同區域的所關 心的程度時，可使用所關心的程度來選擇適合壓縮技術。根據一實施例，高的所關心的程度 對應于低壓縮因數(可能為等于零的壓縮因數)且低的所關心的程度對應于高壓縮因數。根據一實施例，在“所關心的程度”與質量因數之間直接形成平移比例縮放，其中 所述質量因數可以是在量上按比例縮放的壓縮因數(例如，JPEG使用1到100，其中100為 最聞質量)O此外，可檢測多于兩個區域，其中可將不同或相同壓縮技術應用于不同區域。此處應注意，所屬領域的技術人員將理解一旦知道遮掩將如何執行動作105，即， 如何應用差分壓縮技術，例如差分JPEG壓縮技術。所述實施例提供一種提供此一遮掩的方式。圖5顯示可由動作101產生的相機數據的實例。圖5中描繪一框以指示不能用來 判讀的對象(交通標志)，因為其離相機太遠。圖6顯示可由動作101產生的掃描儀數據的實例。所述掃描儀數據可以是3-D點 云，其中每一點相對于激光掃描儀3 (j)，j = 1，2，3，. . . J具有與其相關聯的距離。上文參照動作102描述了產生不同區域的不同區域檢測算法，例如界定為以下各 項的區域1)相對于汽車1、相機9或掃描儀3在預定距離或區準則內的區域。2)平面對象，3)特定對象或對象類別，例如汽車，4)非特定對象或對象類別，例如汽車，或5)具有預定特性的表面。參照圖，描述1)與2)的組合。根據此實例，將非平面的所有事物及相對于相機在 某一區之外的所有事物識別為第一區域且將相對于所述相機在某一區內的平面對象識別 為第二區域。首先，將落在如圖7中示意性地顯示的隔間區域之外的所有掃描儀數據視為第一 區域。圖7顯示其中y方向與相機9的觀察方向大致重合的坐標系統。根據所述實例，將 所述隔間區域界定為χ = <-6 ；6> ；y = <0. 3 ；20> ；ζ = <1 ；6>。在下一動作中，檢測在所述隔間區域內的所有平面對象并將其界定為第二區域。 將在預定區內且非平面的所有事物界定為第一區域。這些動作被執行為上文所描述的動作 102的一部分且產生所確定的區域。如上文所描述，在動作103中，將所述區域投射到相機數據上。圖8a示意性地描 繪投射到圖片數據上的掃描儀數據。由于掃描儀3可能具有有限的分辨率，因此可使掃描 儀數據膨脹以確保考慮到相機數據的所有相關部分。圖8b中顯示經膨脹掃描儀數據。圖9示意性地顯示相機數據的被檢測為第二區域的部分。在動作104中使用此信 息來形成遮掩。所述遮掩將使得能夠針對不同區域使用不同壓縮比率參數(動作105)。圖10顯 示動作105的可能結果。圖10顯示具有根據以上實例應用的不同壓縮比率的經重構圖像。如可看出，最靠近于相機的燈桿上的交通標志仍然可辨認。然而，沿著道路更遠的 交通標志在圖10中比在圖5中模糊得多，且現在不可能判讀(參見框)。這是差分壓縮技 術的結果，所述差分壓縮技術將高壓縮因數應用于沿著道路比最靠近于相機的交通標志更 遠的交通標志。由于在圖5中沿著道路更遠的交通標志幾乎不可判讀(如果會發生的話)， 因此可安全地對其進行壓縮。壓縮技術在執行動作105時可使用不同壓縮技術。例如，第一及/或第二壓縮技術可使用 JPEG2000標準來壓縮相機數據。JPEG2000允許不同的壓縮因數，此視質量要求而定。當然，也可使用其它壓縮技術，例如，任一基于小波的壓縮技術。根據進一步的實施例，對區域使用的壓縮技術是色彩空間的減小。例如，可對最可能為交通標志的平面區域采用此技術。交通標志是人類制作的結果，因此可將色彩空間減 小到已知用于制作交通標志的有限數目個色彩(例如，黑色、白色、藍色、紅色及橙色，但準 確的色彩組可因國家不同而不同)。作為實例，參照VectorMagic軟件來認識此，如(例如)http //vectormagic. Stanford, edu/vectorize/upload上所描述。一般來說，此人類制作的對象的向量化是良好 壓縮(數據大小減小)技術。計算機布置根據上文，進一步提供一種計算機布置10，其包括處理器11及連接到所述處理器 的存儲器12 ；13 ；14 ；15，所述存儲器包括計算機程序，所述計算機程序包括經布置以允許 所述處理器11執行以下操作的數據及指令a)獲得來自移動測繪系統101的至少一個相機9 (j)的相機數據，b)檢測所述相機數據中的至少一個區域，c)在第一區域中對所述相機數據應用第一壓縮技術，其中進一步允許處理器11 獲得來自至少第一范圍傳感器3(1)的范圍傳感器數據101，所述范圍傳感器數據至少部分 地對應于所述相機數據且b)包括使用所述范圍傳感器數據識別相機數據中的所述至少一 個區域102。根據進一步的計算機布置，進一步允許處理器11 :d)在第二所檢測區域中對所述 相機數據應用第二壓縮技術。所述第一壓縮技術可涉及應用第一壓縮因數且所述第二壓縮 技術可涉及應用第二壓縮因數，所述第一壓縮因數大于所述第二壓縮因數。動作b)可包括對所述范圍傳感器數據應用區域檢測算法以檢測至少一個區域。 所述區域檢測算法可經布置以檢測為以下各項的區域-在預定距離或區準則內，-平面的，-特定對象(或對象類別)，-非特定對象(或對象類別)，或-具有預定特性的表面。此外，b)可進一步包括將所述至少一個所檢測區域投射到所述相機數據上且b) 可進一步包括形成遮掩并基于所形成的遮掩執行c)。此外，可基于所形成的遮掩104來執 行d)。此外，b)可包括檢測多個區域，其中區域的數目可從1到掃描儀數據中的像素的 數目而變化。此外，壓縮技術可以是色彩空間的減小。根據進一步的實施例，提供一種包括根據以上所述的計算機布置及移動系統的數 據處理系統，所述移動系統包括用于提供所述時間及位置和定向數據的位置確定裝置、用 于提供所述第一范圍傳感器數據的至少第一范圍傳感器3 (i)及用于提供所述圖像數據的 至少一個相機9 (j)。根據一實施例，提供一種包括可由計算機布置加載的數據及指令的計算機程序產 品，所述數據及指令所述計算機布置執行根據以上所述的方法中的任一者。根據一實施例，一種數據載體具備根據以上所述的計算機程序產品。進一步的實施例
根據進一步的實施例，可識別多個區域，其中不同區域可經受不同壓縮技術。可對 每一區域進行分類且根據所述分類，可應用壓縮技術。例如，可通過給所述多個區域指派所 關心的程度來完成所述分類。根據一實施例，提供一種處理移動測繪系統的相機數據的方法，其中所述方法包 括a)獲得來自移動測繪系統的至少一個相機(9(j))的相機數據(101)，b)檢測所述相機數據中的至少三個所關心的區域，cl)在第一所關心的區域中對所述相機數據應用第一壓縮技術，c2)在第二所關心的區域中對所述相機數據應用第二壓縮技術，c3)在第三所關心的區域中對所述相機數據應用第三壓縮技術，其中所述方法進一步包括獲得來自至少第一范圍傳感器3(1)的范圍傳感器數據 (動作101)，所述范圍傳感器數據至少部分地對應于所述相機數據且b)包括使用所述范圍 傳感器數據識別所述相機數據中的所述所關心的的區域(動作102)。當然，替代三個，可檢測任何適合數目個區域。根據此一實施例，提供一種方法，其 中b)包括檢測多個區域，其中區域的數目可從1到掃描儀數據中的像素的數目而變化。因此，基于所述實施例，很明顯，可基于所述掃描儀數據來形成遮掩，從而識別可 應用不同壓縮技術的多個區域。所述遮掩所包括的不同區域的數目可以是任一適合數目， 例如兩個、三個、四個等。實際上，可識別且所述遮掩可包括相當高數目個區域。每一區域 可經受不同壓縮技術。所述遮掩所包括的所識別區域的數目可高達掃描儀數據中像素的數目。根據一實施例，可將掃描儀數據中的每一像素檢測為一區域(動作102)。可基于 方向信息及距離信息給掃描儀數據中的每一像素指派所關心的程度。因此，作為實例，所關 心的程度可隨著距離的增加而降低。根據進一步的實例，賦予激光掃描儀的在預定距離或區準則內的所有像素第一所 關心的程度，其中可賦予激光掃描儀數據的在所述預定距離或區準則之外的所有像素隨著 距離的增加而降低(例如，與距離成反比)的所關心的程度。基于所指派的所關心的程度，可基于哪些不同壓縮技術可應用于相機數據來形成 遮掩。假設掃描儀數據的每一像素與可對其應用適合壓縮技術的至少若干個相機像素 相關。其它備注可在MMS應用的領域中以及在靜態測繪技術、攝影測量以及用于一般科學及娛樂 目的的圖像及視頻壓縮的領域中采用所述實施例。從掃描數據中選擇所關心的區域并將掃描儀數據鏈接到相機數據內的對應區不 需要昂貴的計算且在對CPU功率的合理投資的情況下快到足以處置匪S串流。所提供的實施例可靠且在不丟失關鍵數據的情況下設定差分壓縮遮掩。所述實施 例是靈活的以使用廣義化的距離及位置特性或表面特性來設定壓縮遮掩。根據應用，可或多或少保守地使用所述實施例。對于街道標志的典型移動測繪收 集，可應用稍微保守的過程作為對相機數據的中間后處理，從而導致大約3 1的節省。
為在項目內進行具體分析或為遞送到最終用戶，可使用相同技術框架來采取更具 侵略性的方法。舉例來說，過程可主要關心在相機9 (i)的10米內的對象。在此情況下，可 實現較高壓縮比率以供遞送到處理應用(對于一些應用，差分壓縮可與分辨率減小組合) 以形成極其緊湊的數據集(相對于原始圖像數據)。
權利要求
一種處理移動測繪系統的相機數據的方法，其中所述方法包括a)獲得來自所述移動測繪系統的至少一個相機(9(j))的相機數據(101)，b)檢測所述相機數據中的至少一個區域，c)在第一區域中對所述相機數據應用壓縮技術，其中所述方法進一步包括獲得來自至少第一范圍傳感器(3(1))的范圍傳感器數據(101)，所述范圍傳感器數據至少部分地對應于所述相機數據且b)包括使用所述范圍傳感器數據來識別所述相機數據中的所述至少一個區域(102)。
2.根據權利要求1所述的方法，其中所述方法進一步包括d)在第二區域中對所述相機數據應用第二壓縮技術。
3.根據權利要求2所述的方法，其中第一壓縮技術涉及應用第一壓縮因數且所述第二 壓縮技術涉及應用第二壓縮因數，所述第一壓縮因數大于所述第二壓縮因數。
4.根據權利要求2所述的方法，其中所述第一壓縮技術涉及應用第一壓縮因數且所述 第二壓縮技術涉及應用第二壓縮因數，所述第二壓縮因數大于所述第一壓縮因數。
5.根據前述權利要求中任一權利要求所述的方法，其中b)包括對所述范圍傳感器數 據應用區域檢測算法以檢測所述至少一個區域。
6.根據權利要求5所述的方法，其中布置所述區域檢測算法以檢測為以下各項中的至 少一者的區域在預定距離或區準則內，平面的，具有預定特性的表面，特定對象(或對象類別)或非特定對象(或類別)。
7.根據權利要求5到6中任一權利要求所述的方法，其中b)進一步包括將所述至少一 個所檢測的區域投射到所述相機數據上(103)。
8.根據前述權利要求中任一權利要求所述的方法，其中b)進一步包括形成遮掩并基 于所述所形成的遮掩來執行c) (104)。
9.根據權利要求2及7所述的方法，其進一步包括基于所述所形成的遮掩來執行d) (104)。
10.根據前述權利要求中任一權利要求所述的方法，其中b)包括檢測多個區域，其中 區域的數目可在1到掃描儀數據中的像素的數目之間變化。
11.根據前述權利要求中任一權利要求所述的方法，其中所述壓縮技術為色彩空間的 減小。
12.—種計算機布置(10)，其包括處理器(11)及連接到所述處理器的存儲器(12 ；13 ； 14 ； 15)，所述存儲器包括計算機程序，所述計算機程序包括經布置以允許所述處理器(11) 執行以下操作的數據及指令a)獲得來自移動測繪系統的至少一個相機(9(j))的相機數據(101)，b)檢測所述相機數據中的至少一個區域，c)在第一區域中對所述相機數據應用第一壓縮技術，其中所述處理器(11)進一步被允許獲得來自至少第一范圍傳感器(3(1))的范圍傳感器數據(101)，所述范圍傳感器數據至少部分地對應于所述相機數據且b)包括使用所述范 圍傳感器數據來識別所述相機數據中的所述至少一個區域(102)。
13.根據權利要求12所述的計算機布置(10)，其中所述處理器(11)進一步被允許d)在第二所檢測的區域中對所述相機數據應用第二壓縮技術。
14.根據權利要求13所述的計算機布置(10)，其中所述第一壓縮技術涉及應用第一壓 縮因數且所述第二壓縮技術涉及應用第二壓縮因數，所述第一壓縮因數大于所述第二壓縮 因數。
15.根據權利要求13所述的計算機布置(10)，其中所述第一壓縮技術涉及應用第一壓 縮因數且所述第二壓縮技術涉及應用第二壓縮因數，所述第二壓縮因數大于所述第一壓縮 因數。
16.根據權利要求12到15中任一權利要求所述的計算機布置(10)，其中b)包括對所 述范圍傳感器數據應用區域檢測算法以檢測至少一個區域。
17.根據權利要求16所述的計算機布置(10)，其中所述區域檢測算法經布置以檢測為 以下各項中的至少一者的區域在預定距離或區準則內，平面的，具有預定特性的表面，特定對象(對象類別)或非特定對象(對象類別)。
18.根據權利要求16到17中任一權利要求所述的計算機布置(10)，其中b)進一步包 括將所述至少一個所檢測的區域投射到所述相機數據上(103)。
19.根據權利要求12到17中任一權利要求所述的計算機布置(10)，其中b)進一步包 括形成遮掩并基于所述所形成的遮掩來執行c) (104)。
20.根據權利要求13及19所述的計算機布置(10)，其進一步包括基于所述所形成的 遮掩來執行d) (104)。
21.根據權利要求12到20中任一權利要求所述的計算機布置(10)，其中b)包括檢測 多個區域，其中區域的數目可在1到掃描儀數據中的像素的數目之間變化。
22.根據權利要求12到21中任一權利要求所述的計算機布置(10)，其中所述壓縮技 術為色彩空間的減小。
23.一種包括根據權利要求12到22中任一權利要求所述的計算機布置及移動系統的 數據處理系統，所述移動系統包括用于提供所述時間及位置和定向數據的位置確定系統、 用于提供所述第一范圍傳感器數據的至少第一范圍傳感器(3(i))及用于提供所述圖像數 據的至少一個相機(9(j))。
24.一種包括可由計算機布置加載的數據及指令的計算機程序產品，所述數據及指令 允許所述計算機布置執行根據權利要求1到11所述的方法中的任一者。
25.一種具備根據權利要求24所述的計算機程序產品的數據載體。
26.—種包括移動測繪系統的通過執行權利要求1而獲得的相機數據的圖片文件。
全文摘要
文檔編號H04N1/60GK101953165SQ200880127038
公開日2011年1月19日 申請日期2008年4月18日 優先權日2008年4月18日
發明者James E Hagan, Wysocki Arkadiusz, Kmiecik Marcin Michal 申請人:Tele Atlas Bv