在現有靜止圖像內可視化視頻的制作方法

專利名稱：在現有靜止圖像內可視化視頻的制作方法
在現有靜止圖像內可視化視頻
背景技術：
除了少數例外，例如其職業是操作機動車的那些人，大多數個人通常將駕駛所花費的時間看作是非生產時間。這種非生產性可以由于處于(Stuck in)高容量交通狀況中的駕駛員所體驗的惱怒和其他情緒代價(emotional toll)而變得更糟。照此，長久以來， 期望在駕駛時避免高容量交通狀況。這樣的期望已經利用個人可得到的無數的交通信息而得以滿足，這些交通信息幫助人們避免高容量交通狀況或他們希望避免的其他基于交通的事件發生(incidence)。例如，許多汽車導航系統現在提供實時交通信息的一些測量 (measure).類似地，作為另一個實例，許多基于網絡的測繪(mapping)應用同樣提供實時交通信息。通常，所提供的交通信息為了較容易使用(consumption)而被統一化。例如，交通信息經常利用普遍存在的紅色、黃色和綠色編碼來提供，其中綠色被用于指示低容量交通狀況，而紅色被用于指示高容量交通狀況。作為另一個實例，交通信息還經常用平均速度或行進預定距離(例如兩個有名的十字路口或其他這樣的地標之間的距離)所花費的時間量來提供。盡管這種統一化的交通信息確實可以更易于用戶來使用，例如如果用戶全神貫注于操作機動車，但是在某些情況下它實在不能提供足夠的信息。對于那些其中可能期望更詳細的交通信息的情況，交通信息也可以典型地通過通信地耦合到計算設備的較大網絡(例如普遍存在的因特網或同樣普遍存在的萬維網)的攝像機以特定位置的機動車交通的實時圖像的形式來提供。傳統上，這種交通攝像機由政府機構(例如國家或地方運輸部門)來維護并且以這樣的方式安裝和定位以在重要路或其他大道的特定方向上提供有利位置(vantage point)。典型地，可以通過網站或其他相似的基于網絡的界面以原始交通攝像機圖像饋給(feed)的形式獲得對由這種交通攝像機提供的圖像的訪問。例如，網站可以顯示地圖，該地圖具有經由適當圖標或其他指示符指示的交通攝像機的位置。這種圖標或其他指示符的選擇可以導致常常在子窗口或其他相似的獨立用戶界面元素(e 1 ement)內呈現原始交通攝像機圖像饋給。由于成本和帶寬的考慮，典型地，所利用的交通攝像機可能不能夠提供高質量的圖像。而且，交通攝像機被設計成提供機動車交通的圖像，而不提供背景(contextual)或周圍環境圖像。因此，用戶在訪問交通攝像機圖像饋給時經常體驗到混亂。例如，用戶經常難以確定交通攝像機面向哪個方向。同樣，用戶經常難以確切地識別正被拍攝的是哪條道路(roadway)，因為交通攝像機圖像饋給的呈現作為現場的、實時的、移動的圖像呈現在背景方面極大地不同于所顯示的地圖，用戶從所顯示的地圖中選擇交通攝像機，并且所顯示的地圖提供交通攝像機位置的圖標可視指示符。

發明內容
在一個實施例中，交通攝像機圖像饋給在包括該交通攝像機圖像饋給中特寫 (feature)的相同道路的現有全景的背景內呈現給用戶。這樣的合并(amalgamation)可以使得能夠在現有全景的更大的可視背景內觀看由交通攝像機提供的移動和動態的交通圖像。現有全景典型地已經通過安裝在專用車輛上的專用全景攝像機捕獲，并且典型地通過現有的基于地圖的網站或其他相似的以網絡為中心的界面作為所選地圖區域的街道級的視圖呈現給用戶。用戶對這種街道級視圖的熟悉結合由全景提供的背景可視信息可以使得用戶能夠更容易地理解并利用當在這種全景內呈現時移動和動態的交通攝像機圖像饋給。在另一個實施例中，交通攝像機圖像饋給可以被預處理以確定適用于該交通攝像機圖像饋給的變換參數從而改進其與現有全景的可視集成(visual integration)。這種預處理可以包括識別在其內顯示該交通攝像機圖像饋給的一個或多個適當全景，并且可以進一步包括識別該交通攝像機圖像饋給的隨時間變化的那些部分和在時間上保持靜態的那些部分。在另一個實施例中，交通攝像機圖像饋給可以集成到一個或多個現有全景中，使得通過根據預定的變換參數變換整個交通攝像機圖像饋給且然后將其顯示在現有全景內來將來自交通攝像機的移動和動態的視頻呈現在所述一個或多個全景的更大可視背景內。 可替代地，僅交通攝像機圖像饋給的移動或變化的成分(component)可以被過濾并在現有全景內顯示。作為又一個可替代方案，交通攝像機圖像饋給的移動或變化的成分結合道路或其他合適背景結構可以被過濾并在現有全景內顯示。在又一個實施例中，線匹配算法可以用于計算變換參數。這種線匹配算法可以試圖使交通攝像機圖像饋給的靜態部分的適當方面的線與一個或多個現有全景的相似方面匹配。該發明內容被提供用于以簡化的形式介紹下面在具體實施方式
中進一步描述的概念的選擇。該發明內容并不旨在標識要求保護的主題的關鍵特征或必要特征，也不旨在用于限制要求保護的主題的范圍。根據參照附圖進行的下面的詳細描述，附加特征和優點將變得清楚明白。


當結合附圖考慮時，下面的詳細描述可被最好地理解，在附圖中
圖1是用于將交通攝像機圖像饋給集成到現有全景中的示范性系統的框圖； 圖2是將交通攝像機圖像饋給結合到現有全景中的示范性機制的框圖； 圖3是用于結合到現有全景中的交通攝像機圖像饋給的示范性預處理的框圖； 圖4是用于將交通攝像機圖像饋給與現有全景匹配的示范性機制的流程圖； 圖5是用于在現有全景內顯示交通攝像機圖像饋給的示范性機制的框圖；以及圖6是示范性計算設備的框圖。
具體實施例方式下面的描述涉及將實時攝像機圖像數據(本文中稱為“饋給”)集成到典型地在全景圖像形式內的現有圖像中以使得來源于攝像機的移動視頻被顯示在現有圖像的更大的圖像背景內。最初，可以執行預處理以獲得變換參數，變換參數可以用于可視地變換攝像機圖像饋給，使其混合在一個或多個現有全景圖像中并且與其配合(fit with)。隨后，預定的變換參數可以用于例如通過典型地由用戶用來訪問一個或多個現有全景圖像的用戶界面在這樣的全景圖像內顯示攝像機圖像饋給。在車輛交通的背景內，交通攝像機圖像饋給可以整體地被變換和集成到一個或多個現有全景中，或者僅交通攝像機圖像饋給的某些部分可以被顯示在全景內，例如僅移動的車輛或可替代地例如僅移動的車輛和下面的道路可以被顯示在全景內。一種用于獲得變換參數的機制可以利用線匹配算法，線匹配算法可以將來自攝像機圖像饋給的靜態部分的適當的線與一個或多個全景圖像中的對應的線匹配。適當的線可以經由使用過濾技術(例如通過基于運動方向過濾或基于預先存在的被疊加的地圖數據過濾)來識別。出于圖示的目的，本文中所描述的技術針對呈現在現有全景圖像內的交通攝像機圖像饋給，現有全景圖像針對聯網的地圖界面中的街道級視圖的背景而收集并呈現在該背景中。然而，這樣的提及確實是示范性的且不旨在將所描述的機制限于所提供的特定實例。 事實上，所描述的技術適用于將既包括移動的部分又包括靜態的部分的任何攝像機圖像饋給與提供包圍由攝像機圖像饋給構成(frame)的一個或多個元素的更大背景的現有靜止圖像集成。因此，下面對“交通攝像機”的引用旨在被廣義地理解為表示任何攝像機，以及對 “全景”的引用旨在被廣義地理解為適用于提供更大可視背景的任何靜止圖像，因為下面的描述同樣適用于這種更寬泛的概念且不以任何方式被唯一地僅限于交通攝像機或全景圖像。盡管沒有要求，但是下面的描述將在由計算設備執行的計算機可執行指令(例如程序模塊)的一般背景下。更具體地，本描述將提及由一個或多個計算設備或外圍設備執行的操作的符號表示以及動作，除非另有指示。照此，應當理解，這種動作和操作(其有時被稱為正被計算機執行的)包括表示結構形式的數據的電信號的處理單元的操作 (manipulation)。該操作變換數據或將其保持在存儲器中的位置處，這以本領域技術人員充分理解的方式重新配置或另外地改變計算設備或外圍設備的操作。數據被保持其中的數據結構是具有由數據的格式定義的特定屬性的物理位置。一般地，程序模塊包括例程、程序、對象、組件、數據結構以及執行特定任務或實現特定的抽象數據類型的類似物。而且，本領域技術人員將理解，計算設備無需限于常規個人計算機，且包括其他計算配置，包括手持設備、多處理器系統、基于微處理器或可編程消費型電子器件、網絡PC、微型計算機、大型計算機等等。類似地，計算設備無需限于孤立的計算設備，因為，所述機制也可以在分布式計算環境中實施，在分布式計算環境中由通過通信網絡鏈接的遠程處理設備執行任務。在分布式計算環境中，程序模塊可以位于本地存儲器存儲設備和遠程存儲器存儲設備這二者中。轉向圖1，示出了示范性系統100，其包括客戶端計算設備130、地圖服務器計算設備120和交通攝像機110，其中每個設備通過網絡180彼此通信地耦合。出于圖示的目的， 圖1的示范性系統100中的交通攝像機110被示出為位于道路170上方的天橋171上，使得交通攝像機110能夠提供在道路170上的車輛交通的圖像。可以經由通過網絡180的通信使由單獨的圖像141、142、143、144和145在圖1的系統100中圖形表示的交通攝像機圖像饋給140對于一個或多個計算設備可用。在由圖1的系統100圖示的實例中，地圖服務器計算設備120可以從交通攝像機110接收交通攝像機圖像饋給140，如通信149所圖示。為了使得用戶(例如客戶端計算設備130的用戶)能夠在更有意義且更容易理解的背景中接收到交通攝像機圖像饋給140，地圖服務器計算設備120可以將交通攝像機圖像饋給140與一個或多個現有地圖全景150結合以向客戶端計算設備130提供合并的圖像160，合并的圖像160可以包括覆蓋在一個或多個地圖全景150上且呈現在其背景內的交通攝像機圖像饋給140或其部分。如本領域技術人員將認識到的，地圖全景150可以包括以這樣的方式布置和組織的全景圖像使得它們可以在基于地圖的背景內被呈現給用戶。例如，典型地經由網絡180 (例如以地圖為中心的網站)使其可用的地圖信息可以包括能夠向用戶呈現某個形式的街道級視圖的一個或多個界面(interface)。這樣的街道級視圖典型地使得用戶能夠可視化(visualize)特定位置，例如通過更傳統的地圖瀏覽技術選擇的位置，因為它在沿所選大道向下行走或駕駛的同時可被看見。如將被本領域技術人員認識到的，地圖全景150可以用于提供這樣的街道級視圖。更具體地，地圖全景150可以典型地由安裝在沿著特定大道行駛的專用全景捕獲車輛上的專用攝像機來獲取，期望能夠針對所述特定大道向用戶呈現街道級視圖。因此，地圖全景150包括一系列在沿著這樣的特定大道的連續點處拍攝的全景圖像，并且可以通過連續地顯示全景來呈現可以呈現給用戶的街道級視圖，由此使得用戶能夠模擬沿著大道的運動，同時也使得用戶能夠模擬轉動他們的頭，或者另外地模擬改變視圖正被呈現的方向。 出于圖示這樣的一系列全景圖像的目的，在圖1的系統100中示出十字路口 159，因為它將與在沿著十字路口 159的大道之一的點處拍攝的一系列連續全景圖像151、152、153、巧4和 155—起出現在地圖上。全景151、152、153、巧4和155以及其他全景可以是可通信地耦合到地圖服務器計算設備120的地圖全景150的一部分。出于圖示和解釋的目的，十字路口 159可以等效于下面的道路170與上面的其上安裝有交通攝像機110的天橋171的交叉的地方(intersection)。因此，一個或多個全景 151、152、153、巧4和155可以至少近似地包括由交通攝像機110捕獲的場景。如下文將進一步詳細描述的，地圖服務器計算設備120可以識別一個或多個地圖全景150并且可以將交通攝像機圖像饋給140集成到這樣的全景中以如通信169所示向客戶端計算設備130提供合并的圖像160，從而正經由地圖全景150向其呈現街道級視圖的客戶端計算設備130的用戶還可以在該街道級視圖內看到由交通攝像機110通過交通攝像機圖像饋給140呈現的道路170上的包括當前交通的當前狀況。盡管由于附圖的靜態性質而難以圖示，合并的圖像160意在表示包括移動的和動態的視頻，該移動的和動態的視頻例如由交通攝像機110 以交通攝像機圖像饋給140的形式提供，該移動的和動態的視頻以這樣的方式覆蓋在現有圖像上或另外地與其集成使得現有圖像為移動的和動態的視頻提供更大的可視背景并且使得該視頻在現有的圖像內以移動和動態的形式顯示。通過在現有全景的背景內呈現交通攝像機圖像饋給140，可以向用戶提供明顯更大的可視背景，在該背景內理解并領會交通攝像機圖像饋給140。此外，如可從單獨的圖像141、142、143、144和145看到的，在一個實施例中，交通攝像機110可以是可移動的，使得由該攝像機捕獲的覆蓋范圍可以隨時間變化。例如，圖像 142可以表示自從捕獲圖像141開始已經向下搖交通攝像機110的鏡頭。類似地，圖像143 可以表示自從捕獲圖像142開始且事實上自從捕獲圖像141開始向上搖交通攝像機110的鏡頭。同樣地，圖像144和145可以分別表示自從捕獲141開始向右和向左搖交通攝像機 110的鏡頭。如下文進一步詳細解釋的，由地圖服務器計算設備120執行的處理可以說明 (account for)交通攝像機110的取向的這樣的變化。轉向圖2，系統200更加詳細地圖示了這樣的處理通過該處理攝像機饋給可以與現有全景集成，以使得攝像機饋給以移動和動態的形式在現有全景的可視背景內顯示。最初，例如在預處理階段期間，交通攝像機圖像饋給140可以在有限量的時間里被采樣，該有限量的時間例如是可以預先確定的時間量，或者是獲得來自交通攝像機圖像饋給的足夠量的可視信息所需的時間量。在一個實施例中，這種預定的時間量可以考慮自然照明因素，使得可以選擇例如預定的時間量以避免包括白天圖像和夜間圖像這二者，或者作為另一個實例，使得可以選擇預定的時間量以避免包括上午圖像和晚間圖像這二者。如果正被采樣的交通攝像機圖像饋給140指示從其接收這種交通攝像機圖像饋給的交通攝像機能夠被移動，使得由該攝像機捕獲的覆蓋范圍可以隨時間變化，則在一個實施例中，可以首先進行初始圖像穩定化，例如由圖2的系統200圖示。更具體地，如圖2中所示，諸如在圖1的系統 100中單獨示出的圖像141、142、143、144和145之類的圖像序列(每一個都包括變化的覆蓋范圍)可以被對準以使得每個圖像的公共元素重疊。然后，可以利用最后所得到的合成物 (composite)，其中源攝像機的后續移動被簡單地視為該合成物的不同部分的后續捕獲。根據這種合成物，由動作225指示的一種分析可以標識在預定量時間(在此期間采樣圖像饋給)上展示運動的合成物的區域。指示運動的所述區域可以利用本領域技術人員公知的現有圖像分析技術以運動掩模(maS!O220的形式來標識。類似地，根據該合成物， 由動作235指示的另一種分析可以標識在預定量時間(在此期間采樣圖像饋給)上保持靜態或不變的合成物的區域。本領域技術人員公知的現有圖像分析技術再次可以用于標識這樣的區域。例如，一種這樣的技術可以在所述預定量時間(在此期間圖像饋給正被采樣)中的一些時間或所有時間里對來自交通攝像機圖像饋給140的圖像取平均。這種取平均可以減少或在實踐中消除移動通過各種圖像幀的元素，同時強調保持靜態的那些元素。最后所得到的平均圖像230可以包括作為交通攝像機圖像饋給140的部分的圖像的不隨時間變化的那些部分。與交通攝像機圖像饋給140 —起，關于交通攝像機110的位置210的信息可以被獲取以方便選擇一個或多個潛在的全景圖像。更具體地，如圖2的系統200中所示，將攝像機的位置210與在一個或多個全景(例如全景151、152、153、巧4和155)上的位置進行比較 (如由動作215指示)。如本領域技術人員將認識到的，當這樣的全景圖像首先被收集時，它們的確切位置同樣可被記錄，使得這些全景可以被適當地顯示并且與現有地圖集成，例如作為結合這種地圖的提供而提供的街道級視圖的一部分。因此，交通攝像機110的位置210 與拍攝一個或多個全景的位置之間的比較可以以簡單的方式來進行。動作215可以表示從現有全景集中選擇候選全景，該選擇可以由上面提及的位置元數據(除其他因素以外)告知。例如，在一個實施例中，可能已經在到交通攝像機110的位置210預定距離內拍攝的所有全景可以被選擇為候選全景。在一個可替代實施例中，可能已經沿著適當的大道拍攝的全景可以被選擇為候選全景。在又一個可替代實施例中，候選全景的選擇可以由多個因素告知，例如地形、視線或其他因素，通過這些因素，全景可能包括(至少在全景的一部分中)與由提供交通攝像機圖像饋給140的交通攝像機110捕獲的圖像范圍相似的圖像范圍。在圖2中所示的示范性系統200中，出于圖示和解釋的目的，由動作215至少部分地基于交通攝像機110的位置210選擇全景152、153和154為候選全景， 該位置210連同全景的集合被作為輸入提供給動作215。一旦候選全景集已被選擇，可以將一個或多個候選全景的適當部分與由交通攝像
8機圖像饋給140提供的圖像范圍匹配。在一個實施例中，一個或多個候選全景的適當部分的選擇可以由可以與候選全景關聯的現有地圖數據告知。例如，如本領域技術人員將認識到的，使用這些全景圖像對街道級視圖的典型呈現也可以包括計算機生成的地像數據的覆蓋，例如指示特定道路的線或其他地圖指示的元素。這種與候選全景相關聯的現有地圖數據可以用于告知要與由交通攝像機圖像饋給140提供的圖像范圍匹配的一個或多個候選全景的適當部分的選擇。更具體地，攝像機的位置210連同其他潛在可用的元數據可以指示一個或多個大道，交通攝像機110沿著這些大道取向，這些大道的車輛交通由交通攝像機圖像饋給140捕獲。然后可以參考與候選全景相關聯的現有地圖數據以識別候選全景在相似方向上或沿著相同大道取向的那些部分。在圖2中所示的示范性系統200中，候選全景152、153和154的各自的部分252、 253和2M可以通過例如參考以十字路口 159的形式示出的可能與候選全景相關聯的地圖數據來選擇。如前所示，十字路口 159可以是提供交通攝像機圖像饋給140的交通攝像機 110可以位于的十字路口，例如由攝像機的位置210所指示。因此，候選全景152、153和IM 的各自的部分252、253和邪4可以通過選擇候選全景的已知已參考地圖數據沿著十字路口 159的道路中適當的一條道路取向的那些部分來選擇。從候選全景152、153和154的各自的部分252、253和254中選擇的部分253可以通過如由動作250指示的將候選全景的部分的各方面與可能已經以前述方式從交通攝像機圖像饋給140生成的平均圖像230匹配來獲取。例如，在一個實施例中，匹配動作250可以通過使部分252、253和254中的線與平均圖像230中的等效線匹配來進行。一種用于選擇線來匹配的機制可以是，選擇那些在運動方向上的線或等效地在道路方向上的線。因此， 關于平均圖像230，可以參考運動掩模220來選擇來自圖像的可被選擇用于匹配的線。例如，來自平均圖像230的可被選擇用于匹配的線可以是基本平行于運動掩模220或包含在其中的那些線。類似地，關于候選全景152、153和巧4各自的部分252、253和254，可以參考與每個候選全景相關聯的地圖數據選擇來自每個部分的要匹配的線。更具體地，所選的線可以是基本平行于道路的方向，該道路被認為是交通攝像機110沿其指向的道路，例如將由與每個候選全景相關聯的覆蓋的地圖數據指示。對于候選全景152、153和巧4各自的部分252、253和254中的每一個，所選的線可以與平均圖像230的所選的線匹配，并且所選部分253可以基于對哪些線最精確匹配的確定而被選擇。線匹配算法是本領域技術人員公知的，并且因此不會進一步描述。然而，匹配動作250不限于線匹配。在其他實施例中，點、圖像部分或數據群(cluster)可以用于將候選全景152、153和巧4各自的部分252、253和2M與平均圖像230匹配。如本文所利用的，術語“圖像特征匹配”意在總體上表示這樣的實施例。此外，盡管圖2的系統200圖示了僅一個全景153的所選部分253，但是在其他實施例中，下文描述的變換參數沈0的獲得可以針對多個全景來執行，使得交通攝像機圖像饋給140可以與多個不同的全景集成，盡管如本領域技術人員將認識到的，不同的變換參數可以被計算和用于交通攝像機圖像饋給到多個不同全景中特定的一個全景中的每個這種集成。一旦全景的所選部分253被選擇，那么平均圖像230可以被變換并對準于所選部分以實現交通攝像機圖像饋給140與全景153的組合，所選部分253從全景153獲得。由動作265表示的這樣的變換和對準的結果可以是變換參數沈0，如下文進一步描述的，變換參數260可以隨后實時地應用于交通攝像機圖像饋給140以實現在現有全景(例如全景153) 的背景內的來自交通攝像機110的當前顯示。如在上述匹配250的情況下，圖像特征匹配同樣可以用作變換和對準沈5的一部分以選擇最優變換參數260。在一個實施例中，單應(homography)可以用于執行變換和對準265。更具體地，來自平均圖像230的線可被隨機選擇并且單應可以用于變換平均圖像 230以使得隨機選擇的線匹配所選部分253中的等效線。隨后，可以對其他非選擇的線在變換的且對準的平均圖像230和所選的部分253之間多么接近地配合進行檢查。所述配合的接近度可以以本領域技術人員公知的方式評分(score)，并且該得分可以連同被利用的變換參數一起被存儲。隨后，未變換的平均圖像230可以再次被參考以再次隨機地選擇不同的線集并執行另一個單應以變換平均圖像230，使得新的隨機選擇的線匹配所選部分253 中的等效線。然后該變換的得分可以再次以與先前相同的方式確定，并且可以連同所利用的變換參數一起被存儲。最后，可被選擇為最終的變換參數260的變換參數可以是導致最佳得分的那些變換參數，其證明了變換的且對準的平均圖像230與所選部分253之間的最佳配合。在其他實施例中，可以使用除單應之外的配合模型，例如仿射映射或全投影。一旦變換參數沈0已被確定，則它們可以用于基本實時地變換從交通攝像機110 接收的交通攝像機圖像饋給140并且將該變換的圖像集成到現有地圖全景中。更具體地， 且如圖2的示范性系統200中所示，實時接收的交通攝像機圖像饋給140可以基于運動掩模220中的變換參數260而被過濾和變換，如由動作275指示。運動掩模220可以用于識別交通攝像機圖像饋給140的將被集成到現有地圖全景中的那些部分。隨后，一旦那些部分已被識別，且交通攝像機圖像饋給140的剩余部分(remainder)已被濾除，則變換參數260可以用于變換交通攝像機圖像饋給的剩余部分。然后，最后所得的過濾的和變換的交通攝像機圖像饋給270可以與現有圖像組合，如下文進一步詳細描述。再次，已知附圖的靜態性質，過濾的和變換的交通攝像機圖像饋給270在圖2中被圖示為單個圖形成分 (composition)，但是像以前一樣，由附圖標記270標識的圖形成分意在表示來自交通攝像機110的移動的和動態的視頻，除了現在根據上述變換基于逐幀或本領域技術人員公知的其他基礎圖形變換的視頻，這將在下文中進一步詳細描述。然后，如由動作285所指示，可以將過濾的和變換的交通攝像機圖像饋給270與地圖全景153的先前選擇的部分253組合。該組合285可以使得交通攝像機圖像饋給140 的圖像范圍正確地定位在地圖全景153的更大圖像范圍內，或更精確地，使得交通攝像機圖像饋給的圖像特征覆蓋在地圖全景153的等效圖像特征上。這種組合可能導致合并的圖像觀0，其包括作為正顯示在地圖全景280部分內的移動的和動態的視頻的現場的、或基本現場的交通攝像機圖像饋給，其然后被顯示給用戶，如動作295所指示。以這種方式，可以向用戶提供從交通攝像機110接收的視頻的更大的背景。例如，瀏覽例如可以通過基于地圖的網站呈現的街道級視圖的用戶，當該用戶越過交通攝像機110所位于的十字路口瀏覽時，不僅可以向他們呈現這樣的十字路口的街道級視圖，而且還可以向他們呈現疊加在交叉道路的圖像上的實際移動的車輛交通的實時或近似實時的圖像。類似地，作為另一個實例，可以向試圖觀看交通攝像機圖像饋給140的用戶呈現在現有地圖全景的背景內的這樣的交通攝像機圖像饋給，使得用戶可以與全景交互并且接收用于正被示出的移動和動態的交通攝像機視頻的更好背景，例如更好地理解交通攝像機110指向哪條道路以及攝像機指著哪個方向。轉向圖3，這里所示的流程圖300圖示了示范性的預處理步驟的系列，其可以被執行以獲得先前在圖2中所示的變換參數沈0。最初，如圖3中所示，在步驟310處，可以采樣交通攝像機圖像饋給，并且在步驟350處可以獲得交通攝像機位置。作為在步驟310處采樣交通攝像機圖像饋給的一部分，在步驟315處，可以做出關于正從其中采樣交通攝像機圖像饋給的交通攝像機是否可移動的確定。在步驟315處，可以例如通過檢測圖像范圍是否在交通攝像機圖像饋給的各個圖像幀中改變來做出該確定。如果在步驟315處，確定了交通攝像機不是可移動的，則處理可以繼續進行到步驟330和335。可替代地，如果在步驟 315處，確定了交通攝像機是可移動的，則處理可以繼續進行到步驟320，在該點處，正從交通攝像機圖像饋給接收的圖像可以例如以先前描述的方式被穩定化。然后，處理可以繼續進行到步驟330和335。如圖3的流程圖300中所指示，步驟330和340以及步驟335的執行可以并行執行或者以這樣的方式執行使得步驟330和340以及步驟335之間的執行順序可以是不相關的。在步驟330處，平均圖像可以在這樣的時間段上獲得該時間段包括在其間采樣交通攝像機圖像饋給的時間的至少一些(如果不是所有的話)。隨后，在步驟340處，在一個實施例中，在步驟330處獲得的平均圖像中的線可以利用已知的線檢測技術來檢測。在步驟335 處，示出隨時間運動的區域掩模可以從正被采樣的交通攝像機圖像饋給獲得。在完成步驟330和340以及步驟335時，處理可以繼續進行到步驟345，在該點處， 在步驟330處獲得的平均圖像中的在步驟340處檢測到的線可以利用在步驟335處獲得的運動掩模來過濾，使得最后所得的線是那些沿著如由運動掩模所標識的運動方向或近似與之平行的線。與上述步驟并行且獨立于它們，在步驟355處，已在交通攝像機位置附近拍攝的全景可以基于在步驟350處接收或另外獲得的交通攝像機位置來識別。在步驟360處，在于步驟355處識別的全景之中，通過利用已知的線檢測技術，可以在全景的某個部分中或事實上在全部全景中檢測線。隨后，在步驟365處，在步驟360處檢測到的線可以基于與所選的全景集成并與之相關聯的現有地圖數據來過濾。更具體地，在步驟365處執行的線過濾可以選擇沿著被識別為交通攝像機(其提供交通攝像機圖像饋給)沿其取向的道路的一條或多條道路或在其方向上的線。在步驟370處，在完成在步驟345處對線的過濾和在步驟365處對線的過濾時，可以在過濾的線之間進行比較以識別被采樣的交通攝像機圖像饋給與一個或多個預先存在的地圖全景的至少某部分之間的最佳匹配。一旦在步驟370處識別了最佳匹配，則交通攝像機圖像饋給可以例如經由圖4中所示的系統400而被與所識別的全景或其部分配合和對準，并且將在下文進一步詳細地描述。最后，不管用于執行將交通攝像機圖像饋給與所識別的全景或其部分配合和對準的確切機制，這種機制的結果可以是變換參數，在獲得變換參數時，如在圖3的流程圖300中所示的步驟375處可以結束相關的預處理。轉向圖4，這里示出的流程圖400圖示了一種示范性機制，通過該機制可以獲得可以用于交通攝像機圖像饋給以使得它能夠被充分可視地集成到現有地圖全景中的變換參數。如先前所指示，盡管圖4的流程圖400和實際上圖3的流程圖300的各方面提及線的利用以執行和評估交通攝像機圖像饋給與一個或多個現有地圖全景之間的匹配，但是這樣的提及僅僅是示范性的且其他圖像特征同樣可以被用于執行這樣的匹配和評估。最初，如圖4的流程圖400所示，(交通攝像機圖像將與其配合和對準的)現有全景中的交通攝像機圖像可以在步驟410處獲得。隨后，在步驟420處，交通攝像機圖像中的線可以隨機選擇。如先前所指示，線的集合(在步驟420中可以從中隨機選擇一些線)可以是由運動掩模標識的那些線或另外地是沿著運動方向或基本與之平行的線。隨后，在步驟 430處，交通攝像機圖像可以被變換和對準以使隨機選擇的線與現有全景中對應的線配合。 在一個實施例中，單應可以用于執行這種變換。在步驟440處，現有全景中的變換的和對準的交通攝像機圖像之間的整個配合可例如通過評估其他線如何在到對準交通攝像機圖像的變換與現有全景之間匹配來評分。在步驟450處，在步驟430處獲得并利用的變換參數可以與在步驟440處確定的對應得分一起保存。在步驟460處，可以做出關于是否達到閾值的確定。在一個實施例中，這種閾值可以簡單地是重復的具體數量，而在其他實施例中，這種閾值可以是與變換的和對準的交通攝像機圖像與現有全景之間的配合的可接受性的閾值水平相關聯的最小得分，或其他類似閾值。如果，在步驟460處，確定了適當閾值還沒有達到，則處理轉向步驟420，在該點處不同的線集可被隨機選擇并且步驟430、440和450的處理可以利用新隨機選擇的線來重復。 相反地，如果在步驟460處，確定了已經達到適當閾值，則處理可以繼續進行到步驟470，在該點處，可以選擇導致最佳得分的變換參數。在步驟470處選擇的變換參數可以是如先前也在圖3的流程圖300中提及的如步驟375所指示的相關處理的目標。轉向圖5，這里示出的框圖500圖示了示范性合成圖像集，其圖示了三種機制，通過這些機制可以將交通攝像機圖像饋給與現有全景集成。像以前一樣，由于附圖的靜態性質，合并510、530和550被示為單個圖形成分，但是它們旨在表示利用靜態圖像顯示的移動的和動態的視頻的疊加或其他組合。因此，視頻內的各種圖形元素旨在被讀者理解和可視化為移動和動態的圖形元素。此外，如本領域技術人員將認識到的，所圖示的三種機制僅僅是示范性的，并且其他可視集成機制同樣可以用于交通攝像機圖像饋給而不背離本文所提供的說明。在由合并的圖像510圖示的一個實施例中，地圖全景的所選部分253可以已經在其上疊加由輕微陰影區域520表示的變換和對準的移動交通攝像機圖像視頻。然而，如本領域技術人員將認識到的，這種呈現可能缺乏視覺銳度(finesse)并且可能被某些用戶以消極方式感知。因此，在由合并的圖像530圖示的另一個實施例中，地圖全景的所選部分253可能已將在其上僅疊加了那些被認為是車輛交通的移動交通攝像機視頻的元素，例如車輛531、 532、533、534和535。盡管這種實施例可以提供更大的視覺銳度且保持全景圖像大部分的連續性，但是全景圖像本身經常可以包括車輛交通的靜止圖像，車輛交通可能已經在道路的圖像在全景中捕獲的時間被呈現在該道路上。因此，如合成圖像530中所示，可能已成為全景的一部分的車輛541和542可以表現為占據與來自交通攝像機圖像饋給的車輛531、 532、533、534和535相同的空間或近似相同的空間。此外，因為車輛531、532、533、534和 535是移動的和動態的視頻的移動元素，所以它們可以表現為“通過”車輛541和542或在車輛541和M2的“頂部上”行駛，車輛541和542是靜態全景部分253的靜態元素。這種表現和這種視覺性狀可能使某些用戶迷惑。因此，在由合成圖像550圖示的又一個實施例中，地圖全景的所選部分253可以已經在其上疊加了包括被識別為道路和其上的車輛交通的內容的移動交通攝像機視頻的部分560。在這種實施例中，可能已成為全景的一部分的任何車輛可以在來自交通攝像機圖像饋給的道路與來自視頻的移動車輛交通一起疊加在它們頂部上時被掩蔽(masked)。在某些情況中，這種實施例可以在由交通攝像機圖像饋給提供的有意義的可視信息與由全景提供的背景可視信息之間提供近似無縫的可視集成。例如，這種實施例可以使得來自交通攝像機視頻的移動車輛交通表現為在全景部分253內無縫地移動。然而，如前所指示，可以使用集成這兩個圖像的其他機制，而不背離上文描述的范圍。此外，還如前所指示，上面的描述未被特別地限于交通攝像機和地圖全景，盡管為了闡明上面的描述已經提及這樣的內容。事實上，上面的描述適用于視頻到靜止圖像中的任何集成。例如，各種公有的和私有的實體保持它們自己的攝像機并且提供對來自這種攝像機的圖像饋給的訪問。這樣的實體可以包括滑雪勝地，其攝像機可以顯示各種滑雪斜坡上的當前狀況；公有或私有海灘，其攝像機可以顯示當前海灘狀況；以及公有或私有大學， 其攝像機可以簡單地顯示它們的校園的各個部分。來自這樣的攝像機的圖像饋給可以以與來自上文提及的交通攝像機的圖像饋給相同的方式被集成到現有靜止圖像中。例如，滑雪斜坡、海灘和大學校園經常位于路的附近，出于在測繪背景(mapping context)內提供街道級視圖的目的，所述路的全景已被捕獲。因此，這樣的其他攝像機可以將它們的移動的和動態的視頻集成到上面提及的相同地圖全景中。作為又一個可替代方案，窄視野攝像機(例如安全攝像機)可以將它們的移動的和動態的視頻集成到出于提供窄視野安全攝像機的更大可視背景的目的而拍攝的靜止圖像中。因此，作為實例，建筑物可以具有被拍攝的廣角靜止圖像，每個圖像捕獲這樣的建筑物的至少兩側。隨后，位于建筑物周圍的大量安全攝像機的全部可以使它們的視頻顯示在這樣的寬視野圖像的背景內。可以看到，上面的描述適用于集成到提供更大可視背景的靜止圖像中的寬范圍的移動和動態的視頻。轉向圖6，其上圖示了示范性計算設備600，并且上述機制可以結合該計算設備來實現。示范性計算設備600可以是先前提及的附圖中圖示并在上面更詳細地描述的客戶端計算設備130、地圖服務器計算設備120或者甚至交通攝像機110中的任意一個或多個。圖 6的示范性計算設備600可以包括但不限于，一個或多個中央處理單元(CPU)620、系統存儲器630(其可以包括RAM 632)、和將包括系統存儲器的各種系統組件耦合到處理單元620的系統總線621。系統總線621可以是包括使用多種總線架構的任一種的存儲器總線或存儲器控制器、外圍總線和局部總線的若干總線結構類型中的任意一種類型。計算設備600可以可選地包括例如用于顯示可視用戶界面的圖形硬件，包括但不限于圖形硬件接口 690和顯示設備691。此外，計算設備600還可以包括圖形輸入硬件，例如數字攝像機651，其可以表示交通攝像機110通過其捕獲交通攝像機圖像饋給140的物理硬件。圖形輸入硬件，例如數字攝像機651，可以經由外圍設備接口 650通信地耦合到系統總線621。計算設備600典型地還包括計算機可讀介質，其可以包括可被計算設備600訪問的任何可用介質并且包括易失性和非易失性介質以及可移動和不可移動介質。例如但非限制地，計算機可讀介質可以包括計算機存儲介質和通信介質。計算機存儲介質包括以任何方法或技術實現的用于存儲信息(例如計算機可讀指令、數據結構、程序模塊或其他數據) 的介質。計算機存儲介質包括但不限于RAM、ROM、EEPR0M、閃存或其他存儲技術、CD-ROM、數字通用盤(DVD )或其他光盤存儲裝置、盒式磁帶、磁帶、磁盤存儲裝置或其他磁性存儲設備，
13或可以用于存儲期望的信息并且可以被計算設備600訪問的任何其他介質。通信介質典型地包含計算機可讀指令、數據結構、程序模塊或經調制的數據信號(例如載波或其他傳送機制)中的其他數據，并且包括任何信息傳遞介質。例如但非限制地，通信介質包括諸如有線網絡或直接有線連接之類的有線介質和諸如聲學、RF、紅外線和其他無線介質之類的無線介質。任何上述介質的組合也應當包括在計算機可讀介質的范圍內。系統存儲器630包括易失性和/或非易失性存儲器形式的計算機存儲介質，例如只讀存儲器(ROM) 631和前述RAM 632。包含例如在啟動期間幫助在計算設備600內的元件之間傳送信息的基本例程的基本輸入/輸出系統633 (BIOS)典型地存儲在ROM 631中。 RAM 632典型地包含立即可訪問的和/或當前正被處理單元620操作的數據和/或程序模塊。例如但非限制地，圖6圖示了操作系統634連同其他程序模塊635和程序數據636。計算設備600還可以包括其他可移動/不可移動、易失性/非易失性計算機存儲介質。僅通過實例的方式，圖6圖示了從不可移動、非易失性磁性介質讀取或向其寫入的硬盤驅動器641。可以與示范性計算設備一起使用的其他可移動/不可移動、易失性/非易失性計算機存儲介質包括但不限于盒式磁帶、閃存卡、數字通用盤、數字視頻帶、固態RAM、固態ROM等等。硬盤驅動器641典型地通過諸如接口 640之類的不可移動存儲器接口連接到系統總線621。上文討論并在圖6中圖示的驅動器和它們的相關聯的計算機存儲介質提供用于計算設備600的計算機可讀指令、數據結構、程序模塊和其他數據的存儲。在圖6中，例如， 硬盤驅動器641被圖示為存儲操作系統644、其他程序模塊645和程序數據646。注意到， 這些組件可以相同于或不同于操作系統634、其他程序模塊635和程序數據636。操作系統 644、其他程序模塊645和程序數據646在這里被給出不同的數字，以說明在最低限度上它們是不同的副本。計算設備600可以使用到一個或多個遠程計算機的邏輯連接在聯網的環境中操作。計算設備600被圖示為通過網絡接口或適配器670 (其又連接到系統總線621)而連接到通用網絡連接671。在聯網的環境中，相對計算設備600或其一部分或其外圍設備而描繪的程序模塊可以存儲在一個或多個通過通用網絡連接671通信地耦合到計算設備600的其他計算設備的存儲器中。應當理解，所示的網絡連接是示范性的，并且可以使用在計算設備之間建立通信鏈路的其他手段。從上文的描述可以看出，已經列舉了用于將現場攝像機饋給與現有靜態圖像集成的機制。鑒于本文中描述的主題的許多可能的變形，我們請求將所有這樣的實施例保護為我們的發明，所有這樣的實施例可以落入后面的權利要求及其等價物的范圍內。
權利要求
1.一種用于生成包括可視地集成到現有靜止圖像(253)中的視頻(140)的合并的圖像 (160，觀0)的方法，所述現有靜止圖像提供比所述視頻(140)更大的圖像范圍，該方法包括步驟獲得視頻(140)的樣本；選擇其圖像范圍包括視頻(140)的圖像范圍的至少一部分的現有靜止圖像(253)，該選擇由與視頻和靜止圖像這二者相關聯的位置元數據告知；識別采樣的視頻(140)和所選的靜止圖像(253)這二者所共有的圖像特征，其將被用于變換采樣的視頻(140)并且將其與所選的靜止圖像(253)對準；以及參考所識別的圖像特征獲得用于變換并對準用于與所選靜止圖像(253)集成的視頻 (140)的變換參數(260)，使得視頻(140)出現在所選靜止圖像(253)內，其中視頻(140)的圖像特征被覆蓋在所選靜止圖像(253)的等效圖像特征上；接收視頻(140)；使用變換參數(260)變換并對準所接收的視頻(140)；以及生成包括覆蓋在所選靜止圖像(253)上的經變換和對準的視頻(140)的至少一部分的合并的圖像(160，280)。
2.權利要求1的方法，其中視頻來自交通攝像機，并且其中進一步地，現有靜止圖像是用于提供街道級視圖的地圖全景。
3.權利要求1的方法，其中所述識別將用于變換和對準采樣的視頻的圖像特征包括 獲得包括那些遍及視頻的樣本保持靜態的元素的平均圖像；獲得標識其中元素遍及視頻的樣本而移動的區域的運動掩模；以及識別平均圖像中沿著運動掩模的圖像特征。
4.權利要求1的方法，其中識別將用于變換和對準采樣的視頻的圖像特征包括識別所選的靜止圖像中沿著與所選的靜止圖像相關聯的道路的被覆蓋的地圖數據的圖像特征， 交通攝像機沿著所述道路取向，其中視頻來自交通攝像機，且其中所選的靜止圖像是具有被覆蓋的地圖數據的地圖全景。
5.權利要求1的方法，其中獲得變換參數包括在所識別的圖像特征中選擇第一圖像特征集；獲得變換參數以變換視頻的樣本并將其與所選靜止圖像對準，使得來自視頻的樣本的作為第一圖像特征集的一部分的圖像特征與來自所選靜止圖像的對應圖像特征對準； 對經變換和對準的視頻樣本與所選靜止圖像之間的整體配合評分，該評分基于所識別的圖像特征中不是第一圖像特征集的一部分的其他圖像特征的對準精度；針對選自所識別的圖像特征之中的后續圖像特征集重復所述獲得和評分；以及，將那些產生整體配合的最佳得分的變換參數選為所述變換參數。
6.權利要求1的方法，其中所述圖像特征是線，并且其中進一步地，所述獲得變換參數包括使用這些線執行單應。
7.權利要求1的方法，進一步包括以下步驟將視頻的樣本穩定化為與與彼此對準的視頻樣本的各個幀的合成物，使得每個幀的公共圖像元素重疊。
8.一個或多個計算機可讀介質，包括用于執行權利要求1的步驟的計算機可執行指令。
9.一種用于可視地將視頻(140)集成到提供比視頻(140)更大的圖像范圍的至少一個現有靜止圖像(253)中的方法，該方法包括步驟接收視頻(140)；使用變換參數(260)變換并對準所接收的視頻(140)；以及生成合并的圖像(160，觀0)，其包括覆蓋在現有靜止圖像(252，253，254)中至少一個 (253)上的經變換和對準的視頻(140)的至少一部分。
10.權利要求9的方法，其中視頻來自交通攝像機并且其中進一步地，所述至少一個現有靜止圖像是用于提供街道級視圖的地圖全景。
11.權利要求10的方法，其中生成合并的圖像的步驟進一步包括濾出視頻中除了道路和其上的車輛交通之外的部分并且僅將道路和車輛交通覆蓋在所述至少一個現有靜止圖像上。
12.權利要求9的方法，其中生成合并的圖像的步驟進一步包括從視頻中濾出靜態圖像元素并且僅將來自視頻的移動圖像元素覆蓋在所選靜止圖像的至少一個上。
13.權利要求9的方法，其中至少一個現有靜止圖像與其位置元數據關聯，該位置元數據標識緊接由與視頻相關聯的位置元數據標識的位置的位置。
全文摘要
來自攝像機的視頻可以集成到靜止圖像中，該視頻可以與靜態圖像共有共同的元素以提供更大的背景和可理解性。預處理可以獲得用于以可視流的方式變換和對準待集成到靜止圖像中的視頻的變換參數。該變換參數隨后可以用于實時變換和對準視頻并且在靜止圖像內顯示該它。預處理可以包括視頻的穩定化(如果攝像機是可移動的)并且可以包括靜態元素和運動的區域的標識。變換參數可以通過使視頻的靜態元素與一個或多個現有圖像的各部分配合來獲得。視頻在靜止圖像中的實時顯示可以包括顯示整個經變換和對準的視頻圖像或僅顯示所選的部分，以提供更加平滑的可視集成。
文檔編號H04N7/18GK102447886SQ20111027094
公開日2012年5月9日 申請日期2011年9月14日 優先權日2010年9月14日
發明者陳 B., 奧費克 E. 申請人:微軟公司