移動體檢測方法及移動體檢測裝置的制作方法

專利名稱：移動體檢測方法及移動體檢測裝置的制作方法
技術領域：
本發明涉及通過抽取圖像中的移動體的區域來檢測移動體的圖像處理技術，尤其 涉及在移動體是人物那樣的形狀變化的同時進行移動的對象的情況下，根據動態圖像中的 運動信息來檢測移動體的區域的裝置。
背景技術：
以往，廣泛進行了區域抽取技術的研究開發，從包含移動體的像(以下簡稱為“移 動體”)的圖像中抽取圖像中的移動體的區域，由此檢測移動體。尤其在移動體是人的情況 下，抽取該移動體的區域的技術成為數字攝像機或者數字照相機的焦點控制和畫質改善處 理、汽車的安全運轉支持系統、或者機器人的避免與人的沖擊控制或避免沖擊用報警等共 同利用的基礎技術。作為抽取圖像中的移動體的區域的技術中的普通方法，可以列舉(1)評價預先準 備的移動體的模型與圖像中的候選區域之間的相似度，并確定移動體的區域的方法，(2)將 圖像劃分為多個小區域并計算特征量，把特征量作為基準來整合相似的區域，由此確定移 動體的區域的方法。作為前者的代表性的方法有如下方法，即在從圖像中抽取移動體區域的候選后， 評價所抽取的移動體區域的候選與預先準備的移動體模型之間的相似度，并抽取相似度較 高的區域作為移動體區域。另外，還有如下方法，即在抽取諸如步行中的人物等形狀變化 的同時進行移動的移動體的區域時，利用考慮了形狀的變化的移動體模型的方法。例如，在專利文獻1記載的方法中，從多個圖像中抽取移動體的剪影 (silhouette)圖像作為移動體區域候選。并且公開了下述方法，即評價預先被參數化的 與移動體的形狀變化相關的模型和所抽取的剪影圖像之間的相似度，并估算相似度較高的 區域和模型的參數。由此，針對形狀變化的同時進行移動的人物，也能夠適用被參數化的模 型，所以能夠實現移動體的區域抽取。作為后者的代表性的方法有如下方法，即將圖像暫且劃分為多個小區域，抽取基 于各個小區域的像素的亮度值的特征量，然后評價多個小區域之間的特征量的相似度，并 把相似度較高的區域整合為同一移動體區域。例如，在專利文獻2記載的方法中，將圖像暫且劃分為矩形的小區域，根據小區域 的亮度或運動來計算特征量，并根據特征量的相似度的順序來整合小區域，由此能夠實現 移動體的區域抽取。現有技術文獻專利文獻專利文獻1 日本特開平8-214289號公報專利文獻2 日本特開2006-031114號公報發明概要發明要解決的問題但是，上述的現有的區域抽取的技術存在以下問題，例如在街頭等多個人物等移 動體往來行走的場景下等，在移動體被其他移動體部分遮擋的情況下、或者包括移動體的 大小明顯不同的移動體的情況下等，不能準確抽取移動體。以專利文獻1記載的方法為代表的、采用預先準備的模型的現有的區域抽取方 法，需要從圖像中抽取移動體區域的候選。此時，如果不能抽取合適的移動體區域候選，則 不可能將把移動體參數化而得到的模型正確地適用于移動體區域的候選區域。尤其在上述 那樣的場景下，由于移動體的形狀或者大小在大幅變化，所以很難適當地抽取移動體區域 的候選區域。另外，假設即使能夠適當地抽取移動體區域的候選，也存在下述的問題。尤其在人 物等多關節物體是移動體的情況下，由于移動體的各種姿勢或者大小而造成的圖像上的形 狀或者大小的變化幅度非常大，所以在進行移動體模型的參數化時需要數量龐大的參數。 這將誘發模型的適用錯誤。因此，存在例如將多個移動體錯誤地視為一個移動體并抽取區 域，或將成為抽取對象的移動體不在的區域錯誤地作為移動體并抽取區域等不能正確檢測 移動體的問題。以專利文獻2記載的方法為代表的、采用小區域之間的特征量的現有的區域抽取 方法，分離并抽取被用作特征量的亮度值或者運動不相似的兩個小區域，作為屬于不同的 兩個移動體的區域。因此，在某個移動體像人物那樣其亮度值因場所而異、而且其運動因場 所而異的情況下，即使是同一移動體上的兩個小區域，也被錯誤地作為屬于不同的兩個移 動體的區域而進行分離及抽取，所以存在不能正確檢測移動體的問題。

發明內容
本發明就是為了解決上述問題而提出的，其目的在于，提供一種移動體檢測方法 等，能夠正確抽取移動體的區域，而不受動態圖像中的移動體的形狀變化、大小變化或者遮 擋等的影響。為了達到上述目的，本發明的移動體檢測方法的一個方式，通過對動態圖像中的 移動體的全部或者一部分區域進行劃分，檢測動態圖像中的移動體，所述移動體檢測方法 包括距離計算步驟，獲取多個移動軌跡，并針對所獲取的移動軌跡計算表示移動軌跡間的 相似度的距離，該移動軌跡是構成動態圖像的多個圖像間的對應點；以及區域劃分步驟，根 據在所述距離計算步驟計算的距離，將相似的移動軌跡的集合確定為一個區域，由此進行 區域劃分，所述區域劃分步驟包括測地距離計算步驟，根據在所述距離計算步驟計算的移 動軌跡間的距離，計算移動軌跡間的測地距離；區域劃分候選生成步驟，根據所述多個移動 軌跡，生成多個區域劃分候選，該區域劃分候選是移動軌跡的集合；區域間測地距離計算步 驟，針對在所述區域劃分候選生成步驟生成的區域劃分候選，根據屬于所述區域劃分候選 的多個移動軌跡間的測地距離，計算表示區域劃分候選間的相似度的區域間測地距離；以 及區域劃分候選選擇步驟，選擇在所述區域劃分候選生成步驟生成的區域劃分候選之中、 通過所述區域間測地距離計算步驟計算的區域間測地距離滿足預先設定的條件的區域劃 分候選，作為區域劃分的結果。
根據上述結構，通過根據區域劃分候選間的區域間測地距離來選擇區域劃分候 選，能夠選擇區域抽取的候選，而不受區域候選內的局部距離的影響，所以能夠更正確地抽 取區域。即，由于移動軌跡相似的圖像的區域被集合成為區域劃分候選、在選擇區域劃分候 選時判定區域劃分候選間的相似度、以及按照根據移動軌跡間的測地距離而定義的區域間 測地距離來判定區域劃分候選間的相似度，所以能夠正確抽取具有相似的運動的圖像的區 域，因而在移動體被其他移動體部分遮擋的情況下、或者包括移動體的大小明顯不同的移 動體的情況下等，也能夠正確抽取移動體，并且在某個移動體像人物那樣其亮度值因場所 而異、而且其運動因場所而異的情況下，能夠避免同一移動體上的兩個小區域被錯誤地作 為屬于不同的兩個移動體的區域而被分離抽取。另外，本發明的移動體檢測方法不僅能夠利用計算機上的程序實現，也能夠實現 為利用硬件構成上述各個步驟的移動體檢測裝置、使計算機執行上述各個步驟的程序、存 儲了該程序的CD-ROM等計算機可讀的記錄介質、抽取或者劃分在動態圖像中具有運動的 對象的區域的圖像處理裝置等。發明效果根據上述的方法及裝置等，能夠根據兩個區域劃分候選的移動軌跡間的測地距離進 行區域劃分，所以能夠正確抽取移動體的區域，而不受動態圖像中的移動體的形狀變化、大小 變化或者遮擋等的影響。另外，也能夠使用進行了區域抽取的結果來進行移動體的移動預測。因此，在數字攝像機等動態圖像攝影裝置日益普及的今天，作為數字照相機的焦 點控制或畫質改善處理、汽車的安全運轉支持系統、機器人中的避免與人沖擊的控制或報 警等的應用技術，本發明的實用價值極高。


圖1是表示本發明的實施方式1的移動體檢測裝置的結構的圖。圖2是表示利用計算機構成的移動體檢測裝置的硬件結構的圖。圖3是表示本發明的實施方式1的移動體檢測裝置的動作步驟的流程圖。圖4是表示本發明的實施方式的攝影狀況的示例的圖。圖5(a) 圖5(f)是表示本發明的實施方式的構成輸入動態圖像的多個圖片的示 例的圖。圖6是表示移動軌跡的示例的圖。圖7(a) 圖7(c)是表示測地距離的計算步驟的示意圖。圖8(a)及圖8(b)是說明測地距離的特征的圖。圖9 (a) 圖9 (e)是表示使用測地距離的聚類的示例的圖。圖10(a) 圖10(f)是表示測地距離矩陣、代表測地距離矩陣及參照矩陣的示例 的圖。圖11 (a) 圖11 (d)是表示代表測地距離矩陣及參照矩陣的示例的圖。圖12是表示在圖像輸出步驟生成的圖像的示例的圖。圖13是表示本發明的另一個方式的移動體檢測裝置的動作步驟的流程圖。圖14是表示本發明的實施方式2的移動體檢測裝置的動作步驟的流程圖。圖15(a) 圖15(d)是表示本發明的實施方式2的區域劃分候選的示例的圖。
8
圖16(a)是表示移動軌跡的示例的圖，圖16(b)是表示移動軌跡的聚類的示例的 圖，圖16(c)及圖16(d)是表示區域抽取結果的圖。圖17(a)及圖17(b)是說明使用區域間測地距離進行區域劃分的效果的圖。圖18是表示本發明的另一個方式的移動體檢測裝置進行的運動預測的圖。
具體實施例方式本發明的一個實施方式是一種移動體檢測方法，通過對動態圖像中的移動體的全 部或者一部分區域進行劃分，檢測動態圖像中的移動體，所述移動體檢測方法包括距離計 算步驟，獲取多個移動軌跡，并針對所獲取的移動軌跡計算表示移動軌跡間的相似度的距 離，該移動軌跡是構成動態圖像的多個圖像間的對應點；以及區域劃分步驟，根據在所述距 離計算步驟計算的距離，將相似的移動軌跡的集合確定為一個區域，由此進行區域劃分，所 述區域劃分步驟包括測地距離計算步驟，根據在所述距離計算步驟計算的移動軌跡間的 距離，計算移動軌跡間的測地距離；區域劃分候選生成步驟，根據所述多個移動軌跡，生成 多個區域劃分候選，該區域劃分候選是移動軌跡的集合；區域間測地距離計算步驟，針對在 所述區域劃分候選生成步驟生成的區域劃分候選，根據屬于所述區域劃分候選的多個移動 軌跡間的測地距離，計算表示區域劃分候選間的相似度的區域間測地距離；以及區域劃分 候選選擇步驟，選擇在所述區域劃分候選生成步驟生成的區域劃分候選之中、通過所述區 域間測地距離計算步驟計算的區域間測地距離滿足預先設定的條件的區域劃分候選，作為 區域劃分的結果。其中，也可以是，所述方法還包括圖像輸入步驟，受理構成動態圖像的多個圖片； 以及運動分析步驟，按由構成所述圖片的一個以上的像素所構成的每個塊，檢測在時間上 鄰接的兩個圖片間的圖像的運動并對所述多個圖片連結所檢測到的運動，由此計算移動軌 跡，在所述距離計算步驟，獲取在所述運動分析步驟計算的移動軌跡，并計算所述距離。根 據上述的結構，通過根據區域劃分候選間的區域間測地距離來選擇區域劃分候選，能夠選 擇區域抽取的候選，而不受區域候選內的局部距離的影響，所以能夠更正確地抽取區域。另外，作為移動軌跡間的距離的計算方法也可以構成為，例如，在所述距離計算步 驟，計算所述多個圖像中的移動軌跡間的歐幾里得距離的平均值，作為表示移動軌跡間的 相似度的所述距離。另外，作為測地距離的具體計算方法優選構成為，例如，在所述測地距 離計算步驟中，在計算從第1移動軌跡到第2移動軌跡的測地距離時，將在所述距離計算步 驟獲取的多個移動軌跡中的某一個移動軌跡作為中繼點，計算從所述第1移動軌跡到達所 述第2移動軌跡的全部路徑中的最短路徑，作為所述測地距離，更具體地講，在所述測地距 離計算步驟中，(1)針對在所述距離計算步驟計算的移動軌跡間的距離，計算通過將該距離 的一部分無限大化而得到的非線性化的距離，(2)在根據所述非線性化的距離來計算從第 1移動軌跡到第2移動軌跡的測地距離時，將另一個移動軌跡作為中繼點，計算從所述第1 移動軌跡到達所述第2移動軌跡的全部路徑的距離中的最短距離，作為所述測地距離。其中，作為區域劃分候選的生成方法可以構成為，在所述測地距離計算步驟中， 獲取多個閾值，將獲取到的多個閾值用作定義移動軌跡的附近的閾值，根據在所述距離計 算步驟計算的移動軌跡間的距離，按每個閾值計算沿著位于附近的移動軌跡的路徑上的距 離，由此計算所述移動軌跡間的測地距離，在所述區域劃分候選生成步驟中，根據在所述測地距離計算步驟計算的多個閾值中的每個閾值的移動軌跡間的測地距離，將相似的移動軌 跡的集合作為一個區域劃分候選，由此生成所述多個區域劃分候選。此時，作為多個閾值的 具體示例，優選在所述測地距離計算步驟中，生成在所述距離計算步驟計算的多個距離之 中的最大值和最小值之間的值，作為所述多個閾值。由此，通過限定閾值的候選，能夠更快 速地抽取區域。另外，作為區域間測地距離的計算方法，在所述區域間測地距離計算步驟中，作為 針對所述多個閾值中的各個閾值在所述區域劃分候選生成步驟生成的多個區域劃分候選 集之中的第1區域劃分候選集中的兩個區域劃分候選間的區域間測地距離，通過使用代表 測地距離和參照測地距離進行預先設定的運算而計算，其中該代表測地距離是該兩個區域 劃分候選中的測地距離，該參照測地距離是上述多個區域劃分候選集之中的第2區域劃分 候選集中的測地距離，該第2區域劃分候選集包含的區域劃分候選的總數僅次于該第1區 域劃分候選集中包含的區域劃分候選的總數。更具體地講，在所述區域間測地距離計算步 驟中，根據所述參照測地距離和所述代表測地距離，計算表示兩個區域劃分候選間的距離 的指標、和表示各個區域劃分候選內的偏差的指標，并通過用表示所述偏差的指標對表示 所述距離的指標進行規范化的運算，計算所述區域間測地距離。或者，更優選的是，在所述 區域間測地距離計算步驟計算的區域間測地距離是使用第2指標和第3指標將第1指標規 范化而得到的值，所述第1指標表示根據屬于某個區域劃分候選的多個移動軌跡與屬于另 一個區域劃分候選的多個移動軌跡之間的測地距離的總和而計算的兩個區域劃分候選間 的距離，所述第2指標表示根據屬于所述某個區域劃分候選的多個移動軌跡間的測地距離 的總和而計算的區域劃分候選內的偏差，所述第3指標表示根據屬于所述另一個區域劃分 候選的多個移動軌跡間的測地距離的總和而計算的區域劃分候選內的偏差。根據上述的結 構，能夠計算更加正確地反映區域劃分候選間的距離的區域間測地距離，所以能夠更正確 地抽取移動體的區域。其中，作為區域劃分候選的選擇基準也可以構成為，在所述區域劃分候選選擇步 驟中，將在所述區域劃分候選生成步驟生成的區域劃分候選之中、通過所述區域間測地距 離計算步驟計算的區域間測地距離比預先設定的閾值大的兩個區域劃分候選，全部選擇為 所述區域劃分的結果并輸出。由此，選擇區域間測地距離分開較大的區域劃分候選，所以能 夠將運動大不相同的圖像的區域分離，并正確地抽取移動體或者移動體的部位的區域。另外，作為區域劃分候選的另一個選擇基準，優選的是在所述區域劃分候選選擇 步驟中，根據在所述區域劃分候選生成步驟生成的區域劃分候選之中、通過所述區域間測 地距離計算步驟計算的區域間測地距離的時間變化，選擇所述區域劃分候選，并作為所述 區域劃分的結果輸出。具體地講，優選在所述區域劃分候選選擇步驟中，將在所述區域劃分 候選生成步驟生成的區域劃分候選之中、通過所述區域間測地距離計算步驟計算的區域間 測地距離的時間變化比預先設定的閾值大的兩個區域劃分候選，選擇為不同的區域，并作 為所述區域劃分的結果輸出，或者將在所述區域劃分候選生成步驟生成的區域劃分候選之 中、通過所述區域間測地距離計算步驟計算的區域間測地距離的時間變化比預先設定的閾 值小的兩個區域劃分候選，選擇為同一區域，并作為所述區域劃分的結果輸出，或者在所述 區域劃分候選生成步驟生成的區域劃分候選之中，根據通過所述區域間測地距離計算步驟 計算的區域間測地距離的時間變化，以(1)變化越大時越使兩個區域劃分候選成為不同區域、且( 變化越小時越使兩個區域劃分候選成為同一區域的方式，選擇區域劃分候選，并 作為所述區域劃分的結果輸出，或者針對新的動態圖像反復執行所述距離計算步驟及所述 區域劃分步驟，在所述區域劃分候選選擇步驟中，將在所述區域劃分候選生成步驟生成的 區域劃分候選之中、在所述反復執行中通過所述區域間測地距離計算步驟計算的區域間測 地距離的時間變化比預先設定的閾值大的兩個區域劃分候選，全部選擇為所述區域劃分的 結果并輸出。根據上述的結構，通過根據區域間測地距離的時間變化來選擇區域劃分候選，能 夠選擇進行與某個區域劃分候選不同的運動的區域劃分候選，所以能夠更正確地抽取移動 體的區域。另外，作為區域劃分候選的另一種生成方法也可以構成為，在所述區域劃分候選 生成步驟中，根據在所述圖像輸入步驟獲取的圖像的亮度信息，生成多個區域劃分候選圖 像，并將與區域劃分候選圖像對應的一個以上的移動軌跡的集合作為區域劃分候選，由此 生成所述多個區域劃分候選。由此，由于根據圖像的亮度信息來生成區域劃分候選，所以在 亮度上相似的圖像的區域被作為一個區域進行區域劃分，區域劃分的精度提高。另外，作為包含區域劃分候選的移動軌跡的數量也可以構成為，在所述區域劃分 候選生成步驟生成的多個區域劃分候選之中、至少一個區域劃分候選是一個移動軌跡所屬 的區域劃分候選，在所述區域間測地距離計算步驟中，輸出所述一個移動軌跡與屬于另一 個區域劃分候選的任意一個移動軌跡之間的測地距離，作為所述一個移動軌跡所屬的區域 劃分候選與所述另一個區域劃分候選之間的區域間測地距離。此時，作為區域劃分候選的生成方法也可以構成為，在所述區域劃分候選選擇步 驟中，將作為所述區域間測地距離而輸出的移動軌跡間的測地距離的時間變化比預先設定 的閾值小的兩個移動軌跡，確定為同一區域，還可以構成為，在所述區域劃分候選選擇步驟 中，將作為所述區域間測地距離而輸出的移動軌跡間的測地距離的時間變化比預先設定的 閾值大的兩個移動軌跡，確定為不同區域。由此，在一個區域劃分候選只包含一個移動軌跡 的情況下，也能夠計算合適的區域間測地距離，并且生成依賴于測地距離的時間變化的合 適的區域劃分候選，能夠正確抽取移動體的區域。另外，還可以包括輸出步驟，該輸出步驟為針對在所述圖像輸入步驟受理的動 態圖像實施圖像處理，以使得通過所述區域劃分步驟而確定的每個區域成為不同的顯示方 式，并進行輸出。由此，對所確定的每個區域以不同的顯示方式實施圖像處理，所以能夠容 易確認所檢測到的移動體。另外，還可以包括運動預測步驟，該運動檢測步驟為根據構成通過所述區域劃分 步驟而確定的區域的移動軌跡，計算代表該區域的移動軌跡，并預測為該區域按照所計算 的代表的移動軌跡進行移動，由此預測所述移動體的運動。由此，能夠以更好的精度預測運動。下面，使用

本發明的實施方式。(實施方式1)圖1是表示實施方式1的移動體檢測裝置100的結構的圖。如圖1所示，該移動體 檢測裝置100具有圖像輸入部101、運動分析部102、距離計算部103、區域劃分部104、輸出 部105。其中，區域劃分部104具有測地距離計算部106、區域劃分候選生成部107、區域間測地距離計算部108、區域劃分候選選擇部109。移動體檢測裝置100是通過將包括多個圖 片(picture)的動態圖像中的移動體的全部或者一部分區域進行劃分來檢測動態圖像中 的移動體的裝置。在本實施方式中，移動體檢測裝置100獲取利用攝像機110拍攝的動態 圖像，檢測所獲取的動態圖像中的移動體，根據檢測結果生成圖像并輸出圖像。顯示器120 顯示從移動體檢測裝置100輸出的圖像。圖像輸入部101是一個處理部，受理從攝像機110等發送來的、構成動態圖像的時 間上不同的多個圖片的輸入，例如是視頻攝像機或者與視頻攝像機連接的通信接口等。運動分析部102是一個處理部，對構成由圖像輸入部101受理的多個圖片的由一 個以上的像素所構成的每個塊，檢測在時間上鄰接的兩個圖片間的圖像的運動，并對多個 圖片，將檢測到的運動加以連結，由此計算移動軌跡。即，所謂塊是計算移動軌跡的單位，是 一個以上的像素的集合。距離計算部103是一個處理部，獲取多個構成動態圖像的多個圖像間的對應 點——即移動軌跡，針對獲取的移動軌跡計算表示移動軌跡間的相似度的距離，在本實施 方式中，為了捕捉移動的物體的形狀變化，使用由運動分析部102計算的塊i的移動軌跡和 除塊i之外的塊的移動軌跡，計算表示塊的運動的相似度的距離。因此，在使用I個塊的移 動軌跡的情況下，所計算的距離成為I行I列(IXI)的距離矩陣。在此，通過計算用于評 價塊的運動的相似度的距離，能夠將塊間的距離由于運動而變化的移動體、尤其是像關節 物體那樣形狀變化的同時進行移動的人物等物體的運動，表現為距離矩陣。另外，在后面的 說明中，把塊i的移動軌跡稱為移動軌跡i。這樣，本說明書中的“距離”不僅包括二維空間 中的兩點間的距離，也包括后面所述的多維數據間的算術距離，是一個值或者多個值的集 合(距離矩陣)。另外，距離計算部103計算例如多個圖像中的移動軌跡間的歐幾里得距離 的平均值，作為表示移動軌跡間的相似度的距離。區域劃分部104是一個處理部，根據由距離計算部103計算的距離，將相似的移動 軌跡的集合確定為一個區域，由此進行區域劃分。該區域劃分部104具有測地距離計算部 106、區域劃分候選生成部107、區域間測地距離計算部108、區域劃分候選選擇部109。構成區域劃分部104的測地距離計算部106及區域劃分候選生成部107，使用由距 離計算部103計算的距離矩陣，檢測移動軌跡間的距離的分布中的不連續性，并生成使彼 此離開的距離比所檢測到的不連續點還小的移動軌跡成為一個聚類(cluster)的多個區 域劃分候選。具體地講，測地距離計算部106生成作為在區域劃分中使用的判定基準的多個閾 值，關于所生成的多個閾值中的各個閾值，(1)針對由距離計算部103計算的距離，實施用 于將比該閾值大的距離無限大化的非線性化，(2)使用非線性化后的距離，計算由運動分析 部102計算的多個移動軌跡中的移動軌跡間的測地距離。區域劃分候選生成部107根據由測地距離計算部106生成的多個閾值中的各個閾 值的移動軌跡間的測地距離，把距離為有限值的測地距離的移動軌跡的集合設為區域劃分 候選，由此生成多個區域劃分候選。區域間測地距離計算部108針對由區域劃分候選生成部107計算的多個區域劃分 候選，根據屬于區域劃分候選的多個移動軌跡間的測地距離，計算表示兩個區域劃分候選 間的相似度的區域間測地距離。
區域劃分候選選擇部109根據由區域間測地距離計算部108計算的區域間測地距 離，選擇區域劃分候選，并按照與所選擇的區域劃分候選相對應的多個移動軌跡中的每個 移動軌跡進行聚類，由此進行圖像中的移動體的檢測和圖像的區域劃分。具體地講，區域劃 分候選選擇部109把由區域劃分候選生成部107生成的區域劃分候選中、由區域間測地距 離計算部108計算的區域間測地距離滿足預先設定的條件的區域劃分候選，選擇為區域劃 分的結果。輸出部105輸出由區域劃分部104進行的動態圖像中的移動體的檢測結果或者圖 像的區域劃分結果。具體地講，輸出部105針對由圖像輸入部101受理的動態圖像實施圖 像處理，并輸出給顯示器120等，以使例如由區域劃分部104確定的每個區域成為不同的顯 不方式。在本說明書中，“區域抽取”包括抽取某個特定的對象物所在的圖像區域的檢測技 術、和對每個物體劃分圖像區域而不需區分對象物的區域劃分技術這兩者。另外，檢測技術 和區域劃分技術有許多部分是相同的，所以在本說明書中對兩者不進行區分。另外，構成上述移動體檢測裝置100的各個構成要素(圖像輸入部101、運動分析 部102、距離計算部103、區域劃分部104、輸出部10 ，可以利用在計算機上執行的程序等 軟件實現，也可以利用電子電路等硬件實現。圖2是表示利用軟件實現的本實施方式的移動體檢測裝置的硬件結構的圖。在圖 2中，攝像機110拍攝圖像并輸出圖像，計算機1002獲取圖像并進行區域抽取處理，并生成 表示區域抽取結果的圖像。顯示器120獲取由計算機1002生成的圖像并顯示該圖像。計 算機 1002 由 I/F 1004、CPU1005、ROM 1006、RAM 1007、HDD 1008、視頻卡 1009 構成。使計 算機1002工作的程序被預先保存在ROM 1006或HDD 1008中。程序由處理器即CPU 1005 從ROM 1006或HDD 1008讀出到RAM 1007中進行展開。CPU1005執行在RAM 1007中展開 的程序中的被代碼化的各個命令。I/F 1004根據程序的執行，將由攝像機110拍攝的圖像 取入到RAM 1007中。視頻卡1009輸出根據程序的執行而生成的圖像，并在顯示器120上 進行顯示。另外，計算機程序不限于被存儲在作為半導體的ROM 1006或HDD 1008中，也可以 存儲在例如光盤中。并且，計算機程序還可以通過有線或無線的網絡、廣播等進行傳輸，并 被取入到計算機的RAM 1007中。下面，使用圖3說明本實施方式的移動體檢測裝置100的動作。圖3是表示本實施方式的移動體檢測裝置100的動作的流程圖。在圖3中，7個步驟S201 S209分別與圖1所示的各個處理部對應。即，圖像輸 入部101執行圖像輸入步驟S201的動作，運動分析部102執行運動分析步驟S202的動作， 距離計算部103執行距離計算步驟S203的動作，測地距離計算部106執行測地距離計算步 驟S204的動作，區域劃分候選生成部107執行區域劃分候選生成步驟S205的動作，區域間 測地距離計算部108執行區域間測地距離計算步驟S206的動作，區域劃分候選選擇部109 執行區域劃分候選選擇步驟S207的動作，輸出部105執行圖像輸出步驟S208的動作。區 域劃分部104執行區域劃分步驟S209。在圖像輸入步驟S201，圖像輸入部101從攝像機110獲取構成動態圖像的多個圖 片。此處假設是輸入T個圖片。
13
圖4是表示利用攝像機110拍攝的對象物的狀況——即攝影狀況的一例的圖。另 外，圖5(a) 圖5(f)是表示在圖4所示的攝影狀況下利用攝像機110拍攝的動態圖像中 包含的多個圖片的一例的圖。圖像輸入部101從攝像機110接受第1幀到第T幀的T個圖 片。在本實施方式中，圖片的數量T是預先設定的數量。然后，在運動分析步驟S202，運動分析部102計算所輸入的多個圖片間的運動信 息，生成移動軌跡并進行輸出。其中，作為計算多個圖片間的運動的方法，這里是把多個圖 片中的某一個圖片上的I個像素作為基準，搜索另一(T-I)個圖片中的對應的像素。另外， 也可以取代I個像素，而把I個小矩形區域(塊)作為基準。例如，使用t幀和(t+ι)幀的 圖片，估算與t幀的圖片上的像素i的像素坐標(Xit，yit) (i = 1...I)對應的、(t+Ι)幀 的圖片上的像素坐標(xit+l，yit+l)。在圖片是3個以上的情況下，依次求出對應的坐標， 由此計算所輸入的全部T個圖片的I個對應點。關于上述的計算多個圖片間的對應點的具體方法，在非專利文獻1或者非專利文 獻2等中做了詳細記載，所以此處省略詳細說明。(非專利文獻 1)P· Anandan，“A Computational Framework and an Algorithm for the Measurement of Visual Motion”， International Journal of Computer Vision, Vol. 2,pp.283-310,1989(非專禾Ij文獻 2) Vladimir Kolmogorov and Ramin Zabih, "Computing Visual Correspondence with Occlusions via Graph Cuts，，，International Conference on Computer Vision,2001 另外，在該運動分析步驟S202，運動分析部102根據作為I個像素的跨越T個圖片 的運動信息的、對應點的像素坐標的組，按照下述式1生成與I個像素的每個對應的I個移 動軌跡。[數式 1]
權利要求
1.一種移動體檢測方法，通過對動態圖像中的移動體的全部或者一部分區域進行劃 分，檢測動態圖像中的移動體，所述移動體檢測方法包括距離計算步驟，獲取多個移動軌跡，并針對所獲取的移動軌跡計算表示移動軌跡間的 相似度的距離，該移動軌跡是構成動態圖像的多個圖像間的對應點；以及區域劃分步驟，根據在所述距離計算步驟計算的距離，將相似的移動軌跡的集合確定 為一個區域，由此進行區域劃分，所述區域劃分步驟包括測地距離計算步驟，根據在所述距離計算步驟計算的移動軌跡間的距離，計算移動軌 跡間的測地距離；區域劃分候選生成步驟，根據所述多個移動軌跡，生成多個區域劃分候選，該區域劃分 候選是移動軌跡的集合；區域間測地距離計算步驟，針對在所述區域劃分候選生成步驟生成的區域劃分候選， 根據屬于所述區域劃分候選的多個移動軌跡間的測地距離，計算表示區域劃分候選間的相 似度的區域間測地距離；以及區域劃分候選選擇步驟，選擇在所述區域劃分候選生成步驟生成的區域劃分候選之 中、通過所述區域間測地距離計算步驟計算的區域間測地距離滿足預先設定的條件的區域 劃分候選，作為區域劃分的結果。
2.根據權利要求1所述的移動體檢測方法，還包括圖像輸入步驟，受理構成動態圖像的多個圖片；以及運動分析步驟，按由構成所述圖片的一個以上的像素所構成的每個塊，檢測在時間上 鄰接的兩個圖片間的圖像的運動，并對所述多個圖片連結所檢測到的運動，由此計算移動 軌跡，在所述距離計算步驟，獲取在所述運動分析步驟計算的移動軌跡，并計算所述距離。
3.根據權利要求1所述的移動體檢測方法，在所述距離計算步驟，計算所述多個圖像中的移動軌跡間的歐幾里得距離的平均值， 作為表示移動軌跡間的相似度的所述距離。
4.根據權利要求1所述的移動體檢測方法，在所述測地距離計算步驟中，在計算從第1移動軌跡到第2移動軌跡的測地距離時，將 在所述距離計算步驟獲取的多個移動軌跡中的某一個移動軌跡作為中繼點，計算從所述第 1移動軌跡到達所述第2移動軌跡的全部路徑中的最短路徑，作為所述測地距離。
5.根據權利要求4所述的移動體檢測方法，在所述測地距離計算步驟中，(1)針對在所述距離計算步驟計算的移動軌跡間的距離，計算通過將該距離的一部分 無限大化而得到的非線性化的距離，(2)在根據所述非線性化的距離來計算從第1移動軌跡到第2移動軌跡的測地距離時， 將另一個移動軌跡作為中繼點，計算從所述第1移動軌跡到達所述第2移動軌跡的全部路 徑的距離中的最短距離，作為所述測地距離。
6.根據權利要求1所述的移動體檢測方法，在所述測地距離計算步驟中，獲取多個閾值，將獲取到的多個閾值用作定義移動軌跡的附近的閾值，根據在所述距離計算步驟計算的移動軌跡間的距離，按每個閾值計算沿著 位于附近的移動軌跡的路徑上的距離，由此計算所述移動軌跡間的測地距離，在所述區域劃分候選生成步驟中，根據在所述測地距離計算步驟計算的多個閾值中的 每個閾值的移動軌跡間的測地距離，將相似的移動軌跡的集合作為一個區域劃分候選，由 此生成所述多個區域劃分候選。
7.根據權利要求6所述的移動體檢測方法，在所述測地距離計算步驟中，生成在所述距離計算步驟計算的多個距離之中的最大值 和最小值之間的值，作為所述多個閾值。
8.根據權利要求1所述的移動體檢測方法，在所述區域間測地距離計算步驟中，作為針對所述多個閾值中的各個閾值在所述區域 劃分候選生成步驟生成的多個區域劃分候選集之中的第1區域劃分候選集中的兩個區域 劃分候選間的區域間測地距離，通過使用代表測地距離和參照測地距離進行預先設定的運 算而計算，其中該代表測地距離是該兩個區域劃分候選中的測地距離，該參照測地距離是 上述多個區域劃分候選集之中的第2區域劃分候選集中的測地距離，該第2區域劃分候選 集包含的區域劃分候選的總數僅次于該第1區域劃分候選集中包含的區域劃分候選的總 數。
9.根據權利要求8所述的移動體檢測方法，在所述區域間測地距離計算步驟中，根據所述參照測地距離和所述代表測地距離，計 算表示兩個區域劃分候選間的距離的指標、和表示各個區域劃分候選內的偏差的指標，并 通過用表示所述偏差的指標對表示所述距離的指標進行規范化的運算，計算所述區域間測 地距離。
10.根據權利要求1所述的移動體檢測方法，在所述區域間測地距離計算步驟計算的區域間測地距離是使用第2指標和第3指標將 第1指標規范化而得到的值，所述第1指標表示根據屬于某個區域劃分候選的多個移動軌 跡與屬于另一個區域劃分候選的多個移動軌跡之間的測地距離的總和而計算的兩個區域 劃分候選間的距離，所述第2指標表示根據屬于所述某個區域劃分候選的多個移動軌跡間 的測地距離的總和而計算的區域劃分候選內的偏差，所述第3指標表示根據屬于所述另一 個區域劃分候選的多個移動軌跡間的測地距離的總和而計算的區域劃分候選內的偏差。
11.根據權利要求1所述的移動體檢測方法，在所述區域劃分候選選擇步驟中，將在所述區域劃分候選生成步驟生成的區域劃分候 選之中、通過所述區域間測地距離計算步驟計算的區域間測地距離比預先設定的閾值大的 兩個區域劃分候選，全部選擇為所述區域劃分的結果并輸出。
12.根據權利要求1所述的移動體檢測方法，在所述區域劃分候選選擇步驟中，根據在所述區域劃分候選生成步驟生成的區域劃分 候選之中、通過所述區域間測地距離計算步驟計算的區域間測地距離的時間變化，選擇所 述區域劃分候選，并作為所述區域劃分的結果輸出。
13.根據權利要求12所述的移動體檢測方法，在所述區域劃分候選選擇步驟中，將在所述區域劃分候選生成步驟生成的區域劃分候 選之中、通過所述區域間測地距離計算步驟計算的區域間測地距離的時間變化比預先設定的閾值大的兩個區域劃分候選，選擇為不同區域，并作為所述區域劃分的結果輸出。
14.根據權利要求12所述的移動體檢測方法，在所述區域劃分候選選擇步驟中，將在所述區域劃分候選生成步驟生成的區域劃分候 選之中、通過所述區域間測地距離計算步驟計算的區域間測地距離的時間變化比預先設定 的閾值小的兩個區域劃分候選，選擇為同一區域，并作為所述區域劃分的結果輸出。
15.根據權利要求12所述的移動體檢測方法，在所述區域劃分候選選擇步驟中，在所述區域劃分候選生成步驟生成的區域劃分候選 之中，根據通過所述區域間測地距離計算步驟計算的區域間測地距離的時間變化，以(1) 變化越大時越使兩個區域劃分候選成為不同區域、且( 變化越小時越使兩個區域劃分候 選成為同一區域的方式，選擇區域劃分候選，并作為所述區域劃分的結果輸出。
16.根據權利要求12所述的移動體檢測方法，針對新的動態圖像反復執行所述距離計算步驟及所述區域劃分步驟，在所述區域劃分候選選擇步驟中，將在所述區域劃分候選生成步驟生成的區域劃分 候選之中、在所述反復執行中通過所述區域間測地距離計算步驟計算的區域間測地距離的 時間變化比預先設定的閾值大的兩個區域劃分候選，全部選擇為所述區域劃分的結果并輸 出ο
17.根據權利要求2所述的移動體檢測方法，在所述區域劃分候選生成步驟中，根據在所述圖像輸入步驟獲取的圖像的亮度信息， 生成多個區域劃分候選圖像，并將與區域劃分候選圖像對應的一個以上的移動軌跡的集合 作為區域劃分候選，由此生成所述多個區域劃分候選。
18.根據權利要求1所述的移動體檢測方法，在所述區域劃分候選生成步驟生成的多個區域劃分候選之中、至少一個區域劃分候選 是一個移動軌跡所屬的區域劃分候選，在所述區域間測地距離計算步驟中，輸出所述一個移動軌跡與屬于另一個區域劃分候 選的任意一個移動軌跡之間的測地距離，作為所述一個移動軌跡所屬的區域劃分候選與所 述另一個區域劃分候選之間的區域間測地距離。
19.根據權利要求18所述的移動體檢測方法，在所述區域劃分候選選擇步驟中，將作為所述區域間測地距離而輸出的移動軌跡間的 測地距離的時間變化比預先設定的閾值小的兩個移動軌跡，確定為同一區域。
20.根據權利要求18所述的移動體檢測方法，在所述區域劃分候選選擇步驟中，將作為所述區域間測地距離而輸出的移動軌跡間的 測地距離的時間變化比預先設定的閾值大的兩個移動軌跡，確定為不同區域。
21.根據權利要求2所述的移動體檢測方法，還包括輸出步驟，該輸出步驟為針對在所述圖像輸入步驟受理的動態圖像實施圖像 處理，以使得通過所述區域劃分步驟而確定的每個區域成為不同的顯示方式，并進行輸出。
22.根據權利要求1所述的移動體檢測方法，還包括運動預測步驟，該運動檢測步驟為根據構成通過所述區域劃分步驟而確定的 區域的移動軌跡，計算代表該區域的移動軌跡，并預測為該區域按照所計算的代表的移動 軌跡進行移動，由此預測所述移動體的運動。
23.—種移動體檢測裝置，通過對動態圖像中的移動體的全部或者一部分區域進行劃 分，檢測動態圖像中的移動體，包括距離計算部，獲取多個移動軌跡，并針對所獲取的移動軌跡計算表示移動軌跡間的相 似度的距離，該移動軌跡是構成動態圖像的多個圖像間的對應點；區域劃分部，根據通過所述距離計算部計算的距離，將相似的移動軌跡的集合確定為 一個區域，由此進行區域劃分，所述區域劃分部包括測地距離計算部，根據通過所述距離計算部計算的移動軌跡間的距離，計算移動軌跡 間的測地距離；區域劃分候選生成部，根據所述多個移動軌跡，生成多個區域劃分候選，該區域劃分候 選是移動軌跡的集合；區域間測地距離計算部，針對通過所述區域劃分候選生成部生成的區域劃分候選，根 據屬于所述區域劃分候選的多個移動軌跡間的測地距離，計算表示區域劃分候選間的相似 度的區域間測地距離；以及區域劃分候選選擇部，選擇在通過所述區域劃分候選生成部生成的區域劃分候選之 中、通過所述區域間測地距離計算部計算的區域間測地距離滿足預先設定的條件的區域劃 分候選，作為區域劃分的結果。
24.一種移動體檢測裝置用的程序，該移動體檢測裝置通過對動態圖像中的移動體的 全部或者一部分區域進行劃分，檢測動態圖像中的移動體，所述程序使計算機執行權利要求1所述的移動體檢測方法中包含的步驟。
全文摘要
一種移動體檢測方法，能夠正確抽取區域，而不受移動體的形狀、大小的變化、遮斷的影響，該方法計算表示構成動態圖像的多個塊的各個塊中的圖像的移動軌跡間的相似度的距離(S203)，根據該距離將相似的移動軌跡的集合確定為一個區域(S209)。在步驟S209，對于多個閾值中的各個閾值，(1)將上述距離非線性化，(2)根據非線性化后的距離計算多個移動軌跡間的測地距離(S204)，(3)將多個移動軌跡之中距離為有限值的測地距離的移動軌跡的集合設為區域劃分候選(S205)，針對這些區域劃分候選計算表示區域劃分候選間的相似度的尺度即區域間測地距離(S206)，將這些區域劃分候選之中、區域間測地距離滿足預先設定的條件的區域劃分候選，選擇為區域劃分的結果(S207)。
文檔編號H04N5/232GK102077250SQ20098012539
公開日2011年5月25日 申請日期2009年12月18日 優先權日2009年1月9日
發明者巖崎正宏, 甲本亞矢子, 登一生 申請人:松下電器產業株式會社