圖像處理裝置的制作方法

本發明涉及圖像處理裝置，涉及例如對用汽車等車輛中搭載的多個攝像機拍攝的圖像進行處理而識別車輛周圍的環境的圖像處理裝置。

背景技術：

以往，開發了基于從汽車等車輛中搭載的攝像機(車載攝像機)得到的圖像檢測該車輛周圍存在的車輛，將該檢測結果用于駕駛員的駕駛輔助的系統。作為這樣的系統的一例，例如已知自動維持與自車周圍存在的車輛的車間距離的車間距離維持系統(ACC)，和在發生與自車周圍存在的車輛等的碰撞可能性時用警報等提示駕駛員注意，進而在成為不能避免碰撞的狀況時通過自動制動等減輕對乘員的傷害的防撞系統等。

特別是，使用由多個攝像機構成的立體攝像機裝置的情況下，能夠同時取得基于用攝像機拍攝的圖像的視覺上的信息和關于該圖像中映出的對象物的距離的信息，詳細了解車輛周圍的各種對象物(人、車輛、立體物、路面、路面標識、標志牌等)，所以也有助于駕駛輔助時的安全性的提高。

對于使用了作為上述車間距離維持系統和防撞系統的核心的圖像處理的物體檢測技術，持續進行了提高精度的嘗試，另一方面，作為車載裝置可利用的計算資源有限，且要求較快的響應速度。所以，該領域中，要求開發滿足提高檢測精度和降低計算負荷、提高響應速度這樣的相互矛盾的要求的技術。

對于這樣的要求，專利文獻1中，公開了在測定到圖像中映出的對象物的距離時，提高距離精度地測定到該對象物的正確的距離的技術。

專利文獻1中公開的圖像處理裝置是從用一對攝像元件在同一時刻對同一方向拍攝得到的一對圖像中的一方的圖像提取包括對象物的圖像的一方圖像對象物區域，對于構成該一方圖像對象物區域的多個圖像構成部分分別計算是對象物圖像構成部分和背景圖像構成部分中的哪一方的確定度即背景度，用該背景度從另一方的圖像內提取具有與一方圖像對象物區域類似的圖像的另一方圖像對象物區域，計算一方圖像對象物區域與另一方圖像對象物區域的視差的裝置。

現有技術文獻

專利文獻

專利文獻1：日本特開2013-104740號公報

技術實現要素：

發明要解決的課題

使用立體攝像機裝置的物體(特別是車輛)檢測技術中使用的現有的圖像處理裝置，一般具有圖7所示的裝置結構。即，現有的圖像處理裝置50’如圖7所示，主要包括構成圖像處理部52’的右圖像取得部501’、左圖像取得部502’和視差信息取得部503’，以及構成運算處理部53’的車輛檢測部504’、距離計算部505’、對照處理部506’、相對速度計算部507’和計算結果輸出部508’。

在該現有的圖像處理裝置50’中，首先，用左圖像取得部502’和右圖像取得部501’從車輛中搭載的左右一對攝像機取得圖像。接著，用視差信息取得部503’對用左右的攝像機拍攝到的2個圖像相互對照并計算視差，輸出視差圖像。接著，由車輛檢測部504’使用根據計算結果得到的視差信息(視差圖像)和左右的圖像(用左右的攝像機拍攝到的左圖像和右圖像)或一方的圖像，進行圖像中映出的車輛的檢測、識別，輸出車輛候選組的位置(圖像中的位置)。接著，由距離計算部505’使用車輛的檢測結果(車輛候選組的位置)和視差信息(視差圖像)等，計算并輸出與上述車輛的距離(車輛候選組的距離)。將該計算結果記錄在登記表509’中。接著，由對照處理部506’使用在幀之間檢測出的車輛的位置信息(例如某一幀T及其過去一幀T-1的車輛候選組的位置和距離)和圖像的視點的信息，進行某一幀中的檢測結果及其下一幀中的檢測結果的關聯。其中，不存在過去的信息的情況下不實施該對照處理部506’進行的對照處理。接著，相對速度計算部507’使用由對照處理部506’識別出的幀之間的關聯(即，在幀之間關聯的車輛候選組的位置和距離)，識別距離的變化率而計算上述車輛的相對速度，并且將在該幀中求出的相對速度與車輛的位置和距離等信息一同記錄在登記表509’中。另外，相對速度也能夠根據放大率求出，所以，該情況下，也可以使用右圖像或左圖像中的某一方。然后，用計算結果輸出部508’對控制處理部等輸出該計算結果。其中，登記表509’中記錄的在某一幀中計測出的車輛候選組的位置和距離、相對速度等，被用于下一幀中的處理。

上述視差信息取得部503’進行的視差計算處理中，如圖8所示，左右的圖像的視差計算處理的對象區域是區域511’和區域514’的情況下，將區域511’分割為某個固定尺寸的小區域，從區域514’中搜索與關注的小區域對應的部分。具體而言，從區域514’中截取與區域511’上關注的小區域相同尺寸的區域512’，使該截取范圍向箭頭513’方向(橫方向)平移，搜索最匹配的場所。該對照范圍在預先規定的mad的范圍內進行，但因為在想要立體觀看的對象圖像的整面進行上述細小的區域的對照，所以處理變得遲緩。一般而言，該處理用專門進行圖像處理的元件執行，但已知即使如此，其計算負荷也較大。

用時序更詳細地說明現有的圖像處理裝置50’進行的圖像處理，如圖9所示，將圖像處理部52’中的進程作為S1’序列，將運算處理部53’中的進程作為S2’序列的情況下，首先，在圖像處理部52’(S1’序列)中，進行來自右攝像機的右圖像輸入處理S501’和來自左攝像機的左圖像輸入處理S502’，在蓄積了雙方的圖像的階段，進行視差計算處理S503’。該視差計算處理S503’的結果是得到左右或一方的圖像和與其對應的視差信息(視差圖像)。在時刻T1’對運算處理部53’傳輸該視差計算處理S503’中的處理結果，在運算處理部53’(S2’序列)中，等待其傳輸結束，進行車輛檢測/識別處理S504’。之后，進行距離計算處理S505’、對照處理S506’、相對速度計算處理S507’、計算結果輸出處理S508’。

但是，上述現有的圖像處理裝置50’中，如基于圖8所說明的一般，視差信息取得部503’進行的視差計算處理S503’需要時間，另外，車輛檢測部504’進行的車輛檢測/識別處理S504’自身也大量進行圖像處理和識別，所以存在整體的處理時間變長的傾向。結果，可能發生直到輸出計算結果的響應速度變慢、即響應性能劣化的問題。

另外，從輸入來自攝像機的圖像直到輸出計算結果的響應的延遲，不僅在單獨使用立體攝像機裝置與車輛控制裝置等通信時，在與其他傳感器組合地對該車輛提供車輛周圍的信息這樣的傳感器融合系統中，傳感器之間的響應的差異也增大，可能發生其信息的整合變得困難的問題。

本發明鑒于上述問題而得出，其目的在于提供一種能夠維持距離等的識別精度，同時抑制從輸入來自攝像機的圖像直到輸出計算結果的響應的延遲，滿足提高識別精度和降低計算負荷(提高處理效率)、提高響應速度這樣的相互矛盾的要求的圖像處理裝置。

為了解決上述課題，本發明的圖像處理裝置對由多個攝像機同步地拍攝到的多個圖像進行處理來計測與所述圖像中顯現的對象物的相對距離或相對速度，所述圖像處理裝置的特征在于，包括：對象物追蹤部，其實施基于所述多個圖像中的任一個圖像和所述對象物的過去位置信息來求取所述對象物的當前位置信息的追蹤處理；第一距離計算部，其基于所述當前位置信息和所述多個圖像中的至少兩個圖像來計算與所述對象物的相對距離；對象物檢測部，其基于根據所述多個圖像中的至少兩個圖像獲得的視差信息，求取所述對象物的當前位置信息來檢測所述對象物；第二距離計算部，其基于所述對象物的檢測結果來計算與所述對象物的相對距離；和修正處理部，其基于由所述對象物追蹤部求出的當前位置信息、由所述對象物檢測部求出的當前位置信息、由所述第一距離計算部計算出的相對距離和由所述第二距離計算部計算出的相對距離中的至少一者，對所述當前位置信息和所述相對距離中的至少一者進行修正，所述第一距離計算部的處理開始時刻設定為在所述對象物檢測部的處理結束時刻之前。

根據本發明，第一距離計算部的處理開始時刻設定為在上述對象物檢測部的處理結束時刻之前、特別是上述對象物檢測部的處理開始時刻之前，在對象物檢測部進行的對象物檢測/識別處理的結束前或開始前，使用基于多個圖像中的某一個圖像和預先存儲的對象物的過去位置信息求出的對象物的當前位置信息計算與對象物的相對距離，由此能夠維持距離等的識別精度，同時有效地抑制從輸入來自攝像機的圖像直到輸出計算結果的響應的延遲。

上述以外的課題、結構和效果，將通過以下實施方式的說明而明確。

附圖說明

圖1是概略地表示應用了本發明的圖像處理裝置的實施方式1的立體攝像機系統的系統結構的系統結構圖。

圖2是概略地表示圖1所示的圖像處理裝置的內部結構的內部結構圖。

圖3是表示圖2所示的圖像處理裝置的內部結構的內部結構圖。

圖4是按時序說明圖1所示的圖像處理裝置的處理內容的時序圖。

圖5是按時序說明本發明的圖像處理裝置的實施方式2的處理內容的時序圖。

圖6是按時序說明本發明的圖像處理裝置的實施方式3的處理內容的時序圖。

圖7是表示現有的圖像處理裝置的內部結構的內部結構圖。

圖8是示意性地說明視差信息取得部的一般的處理內容的示意圖。

圖9是按時序說明現有的圖像處理裝置的處理內容的時序圖。

具體實施方式

以下，參考附圖說明本發明的圖像處理裝置的實施方式。

[實施方式1]

圖1概略地示出了應用了本發明的圖像處理裝置的實施方式1的立體攝像機系統的系統結構。圖示的立體攝像機系統1例如搭載在汽車等車輛V中，主要由多個(本實施方式中為2臺)攝像機所組成的立體攝像機裝置11、對用立體攝像機裝置11的各攝像機同步地拍攝的多個圖像進行處理的圖像處理裝置10、基于圖像處理裝置10中生成的控制信號控制車輛V中搭載的各種裝置(例如油門13、制動器14、揚聲器15、方向盤16等)的控制裝置12構成。

立體攝像機裝置11例如在車輛V的前方的擋風玻璃的上部的跟前，朝向車輛V的前方設置，經由車內網絡，與圖像處理裝置10和控制裝置12、油門13、制動器14、揚聲器15等可通信地連接。該立體攝像機裝置11具備作為拍攝車輛V的前方而取得圖像信息的一對攝像單元的右攝像機11a和左攝像機11b。右攝像機11a和左攝像機11b分別具有CCD等攝像元件，以從在車寬方向(左右方向)上相互隔開的位置拍攝車輛V的前方的方式設置(參考圖2)。

圖像處理裝置10是基于用立體攝像機裝置11以規定周期時序地取得的車輛V的前方的拍攝對象區域的圖像信息識別車外的環境的裝置，例如識別道路的白線、行人、車輛、其他立體物、信號、標志、亮燈等各種對象物，基于其識別結果生成控制信號并對控制裝置12輸出。控制裝置12基于從圖像處理裝置10接收到的控制信號，進行該車輛V(自車輛)的油門13和制動器14、方向盤16等的調整。

其中，圖像處理裝置10和控制裝置12也可以安裝在立體攝像機裝置11內而由該立體攝像機裝置11自身兼顧處理，也可以安裝在綜合控制器內等。

圖2概略地示出了圖1所示的圖像處理裝置的內部結構。圖示的圖像處理裝置10主要具有圖像輸入接口21、圖像處理部22、運算處理部23、存儲部24、CAN接口25、控制處理部26，各部分經由總線20可通信地連接。

圖像輸入接口21控制立體攝像機裝置11的攝像，用于導入用立體攝像機裝置11(的各攝像機11a、11b)拍攝到的圖像。通過該圖像輸入接口21導入的各攝像機11a、11b的圖像，通過總線20傳輸，在圖像處理部22和運算處理部23中進行處理，并且將作為處理中途的結果和最終結果的圖像數據等存儲在存儲部24中。

圖像處理部22對用立體攝像機裝置11的右攝像機11a的拍攝元件得到的右圖像、與用左攝像機11b的拍攝元件得到的左圖像進行比較，對于各圖像，進行因攝像元件而產生的裝置固有的偏差的修正和噪聲插值等圖像修正，將其存儲在存儲部24中。另外，計算右圖像與左圖像之間彼此對應的場所，計算視差信息并生成視差圖像(視差信息)，同樣將其存儲在存儲部24中。

運算處理部23使用存儲部24中蓄積的圖像和視差信息(與圖像上的各點對應的距離信息)，進行感知車輛V的周邊環境所需的各種對象物的識別。此處，可以列舉人、車輛、其他障礙物、信號燈、標志、車輛的尾燈和前燈等作為各種對象物。將這些識別結果和中間計算結果的一部分同樣存儲在存儲部24中。

控制處理部26使用存儲部24中蓄積的識別結果等生成控制車輛V的制動等的控制信號，與該車輛V的控制方針相關的控制信號和對象物識別的識別結果的一部分經由CAN接口25對車載網絡CAN27傳輸，從該處向上述控制裝置12等傳輸。

圖3更具體地示出了圖2所示的圖像處理裝置的內部結構。其中，以下，具體說明作為對象物檢測出存在位于該車輛V的前方的前方車輛，識別從該車輛V直到該前方車輛的相對距離和速度的情況。

如圖所示，上述圖像處理裝置10主要具備構成圖像處理部22的右圖像取得部101、左圖像取得部102和視差信息取得部103，以及構成運算處理部23的車輛追蹤部104、第一距離計算部105、相對速度計算部106、車輛檢測部107、第二距離計算部108、修正處理部109和計算結果輸出部110。

上述圖像處理裝置10進行的識別處理(車輛檢測處理)的處理內容，在第一次識別處理和第二次之后的識別處理中不同，所以分為第一次識別處理和第二次之后的識別處理進行說明。此處，第一次識別處理指的是從過去沒有檢測到對象車輛的狀態起初次檢測到的處理。

在第一次識別處理中，首先，右圖像取得部101和左圖像取得部102從存儲部24取得用右攝像機11a和左攝像機11b拍攝到的右圖像和左圖像。另外，右圖像取得部101和左圖像取得部102也可以經由圖像輸入接口21從立體攝像機裝置11(的各攝像機11a、11b)直接取得右圖像和左圖像。接著，視差信息取得部103使用由右圖像取得部101和左圖像取得部102取得的右圖像和左圖像進行視差計算，生成視差圖像(視差信息)。視差信息取得部103進行視差計算，結果得到圖像和視差信息(立體信息)，所以車輛檢測部107使用這些結果求出圖像中映出的車輛的當前位置信息(圖像中的位置信息)并進行該車輛的檢測/識別。第二距離計算部108使用該檢測結果計算出到前方車輛的距離。車輛檢測部107和第二距離計算部108，為了用作對象物的過去位置信息而將其計算結果的位置信息和距離信息登記在作為存儲部24的登記表111中。

另一方面，在第二次之后的識別處理中，為了實現處理的高效化，用右圖像取得部101取得右圖像后，車輛追蹤部104使用該右圖像和已經在登記表111中登記的已檢測的結果(即，對象物的過去位置信息)，進行求出前方車輛的當前位置信息(圖像中的位置信息)的車輛追蹤處理。詳細而言，車輛追蹤部104使用右圖像的信息對已檢測的結果中包括的位置附近進行搜索，確定前方車輛在當前幀中的位置。接著，第一距離計算部105使用由車輛追蹤部104求出的位置信息和用視差信息取得部103生成的視差圖像(視差信息)計算出到前方車輛的距離，相對速度計算部106使用第一距離計算部105得到的計算結果和該第一距離計算部105在過去計算出的計算結果計算出前方車輛的相對速度。然后，計算結果輸出部110經由存儲部24等對控制處理部26輸出第一距離計算部105得到的計算結果和相對速度計算部106得到的計算結果。

即，在該第二次之后的識別處理中，車輛追蹤部104不是如基于圖7和圖9說明的現有的圖像處理裝置50’的對照處理部506’一般，接收當前幀的車輛檢測部504’的檢測結果，而是根據已經在登記表111中登記的過去信息在自身的處理中確定對象物(前方車輛)在當前幀中的位置。

一般而言，在車輛檢測部107進行的車輛檢測/識別處理中，為了識別各種設計和各種外界環境下的車輛的影像，使用大量登記了車輛的圖像事例的辭典(圖像事例辭典)進行識別。所以，雖然處理精度良好，但是具有計算量增大、處理時間變長的傾向。另一方面，車輛追蹤部104進行的車輛追蹤處理將已經檢測到的車輛的圖像作為事例，對其周邊進行追蹤，所以計算量減少，能夠使從輸入圖像直到輸出計算結果的處理時間變得非常短。

用第一距離計算部105和相對速度計算部106進行了距離計測和相對速度計測之后，如上所述，車輛檢測部107使用視差信息取得部103進行的視差計算的結果求出前方車輛在該幀中的位置并進行該前方車輛的檢測/識別，第二距離計算部108使用該檢測結果計算出到前方車輛的距離。此處，車輛追蹤部104中已經求出了對象物(前方車輛)在當前幀中的位置，第一距離計算部105中也已經求出了與上述對象物(前方車輛)的距離，所以存在車輛檢測部107和第二距離計算部108的結果與車輛追蹤部104和第一距離計算部105的結果，但雙方的結果不一定一致。于是，修正處理部109對車輛檢測部107和第二距離計算部108的結果與車輛追蹤部104和第一距離計算部105的結果進行比較，決定在下一幀中使用哪個位置信息和距離信息。例如，修正處理部109能夠優先在下一幀中使用某一方的信息，或者在下一幀中使用雙方得到的位置的內分點，但其修正方法不特別限定。另外，修正處理部109也能夠基于第二距離計算部108的結果和第一距離計算部105的結果，對用相對速度計算部106求出的結果進行修正。修正處理部109為了在下一幀的車輛追蹤處理中等用作對象物的過去位置信息等而將求出的結果(位置信息和距離信息、相對速度信息等)保存在登記表111中。

按時序更詳細地說明上述圖像處理裝置10進行的圖像處理，如圖4所示，將圖像處理部22中的進程作為S1序列，將運算處理部23中的進程作為S2序列的情況下，首先，在圖像處理部22(S1序列)中，進行來自右攝像機11a的右圖像輸入處理S101和來自左攝像機11b的左圖像輸入處理S102，在蓄積了雙方的圖像的階段，進行視差計算處理S103。該視差計算處理S103的結果是得到左右或一方的圖像和與其對應的視差信息(視差圖像)。在時刻T1對運算處理部23傳輸該視差計算處理S103中的處理結果。其中，以上處理流程與基于圖9說明的現有的圖像處理裝置50’的處理流程相同。

另一方面，本實施方式中，在視差計算處理S103中的處理結果的傳輸時刻(視差計算處理S103的處理結束時刻之后的時刻)即時刻T1之前的、右圖像輸入處理S101結束后的時刻T0，從圖像處理部22(S1序列)對運算處理部23(S2序列)傳輸不包括立體觀看數據(視差信息)的僅有圖像的數據。對于已經檢測到的車輛，能夠進行僅使用圖像的車輛追蹤，所以在運算處理部23(S2序列)中，利用圖像處理部22(S1序列)中的左圖像輸入處理S102和視差計算處理S103的時間，進行求出當前幀中的車輛位置的車輛追蹤處理S104。之后，使用在視差計算處理S103之后的時刻T1傳輸來的視差信息，實施第一距離計算處理S105和相對速度計算處理S106，在該階段進行輸出第一距離計算處理S105和相對速度計算處理S106的計算結果的計算結果輸出處理S110。由此，可以抑制從輸入圖像直到對控制處理部26等輸出計算結果的延遲。

用計算結果輸出處理S110輸出計算結果之后，使用視差信息進行車輛檢測/識別處理S107，進行用其檢測結果計算出到前方車輛的距離的第二距離計算處理S108，基于上述車輛追蹤處理S104等的結果和車輛檢測/識別處理S107等的結果，實施決定下一幀中使用的位置等的修正處理S109，結束該幀中的處理。

這樣，本實施方式1中，通過使圖像處理裝置10中的圖像處理細分化，分割重構為單鏡頭系統的處理流程和立體系統的處理流程，進行CPU等計算資源的高效的分配，能夠維持距離等的識別精度，并且有效地縮短從輸入圖像直到輸出計算結果的響應的延遲。

具體而言，通過將車輛追蹤部104的處理開始時刻設定為視差信息取得部103的處理結束時刻之前、特別是視差信息取得部103的處理開始時刻之前，并且，將第一距離計算部105的處理開始時刻設定為車輛檢測部107的處理結束時刻之前、特別是車輛檢測部107的處理開始時刻之前，在車輛檢測部107進行的車輛檢測/識別處理S107的結束前或開始前，使用基于左右的圖像中的某一方和預先在登記表111中存儲的車輛的過去位置信息求出的車輛的當前位置信息計算出與前方車輛的相對距離等而輸出，由此能夠維持距離等的識別精度，并且有效地抑制從輸入來自攝像機的圖像直到輸出計算結果的響應的延遲。

[實施方式2]

圖5按時序說明了本發明的圖像處理裝置的實施方式2的處理內容。本實施方式2的圖像處理裝置，相對于上述實施方式1的圖像處理裝置10，主要在第一距離計算部進行的距離計算處理的處理方法和處理開始/結束時刻上不同。即，本實施方式2的圖像處理裝置的裝置結構與實施方式1的圖像處理裝置10的裝置結構相同，所以省略其詳細說明，以下，具體說明圖像處理裝置進行的圖像處理的處理內容。

本實施方式2中，如圖5所示，將圖像處理部22中的進程作為S1A序列，將運算處理部23中的進程作為S2A序列的情況下，與上述實施方式1同樣，首先，在圖像處理部22(S1A序列)中，進行來自右攝像機11a的右圖像輸入處理S101A和來自左攝像機11b的左圖像輸入處理S102A，在蓄積了雙方的圖像的階段，進行視差計算處理S103A。該視差計算處理S103A的結果是得到左右或一方的圖像和與其對應的視差信息(視差圖像)。在時刻T1A對運算處理部23傳輸該視差計算處理S103A中的處理結果。

另外，在視差計算處理S103A中的處理結果的傳輸時刻即時刻T1A之前的、右圖像輸入處理S101A結束后的時刻T0A，從圖像處理部22(S1A序列)對運算處理部23(S2A序列)傳輸不包括立體觀看數據(視差信息)的、僅有圖像的數據(右圖像)，進行求出當前幀中的車輛位置的車輛追蹤處理S104A。

進而，在左圖像輸入處理S102A結束后的時刻T2A，從圖像處理部22(S1A序列)對運算處理部23(S2A序列)傳輸不包括視差信息的僅有圖像的數據(只有左圖像、或右圖像和左圖像雙方的圖像)。如果存在右圖像和左圖像，則距離計測和相對速度計測能夠根據與基于圖8的說明相同的原理限定計算范圍而實施，并且，一般能夠用比視差計算處理S103A更短的處理時間實施。于是，使用車輛追蹤處理S104A中求出的位置信息和在時刻T0A、T2A傳輸來的右圖像和左圖像實施第一距離計算處理S105A和相對速度計算處理S106A，之后，進行輸出第一距離計算處理S105A和相對速度計算處理S106A得到的計算結果的計算結果輸出處理S110A。由此，能夠進一步縮短從輸入圖像直到對控制處理部26等輸出計算結果的處理時間。

之后，使用在視差計算處理S103A的結束時刻之后的時刻T1A傳輸來的該幀中的視差信息進行車輛檢測/識別處理S107A，進行用該檢測結果計算出與前方車輛的距離的第二距離計算處理S108A，基于上述車輛追蹤處理S104A等的結果和車輛檢測/識別處理S107A等的結果，實施決定下一幀中使用的位置等的修正處理S109A。

這樣，在本實施方式2中，將第一距離計算部的處理開始時刻設定為視差信息取得部的處理結束時刻之前，在視差計算處理S103A中的處理結果的傳輸時刻即時刻T1A之前的、來自各攝像機的圖像輸入處理已結束的階段傳輸各圖像，在視差計算處理S103A中的處理結束之前的、車輛追蹤處理S104A已結束且從各攝像機傳輸了各圖像的階段，開始第一距離計算處理S105A和相對速度計算處理S106A，由此能夠維持距離等的識別精度，并且進一步縮短從輸入圖像直到輸出計算結果的響應的延遲。

[實施方式3]

圖6按時序說明了本發明的圖像處理裝置的實施方式3的處理內容。本實施方式3的圖像處理裝置相對于上述實施方式2的圖像處理裝置，主要在利用2個CPU實施運算處理部的運算處理的方面不同。即，本實施方式3的圖像處理裝置的裝置結構與實施方式1、2的圖像處理裝置的裝置結構相同，所以省略其詳細說明，以下，具體說明圖像處理裝置進行的圖像處理的處理內容。

單鏡頭系統的車輛追蹤處理和與其相關的處理以及立體系統的車輛檢測/識別處理和與其相關的處理使用不同的數據，車輛追蹤處理不需要立體信息，且各處理相互獨立，所以運算處理部23中的車輛追蹤處理等與車輛檢測/識別處理等能夠用2個CPU分別獨立地實施。

本實施方式3中，如圖6所示，將圖像處理部22中的進程作為S1B序列，假設有2個CPU而將運算處理部23中的進程作為各個CPU中運行的S2aB序列、S2bB序列，與上述實施方式1、2同樣，首先，在圖像處理部22(S1B序列)中，進行右圖像輸入處理S101B、左圖像輸入處理S102B和視差計算處理S103B。然后，在該視差計算處理S103B結束的時刻T1B，對運算處理部23的S2bB序列傳輸其處理結果(視差信息)。

在右圖像輸入處理S101B結束后的時刻T0B(取得一方的圖像之后的時刻)、和左圖像輸入處理S102B結束后的時刻T2B(取得雙方的圖像之后的時刻)，從圖像處理部22(S1B序列)對運算處理部23的S2aB序列傳輸不包括視差信息的僅有圖像的數據，在運算處理部23的S2aB序列中，實施車輛追蹤處理S104B、第一距離計算處理S105B、相對速度計算處理S106B和計算結果輸出處理S110B。之后，在計算結果輸出處理S110B結束之后的適當的時刻T3B，從運算處理部23的S2aB序列對S2bB序列傳輸車輛追蹤處理S104B等的結果。

另一方面，在運算處理部23的S2bB序列中，使用在視差計算處理S103B的結束時刻后的時刻T1B傳輸來的該幀中的視差信息實施車輛檢測/識別處理S107B和第二距離計算處理S108B。之后，基于車輛檢測/識別處理S107B等的結果和從S2aB序列傳輸來的車輛追蹤處理S104B等的結果，實施決定下一幀中使用的位置等的修正處理S109B。

這樣，在本實施方式3中，通過用2個CPU分別實施運算處理部23中的車輛追蹤處理和與其相關的處理以及車輛檢測/識別處理和與其相關的處理，在時間上并行地實施車輛追蹤部和第一距離計算部等進行的處理以及對象物檢測部和第二距離計算部等進行的處理，由此，即使車輛追蹤處理S104B等需要時間，從車輛追蹤到輸出計算結果的處理時間變長，在有1個CPU的情況下車輛檢測/識別處理的執行會延遲的情況下，也能夠與車輛追蹤處理等并行地實施車輛檢測/識別處理等。所以，能夠縮短圖像處理裝置進行的圖像處理整體的處理時間(處理周期)，有效地提高其處理效率。

其中，上述實施方式1～3中，說明了在左圖像之前取得右圖像，用該右圖像實施車輛追蹤處理的方式，但也可以在右圖像之前取得左圖像，用該左圖像實施車輛追蹤處理。

另外，本發明不限定于上述實施方式1～3，包括各種變形方式。例如，上述實施方式1～3是為了易于理解地說明本發明而詳細說明的，并不限定于必須具備說明的所有結構。另外，能夠將某個實施方式的結構的一部分置換為其他實施方式的結構，也能夠在某個實施方式的結構上添加其他實施方式的結構。另外，對于實施方式的結構的一部分，能夠追加、刪除、置換其他結構。

另外，控制線和信息線示出了認為說明上必要的，并不一定示出了產品上所有的控制線和信息線。實際上也可以認為幾乎所有結構都相互連接。

附圖標記說明

1…立體攝像機系統，10…圖像處理裝置，11…立體攝像機裝置，11a…右攝像機，11b…左攝像機，12…控制裝置，20…總線，21…圖像輸入接口，21、22…圖像處理部，23…運算處理部，24…存儲部，25…CAN接口，26…控制處理部，27…車載網絡CAN，101…右圖像取得部，102…左圖像取得部，103…視差信息取得部，104…車輛追蹤部(對象物追蹤部)，105…第一距離計算部，106…相對速度計算部，107…車輛檢測部(對象物檢測部)，108…第二距離計算部，109…修正處理部，110…計算結果輸出部，111…登記表。