<listing id="vjp15"></listing><menuitem id="vjp15"></menuitem><var id="vjp15"></var><cite id="vjp15"></cite>
<var id="vjp15"></var><cite id="vjp15"><video id="vjp15"><menuitem id="vjp15"></menuitem></video></cite>
<cite id="vjp15"></cite>
<var id="vjp15"><strike id="vjp15"><listing id="vjp15"></listing></strike></var>
<var id="vjp15"><strike id="vjp15"><listing id="vjp15"></listing></strike></var>
<menuitem id="vjp15"><strike id="vjp15"></strike></menuitem>
<cite id="vjp15"></cite>
<var id="vjp15"><strike id="vjp15"></strike></var>
<var id="vjp15"></var>
<var id="vjp15"></var>
<var id="vjp15"><video id="vjp15"><thead id="vjp15"></thead></video></var>
<menuitem id="vjp15"></menuitem><cite id="vjp15"><video id="vjp15"></video></cite>
<var id="vjp15"></var><cite id="vjp15"><video id="vjp15"><thead id="vjp15"></thead></video></cite>
<var id="vjp15"></var>
<var id="vjp15"></var>
<menuitem id="vjp15"><span id="vjp15"><thead id="vjp15"></thead></span></menuitem>
<cite id="vjp15"><video id="vjp15"></video></cite>
<menuitem id="vjp15"></menuitem>

物體檢測裝置、物體檢測方法以及記錄介質與流程

文檔序號:11168847閱讀:840來源:國知局
物體檢測裝置、物體檢測方法以及記錄介質與制造工藝

本公開涉及檢測物體的物體檢測裝置、物體檢測方法以及物體檢測程序,例如涉及根據圖像等信息在失效保護(failsafe)下檢測物體的物體檢測裝置、物體檢測方法以及物體檢測程序。



背景技術:

近年來,正在大量進行取代駕駛員而由機器駕駛的自動駕駛車(機器人車)的研究和商品化。作為該自動駕駛車的要素功能之一,使用檢測一般物體的物體檢測裝置(一般物體檢測裝置),一般物體檢測裝置根據從攝像頭裝置或雷達、立體攝像頭等測距傳感器裝置等傳送的圖像等信息來檢測一般物體。成為必要條件的是:一般物體包括行人、車輛、道路標識、建筑物以及道路的區域等,自動駕駛車的一般物體檢測裝置對這些物體進行檢測,自動駕駛車的行駛控制裝置基于來自一般物體檢測裝置的檢測信息,控制自動駕駛車本體,安全地向目標場所移動。

由此,一般物體檢測裝置必須是即使在發生異常時也能安全應對的設計。這樣的設計結構也被稱為失效保護,失效保護的設計是指在裝置發生了異常的情況下始終在安全側進行控制、或者使得實現該控制的設計方法,是可靠性設計之一。也就是說,將裝置或系統一定會發生故障作為前提。

現有技術文獻

專利文獻1:日本特開2014-21709號公報

專利文獻2:日本特開2008-47991號公報



技術實現要素:

發明要解決的技術問題

然而,在上述現有的技術中,僅公開了針對雷達裝置等取得物體信息的裝置中的不良情況的失效保護技術,對于針對執行檢測物體的物體檢測處理的物體檢測器的失效保護技術,并沒有任何研究,關于針對物體檢測器的失效保護技術,需要進一步的改善。

用于解決問題的技術方案

本公開的一個技術方案的裝置,是檢測物體的裝置,具備:接收部,其接收通過傳感器對所述物體檢測到的信息;多個檢測電路,其根據所述信息,執行各不相同的檢測處理,由此檢測所述物體,以及控制電路,其控制所述多個檢測電路,所述控制電路,基于所述多個檢測電路的各檢測電路的工作或狀態的變化,檢測所述多個檢測電路的各檢測電路是否為異常狀態,在檢測到所述多個檢測電路中的第1檢測電路為異常狀態的情況下,使所述第1檢測電路停止正在執行的檢測處理,使所述第1檢測電路以外的一個以上的檢測電路執行與正在執行的檢測處理不同的檢測處理,由此檢測所述物體。

根據本公開,即使多個檢測電路中的一個檢測電路成為異常狀態,也能夠一邊將追加的構成要素抑制到最小限度一邊進行失效保護的物體檢測。

附圖說明

圖1是表示搭載有本公開的實施方式1的物體檢測裝置的車輛的主要構成的一例的框圖。

圖2是表示圖1所示的物體檢測裝置的構成的一例的框圖。

圖3是表示圖2所示的物體檢測裝置的啟動時物體檢測處理的一例的流程圖。

圖4是表示圖2所示的檢測器切換部所使用的檢測處理分配表的一例的圖。

圖5是表示圖2所示的物體檢測器在物體檢測處理中使用的圖像信息所表示的圖像的一例的圖。

圖6是用于說明物體檢測器從圖5所示的圖像中檢測到的物體的一例的圖。

圖7是表示對顯示在圖1所示的顯示裝置上的自動駕駛狀態進行表示的測量儀表圖像的一例的圖。

圖8是表示在圖2所示的物體檢測裝置的物體檢測器之一發生了異常的情況下的異常時物體檢測處理的一例的流程圖。

圖9是表示在圖2所示的物體檢測器之一發生了異常的情況下檢測器切換部所使用的檢測處理分配表的一例的圖。

圖10是用于說明在圖2所示的物體檢測裝置的物體檢測器之一發生了異常的情況下的失效保護工作的一例的框圖。

圖11是在圖2所示的物體檢測器之一發生了異常的情況下顯示于顯示裝置的測量儀表圖像的一例的圖。

圖12是在圖2所示的物體檢測器之一發生了異常的情況下檢測器切換部所使用的檢測處理分配表的另一例的圖。

圖13是表示本公開的實施方式2的物體檢測裝置的構成的一例的框圖。

圖14是表示圖13所示的物體檢測裝置的啟動時物體檢測處理的一例的流程圖。

圖15是圖13所示的物體檢測裝置的物體檢測器所參照的nn保存部的一例的圖。

圖16是表示在圖13所示的物體檢測裝置的物體檢測器之一發生了異常的情況下的異常時物體檢測處理的一例的流程圖。

圖17是表示在圖13所示的物體檢測裝置的物體檢測器之一發生了異常的情況下物體檢測器所參照的nn保存部的一例的圖。

標號的說明

1車輛

11攝像頭裝置

12測距傳感器裝置

13行駛控制裝置

14顯示裝置

101、101a物體檢測裝置

102信息取得部

103、103a物體檢測部

104檢測器異常檢測部

105檢測器切換部

106駕駛控制信號發送部

113、113a、123、123a、133、133a物體檢測器

201nn保管部

202nn存儲部

213、223、233nn保存部

具體實施方式

(成為本公開的基礎的見解)

上述專利文獻1所記載的技術公開了如下的物體位置檢測裝置:即使在雷達裝置難以判定物體的前后方向的位置的情況下,也能夠推定物體的前后方向的位置。該物體位置檢測裝置的特征在于:在通過雷達故障判定部判定為雷達裝置發生了故障的情況下,通過攝像頭裝置來推定物體的移動方向,基于該推定出的移動方向來推定物體的前后方向位置。也就是說,是將在向物體檢測部輸入拍頻信號的雷達傳感器裝置發生了故障的情況下切換到其他裝置(攝像頭裝置)來繼續運用設為主要關注點的失效保護技術。但是,專利文獻1雖然公開了針對雷達裝置等取得物體信息的裝置中的不良情況的失效保護技術,但卻沒有公開任何與執行檢測物體的物體檢測處理的物體檢測器有關的失效保護技術。

另外,上述專利文獻2公開了如下的圖像處理裝置:即使在監視對象區域的環境發生變化那樣的情況下,也能夠使用適合于環境的物體檢測方法來提高物體檢測的性能。在該圖像處理裝置中,基于與由不同于拍攝裝置的其他傳感器檢測到的環境有關的信息,使用所具備的多個物體檢測部中的適合于環境的物體檢測部。但是,專利文獻2的圖像處理裝置由于具備多個物體檢測部,因此也能夠設想在物體檢測部發生了故障的情況下失效保護用的物體檢測部進行應對的運用,而在該情況下,存在需要另行設置失效保護用的物體檢測部的問題。

另外,在自動駕駛車的領域中,對于攝像頭裝置和/或測距傳感器裝置發生了故障的情況下的失效保護技術,提出了各種方案。然而,對于從攝像頭裝置等接收信息且檢測一般物體的物體檢測裝置也發生故障而考慮了物體檢測裝置中的失效保護的設計和/或技術上的解決措施,卻沒有任何研究。

因此,本發明人研究了以下的改善措施。

(1)本公開的一個技術方案的裝置,是檢測物體的裝置,具備:接收部,其接收通過傳感器對所述物體檢測到的信息;多個檢測電路,其根據所述信息,執行各不相同的檢測處理,由此檢測所述物體,以及控制電路,其控制所述多個檢測電路,所述控制電路,基于所述多個檢測電路的各檢測電路的工作或狀態的變化,檢測所述多個檢測電路的各檢測電路是否為異常狀態,在檢測到所述多個檢測電路中的第1檢測電路為異常狀態的情況下,使所述第1檢測電路停止正在執行的檢測處理,使所述第1檢測電路以外的一個以上的檢測電路執行與正在執行的檢測處理不同的檢測處理,由此檢測所述物體。

根據這樣的構成,在檢測到多個檢測電路中的一個檢測電路的異常的情況下,停止被檢測到異常的檢測電路的檢測處理,變更正常的檢測電路的檢測處理,因此不用新設置失效保護用的檢測電路,能夠使正常的檢測電路來代辦被檢測到異常的檢測電路的檢測處理。其結果是,即使多個檢測電路中的一個檢測電路成為異常狀態,也能夠一邊將追加的構成要素抑制到最小限度一邊進行失效保護的物體檢測。

(2)在上述技術方案中,也可以:所述信息包括至少包含所述物體的圖像信息和表示從所述裝置到所述物體為止的距離的距離信息的任一方。

(3)在上述技術方案中,也可以:所述控制電路在檢測到所述多個檢測電路中的第1檢測電路為異常狀態的情況下,基于對所述各不相同的檢測處理分配的優先級,使所述第1檢測電路以外的一個以上的檢測電路中的執行與最低的優先級對應的檢測處理的第2檢測電路執行所述第1檢測電路所執行的檢測處理,由此檢測所述物體。

根據這樣的構成,在檢測到多個檢測電路中的一個檢測電路的異常的情況下,將正常的檢測電路中的執行優先級最低的檢測處理的正常的檢測電路的檢測處理變更為被檢測到異常的檢測電路的檢測處理,因此能夠使執行優先級最低的檢測處理的正常的檢測電路來代辦被檢測到異常的檢測電路的檢測處理,能夠一邊將對物體檢測的性能降低抑制到必要最小限度一邊繼續執行優先級高的檢測處理。

(4)在上述技術方案中,也可以:所述多個檢測電路至少包括三個以上的檢測電路,所述控制電路在檢測到所述多個檢測電路中的第1檢測電路為異常狀態的情況下,使所述第1檢測電路以外的第3檢測電路執行與對所述各不相同的檢測處理分配的優先級中的最高的優先級對應的檢測處理,使所述第1檢測電路以及所述第3檢測電路以外的第4檢測電路執行與對所述各不相同的檢測處理分配的優先級中的第二高的優先級對應的檢測處理,由此檢測所述物體。

根據這樣的構成,在檢測到多個檢測電路中的一個檢測電路的異常的情況下,使正常的檢測電路中的一個檢測電路執行優先級最高的檢測處理,并且使其余的檢測電路執行優先級次高的檢測處理,因此能夠切實地繼續執行優先級高的檢測處理。

(5)也可以:所述多個檢測電路至少包括三個以上的檢測電路,所述控制電路在檢測到所述多個檢測電路中的第1檢測電路為異常狀態的情況下,使所述第1檢測電路以外的第3檢測電路執行與對所述各不相同的檢測處理分配的優先級中的最高的優先級對應的檢測處理,使所述第1檢測電路以及所述第3檢測電路以外的第4檢測電路執行當前正在執行的檢測處理以及所述第1檢測電路所執行的檢測處理,由此檢測所述物體。

根據這樣的構成,在檢測到多個檢測電路中的一個檢測電路的異常的情況下,使正常的檢測電路中的一個檢測電路執行優先級最高的檢測處理,并且使其余的檢測電路除了執行已在執行的檢測處理之外還執行被檢測到異常的檢測電路的檢測處理,因此能夠繼續執行所有的檢測處理。

(6)在上述技術方案中,也可以:所述控制電路在所述第1檢測電路停止了檢測處理時,執行用于使所述第1檢測電路恢復為正常狀態的復原處理。

根據這樣的構成,在被檢測到異常的檢測電路停止了檢測處理時,執行使被檢測到異常的檢測電路恢復正常的復原處理,因此能夠使被檢測到異常的檢測電路提前恢復正常。

(7)在上述技術方案中,也可以:還具備存儲器,所述控制電路,使用所述存儲器所存儲的數據群來生成在所述多個檢測電路要執行的檢測處理中使用的各神經網絡,將所述各神經網絡分配給所述多個檢測電路的各檢測電路,在檢測到所述多個檢測電路中的第1檢測電路為異常狀態的情況下,使所述第1檢測電路以外的一個以上的檢測電路使用與在正在執行的檢測處理中使用的神經網絡不同的神經網絡來執行檢測處理,由此檢測所述物體。

根據這樣的構成,使用用于生成檢測物體用的神經網絡的數據群,生成供多個檢測電路分別使用的神經網絡,將所生成的各神經網絡分配給多個檢測電路的各檢測電路,多個檢測電路分別使用被分配來的神經網絡來檢測物體。在該狀態下,檢測到多個檢測電路中的一個檢測電路的異常的情況下,變更正常的檢測電路要使用的神經網絡,因此在檢測到多個檢測電路中的一個檢測電路的異常的情況下,能夠節省新生成神經網絡要花費的時間,并防止檢測處理的空白期間。

(8)在上述技術方案中,也可以:所述存儲器將所述各神經網絡存儲于各區域,所述控制部在檢測到所述多個檢測電路中的第1檢測電路為異常狀態的情況下,通過變更與正在使用的所述神經網絡對應的所述存儲器的區域,從而使所述第1檢測電路以外的一個以上的檢測電路使用所述不同的神經網絡來執行檢測處理,由此檢測所述物體。

根據這樣的構成,在檢測到多個檢測電路中的一個檢測電路的異常的情況下,通過使正常的檢測電路要參照的存儲器的單獨區域變更,對正常的檢測電路要使用的神經網絡進行變更,因此能夠瞬間變更正常的檢測電路要使用的神經網絡,能夠切實地繼續執行使用了神經網絡的檢測處理。

(9)在上述技術方案中,也可以:所述多個檢測電路的各檢測電路具有相同性能。

根據這樣的構成,能夠使正常的檢測電路容易地代辦被檢測到異常的檢測電路的檢測處理,并且能夠降低裝置的成本。

(10)在上述技術方案中,也可以:所述傳感器是預定的攝像頭,所述信息是包含所述物體的圖像信息,所述接收部從所述預定的攝像頭接收所述圖像信息。

根據這樣的構成,使用由攝像頭拍攝了物體而得到的圖像信息,能夠檢測包括行人、車輛、道路標識、建筑物以及道路的區域等的一般物體。

(11)在上述技術方案中,也可以:所述裝置搭載于車輛,所述車輛具備對所述車輛的行駛進行控制的車輛控制裝置,所述控制電路基于整合后的所述多個檢測電路對所述物體檢測的檢測結果,將所述車輛的行駛所涉及的控制信號輸出給所述車輛控制裝置。

根據這樣的構成,裝置搭載于車輛,基于整合后的多個檢測電路的檢測結果,將車輛的行駛所涉及的控制信號輸出給車輛控制裝置,因此,即使在檢測電路發生了異常時,也能夠檢測車輛的行駛控制所需要的包括行人、其他車輛、道路標識、建筑物以及道路的區域等的一般物體,使用整合后的檢測結果,能夠實現自動駕駛車的失效保護的自動駕駛控制。

(12)在上述技術方案中,也可以:所述多個檢測電路還包括第2檢測電路和第3檢測電路,所述物體包括位于以所述車輛為起點的第1距離范圍的第1物體、位于以所述車輛為起點的第2距離范圍的第2物體、和位于以所述車輛為起點的第3距離范圍的第3物體,按所述第1距離范圍、所述第2距離范圍、所述第3距離范圍的順序接近所述車輛,所述第1檢測電路執行對所述第1物體進行檢測的第1檢測處理,所述第2檢測電路執行對所述第2物體進行檢測的第2檢測處理,所述第3檢測電路執行對所述第3物體進行檢測的第3檢測處理,所述控制電路在檢測到所述多個檢測電路中的第1檢測電路為異常狀態的情況下,使所述第1檢測電路停止所述第1處理,使所述第3檢測電路執行所述第1處理。

根據這樣的構成,在檢測到第1檢測電路的異常的情況下,停止第1檢測電路的檢測處理,變更第3檢測電路的檢測處理以使第3體檢測電路檢測第1物體,因此,即使在第1檢測電路發生了異常時,也能夠檢測位于與車輛最接近的第1距離范圍的第1物體、例如行人、其他車輛、道路標識、建筑物以及道路的區域等,能夠繼續自動駕駛車的自動駕駛。

另外,本公開不僅能夠作為具備以上那樣的特征性結構的裝置來實現,也能夠作為執行與裝置所具備的特征性結構對應的特征性處理的方法等來實現。另外,還能夠作為存儲有使處理器執行這樣的方法所包含的特征性處理的程序的記錄介質來實現。因此,對于以下的其他技術方案,也能夠起到與上述的裝置同樣的效果。

(13)本公開的另一技術方案涉及的方法,包括:接收通過傳感器對所述物體檢測到的信息,根據所述信息,執行各不相同的多個檢測處理,由此檢測所述物體,基于所述多個檢測處理的各檢測處理的工作或狀態的變化,檢測所述多個檢測處理的各檢測處理是否為異常狀態,在檢測到所述多個檢測處理中的一個檢測處理為異常狀態的情況下,停止所述一個檢測處理,通過執行與所述一個檢測處理以外的一個以上的檢測處理不同的檢測處理來檢測所述物體。

(14)本公開的另一技術方案涉及的記錄介質,是存儲有檢測物體的程序的非瞬時性記錄介質,所述程序使處理器執行:接收通過傳感器對所述物體檢測到的信息,根據所述信息,執行各不相同的多個檢測處理,由此檢測所述物體,基于所述多個檢測處理的各檢測處理的工作或狀態的變化,檢測所述多個檢測處理的各檢測處理是否為異常狀態,在檢測到所述多個檢測處理中的一個檢測處理為異常狀態的情況下,停止所述一個檢測處理,通過執行與所述一個檢測處理以外的一個以上的檢測處理不同的檢測處理來檢測所述物體。

并且,當然能夠使上述那樣的程序經由互聯網等通信網絡進行流通。另外,也可以將本公開的一個實施方式涉及的裝置的構成要素的一部分和除此以外的構成要素作為分散到多個計算機的系統來構成。

此外,以下說明的實施方式都是用于表示本公開的一個具體例子的實施方式。以下的實施方式中示出的數值、形狀、構成要素、步驟、步驟的順序等是一例,并非旨在限定本公開。另外,對于以下的實施方式中的構成要素中的未記載在表示最上位概念的獨立權利要求中的構成要素,作為任意的構成要素進行說明。另外,在所有的實施方式中,都能夠組合各個實施方式的內容。

以下,參照附圖對本公開的各實施方式涉及的物體檢測裝置系統進行說明。

(實施方式1)

圖1是表示搭載有本公開的實施方式1的物體檢測裝置的車輛的主要構成的一例的框圖。如圖1所示,車輛1具備攝像頭裝置11、測距傳感器裝置12、行駛控制裝置13、顯示裝置14以及物體檢測裝置101。車輛1是使用控制行駛狀態的行駛控制裝置13以及檢測物體的物體檢測裝置101來進行自動駕駛的自動駕駛車。此外,車輛1并不特別限定于自動駕駛車,也可以是駕駛員進行駕駛的通常的車輛。

攝像頭裝置11由ccd(chargecoupleddevices,電荷耦合器件)圖像傳感器等構成,拍攝包含位于車輛1的前方的各種物體(一般物體)的圖像,將拍攝了物體而得到的圖像信息輸出給物體檢測裝置101。此外,攝像頭裝置11的構成并不特別限定于該例,也可以通過多個攝像頭裝置來拍攝車輛1的后方、右側方、左側方等的物體。

測距傳感器裝置12由雷達裝置等構成,測定到位于車輛1的前方的各種物體(一般物體)為止的距離,將表示所測定出的距離的距離信息輸出給物體檢測裝置101。此外,測距傳感器裝置12的構成并不特別限定于該例,也可以通過多個測距傳感器裝置來測定到位于車輛1的后方、右側方、左側方等的物體為止的距離;和/或使用立體攝像頭等來輸出對表示到物體為止的距離的距離信息進行了圖像化后的圖像信息等。

物體檢測裝置101在自動駕駛車的情況下,作為一般物體而檢測行人、車輛、道路標識、建筑物以及道路的區域等的物體,將基于物體檢測結果的控制信號(駕駛控制信號)輸出給行駛控制裝置13。

行駛控制裝置13由發動機控制單元等構成,基于包括物體檢測裝置101的物體檢測結果的各種信息,控制車輛1的行駛狀態,自動地控制加速器操作、制動器操作以及方向盤操作等。

顯示裝置14由設置于車輛1的儀表面板的液晶顯示器等構成,顯示從行駛控制裝置13輸出的各種信息、例如自動駕駛的狀態和/或物體檢測裝置101的工作狀態等。

圖2是表示圖1所示的物體檢測裝置的構成的一例的框圖。如圖2所示,物體檢測裝置101具備信息取得部102、物體檢測部103、檢測器異常檢測部104、檢測器切換部105以及駕駛控制信號發送部106。物體檢測部103具備3個物體檢測器113、123、133。

作為與物體有關的物體信息,信息取得部102從攝像頭裝置11取得拍攝了物體而得到的圖像信息,并且從測距傳感器裝置12取得表示到物體為止的距離的距離信息,將所取得的圖像信息以及距離信息輸出給物體檢測部103。此外,物體信息并不特別限定于上述的例子,也可以使用與成為檢測對象的物體有關的其他各種信息。

物體檢測部103對物體檢測器113、123、133的工作進行管理,將從信息取得部102輸出的圖像信息以及距離信息提供給物體檢測器113、123、133,使物體檢測器113、123、133執行物體檢測處理。物體檢測器113、123、133分別使用圖像信息以及距離信息來執行預定的物體檢測處理。物體檢測器113、123、133分別是相同性能的物體檢測器,優選是相同結構的物體檢測器。此外,物體檢測器的數量以及結構并不特別限定于上述的例子,也可以使用2個或4個以上的物體檢測器和/或使用不同性能的物體檢測器,可以進行各種變更。另外,物體檢測器處理的信息并不特別限定于上述的圖像信息等,也可以根據與電波、熱、聲、紅外線等對應的各種傳感器裝置的檢測信號所對應的信息等來檢測一般物體。

另外,物體檢測器123、133將通過物體檢測處理而檢測到的物體的檢測結果輸出給物體檢測器113,物體檢測器113對自身的檢測結果和物體檢測器123、133的檢測結果進行整合,將整合檢測結果輸出給駕駛控制信號發送部106。

檢測器異常檢測部104檢測物體檢測器113、123、133各自的異常狀態,將對被檢測到異常狀態的物體檢測器進行報告的檢測器異常信息通知給檢測器切換部105以及駕駛控制信號發送部106。例如,檢測器異常檢測部104通過以硬件方式監視物體檢測器113、123、133的溫度和/或耗電量的變化、和/或以軟件方式監視物體檢測器113、123、133的檢測結果的輸出頻度,由此檢測物體檢測器113、123、133的異常狀態。此外,檢測器異常檢測部104在物體檢測器113、123、133正常工作的情況下,也可以將所有的物體檢測器113、123、133都正常之意的檢測器正常信息發送給駕駛控制信號發送部106。

檢測器切換部105通過控制物體檢測部103并切換物體檢測器113、123、133的處理內容,在由檢測器異常檢測部104檢測到物體檢測器113、123、133中的一個物體檢測器的異常狀態的情況下,停止被檢測到異常狀態的異常物體檢測器的物體檢測處理,變更未被檢測到異常狀態的正常物體檢測器的物體檢測處理。物體檢測部103在異常物體檢測器停止物體檢測處理時,執行使異常物體檢測器恢復為正常狀態的復原處理。

另外,物體檢測器113、123、133各自的物體檢測處理具有處理的優先級,檢測器切換部105在由檢測器異常檢測部104檢測到物體檢測器113、123、133中的一個物體檢測器的異常狀態的情況下,控制物體檢測部103,將未被檢測到異常狀態的正常物體檢測器中的執行優先級最低的物體檢測處理的正常物體檢測器的物體檢測處理變更為被檢測到異常狀態的異常物體檢測器的物體檢測處理。

另外,檢測器切換部105在由檢測器異常檢測部104檢測到物體檢測器113、123、133中的一個物體檢測器的異常狀態的情況下,控制物體檢測部103,使未被檢測到異常狀態的正常物體檢測器中的一個正常物體檢測器執行優先級最高的物體檢測處理,并且使其余的正常物體檢測器執行優先級次高的物體檢測處理。

另外,物體檢測裝置101要檢測的物體包括位于與車輛1最接近的范圍的第1距離范圍的第1物體、位于離車輛1比第1距離范圍遠的第2距離范圍的第2物體、和位于離車輛1比所述第2距離范圍遠的第3距離范圍的第3物體。物體檢測器113檢測位于第1距離范圍的第1物體,物體檢測器123檢測位于第2距離范圍的第2物體,物體檢測器133檢測位于第3距離范圍的第3物體。

另外,檢測器切換部105在由檢測器異常檢測部104檢測到物體檢測器113的異常狀態的情況下,控制物體檢測部103,停止物體檢測器113的物體檢測處理,變更物體檢測器133的物體檢測處理以使物體檢測器133檢測位于第1距離范圍的第1物體。

另外,檢測器切換部105在由檢測器異常檢測部104檢測到物體檢測器113、123、133中的一個物體檢測器的異常狀態的情況下,控制物體檢測部103,使未被檢測到異常狀態的正常物體檢測器中的一個正常物體檢測器執行優先級最高的物體檢測處理,并且使其余的正常物體檢測器除了執行已在執行的物體檢測處理之外還執行被檢測到異常狀態的異常物體檢測器的物體檢測處理。

駕駛控制信號發送部106基于對物體檢測器113、123、133的檢測結果進行了整合后的整合檢測結果,向行駛控制裝置13輸出駕駛控制信號。

接著,對圖2所示的物體檢測裝置101的工作進行說明。圖3是表示圖2所示的物體檢測裝置101的啟動時物體檢測處理的一例的流程圖。圖3所示的啟動時物體檢測處理是物體檢測裝置101被搭載于車輛1(自動駕駛車)并在自動駕駛功能開始時執行的處理。

首先,檢測器切換部105基于內部的存儲器(圖示省略)所存儲的檢測處理分配表,將物體檢測器113、123、133要實施的物體檢測處理的處理內容通知給對物體檢測器113、123、133進行管理的物體檢測部103(步驟s11)。

在此,檢測器切換部105將使標識物體檢測器的檢測器id(標識序號)、處理內容和優先級相關聯而得到的檢測處理分配表以表的形式存儲在內部的存儲器中。圖4是表示圖2所示的檢測器切換部105使用的檢測處理分配表的一例的圖。如圖4所示,檢測處理分配表t1由與各物體檢測器113、123、133關聯的標識符即檢測器idt2、其處理內容t3、和其優先級t4構成。

在圖4所示的例子中,作為檢測器idt2,為了易于說明,使用“物體檢測器113”、“物體檢測器123”以及“物體檢測器133”,作為處理內容t3,使用“近距離”、“中距離”、“遠距離”以及“檢測結果整合”,作為優先級t4,使用“1”、“2”以及“3”。另外,“近距離”表示對相對于車輛1位于近距離(第1距離范圍)的一般物體進行檢測處理內容,“中距離”、“遠距離”同樣地表示對相對于車輛1位于中間距離(第2距離范圍)、遠距離(第3距離范圍)的一般物體進行檢測的處理內容,“檢測結果整合”表示對各物體檢測器113、123、133的檢測結果進行整合的處理。優先級t4表示數值越小則優先級就越高的處理。

例如,檢測器切換部105基于圖4所示的檢測處理分配表t1,向物體檢測部103進行通知,使得:將物體檢測器113的處理內容設定為優先級“1”且“近距離”以及“檢測結果整合”,將物體檢測器123的處理內容設定為優先級“2”且“中距離”,將物體檢測器133的處理內容設定為優先級“3”且“遠距離”。

此外,作為檢測處理分配表的保管方法,說明了檢測器切換部105進行保管的例子,但并不特別限定于該例,也可以是物體檢測裝置101以外的裝置保管檢測處理分配表。另外,也可以是物體檢測部103存儲處理內容t3與優先級t4的對信息、且檢測器切換部105將檢測器idt2與優先級t4的對信息通知給物體檢測部103。另外,優先級t4是以從車輛1到一般物體的距離為基準而決定的,但并不特別限定于該例,也可以根據處理內容t3中的檢測對象的一般物體的種類(人物、道路標識、障礙物、動物等)來變更優先級的值(例如,按人物、道路標識、障礙物、動物的順序使優先級降低)。

在此,物體檢測器113、123、133是相同性能的物體檢測器,檢測對象的一般物體處于越遠的距離,成為檢測對象的一般物體在被攝像頭裝置11拍攝到的圖像內相對越小,因此物體檢測器123的計算量比物體檢測器113的計算量大,物體檢測器133的計算量比物體檢測器123的計算量大。

因此,在本實施方式中,物體檢測器133的1個圖像(一幀)的物體檢測處理的時間會比物體檢測器113、123長。因此,在本實施方式中,作為一例,信息取得部102以60fps(framespersecond,幀每秒)向物體檢測部103傳送圖像,作為檢測頻度,物體檢測器113以60fps檢測一般物體,物體檢測器123以30fps檢測一般物體,物體檢測器133以15fps檢測一般物體。另外,物體檢測器113以檢測頻度60fps對各物體檢測器113、123、133的檢測結果進行整合。

也就是說,物體檢測器113的檢測結果按每幀被更新,而物體檢測器123的檢測結果按每2幀被更新,物體檢測器133的檢測結果按每4幀被更新。另外,相對于一般物體的距離,通過來自測距傳感器裝置12的距離信息來決定。此外,在不使用測距傳感器裝置12的情況下,也可以根據各物體檢測器113、123、133設為檢測對象的一般物體相對于一幀的圖像面積的大小來決定相對于一般物體的距離。

接著,物體檢測部103將來自信息取得部102的圖像信息等輸入物體檢測器113、123、133,按照來自檢測器切換部105的通知即檢測處理分配表,使物體檢測器113、123、133分別以被通知來的處理內容以及優先級來執行物體檢測處理,使物體檢測器113、123、133的工作開始(步驟s12)。此時,信息取得部102也可以取得攝像頭裝置11的圖像信息,并且以圖像化的方式取得由測距傳感器裝置12得到的與一般物體的距離信息。另外,物體檢測部103將來自物體檢測器113、123、133的一般物體的檢測結果傳送給駕駛控制信號發送部106。

圖5是表示圖2所示的物體檢測器113、123、133在物體檢測處理中使用的圖像信息所表示的圖像的一例的圖,圖6是用于說明物體檢測器113、123、133從圖5所示的圖像中檢測到的物體的一例的圖。

當表示圖5所示的一幀圖像p1的圖像信息被輸入信息取得部102、且物體檢測器113、123、133對從信息取得部102傳送來的圖像p1執行了物體檢測處理時,表示與圖6所示的檢測結果圖像p2等效的圖像的圖像信息被傳送給駕駛控制信號發送部106。

在圖6所示的例子中,基于檢測處理分配表t1,物體檢測器113檢測出道路的可通行區域n1和其他車輛n2作為近距離的物體,物體檢測器123檢測出道路的可通行區域m1和人物m2作為中距離的物體,物體檢測器133檢測出道路的可通行區域f1和道路標識f2作為遠距離的物體。物體檢測器113對這些檢測結果進行整合并傳送給駕駛控制信號發送部106。如此,以從車輛1起的距離為基準而被分配了各處理內容的物體檢測器113、123、133檢測有可能存在于各距離范圍的一般物體。

接著,當物體檢測部103開始工作時,檢測器異常檢測部104開始各物體檢測器113、123、133的監視(步驟s13)。此時,檢測器異常檢測部104檢測物體檢測器113、123、133各自的異常狀態,將被檢測到異常狀態的物體檢測器通知給檢測器切換部105以及駕駛控制信號發送部106。

接著,駕駛控制信號發送部106基于來自物體檢測部103的檢測結果,向行駛控制裝置13輸出駕駛控制信號,行駛控制裝置13基于駕駛控制信號,開始車輛1的自動駕駛(步驟s14)。

圖7是表示對顯示在圖1所示的顯示裝置14上的自動駕駛狀態進行表示的測量儀表圖像的一例的圖。在物體檢測器113、123、133在正常狀態下工作的情況下,例如,圖7所示的測量儀表圖像被顯示在設置于車輛1的儀表面板的顯示裝置14上。本例是車輛1為電動汽車的情況下的例子,作為測量儀表圖像,例如顯示有電池余量計bm、速度計sm以及功率計pm。

另外,在速度計sm的中央下部,作為駕駛模式,顯示有表示正在正常地進行自動駕駛的“巡航模式(cruisemode)”m1。另外,在其上方顯示有表示物體檢測器113的工作狀態(正在以100%的處理能力執行近距離的物體檢測處理的狀態)的“100%短(short)”d1,在其上方顯示有表示物體檢測器123的工作狀態(正在以100%的處理能力執行中距離的物體檢測處理的狀態)的“100%中(middle)”d2,在其上方顯示有表示物體檢測器133的工作狀態(正在以100%的處理能力執行遠距離的物體檢測處理的狀態)的“100%長(long)”d3。

通過使上述那樣的測量儀表圖像顯示于顯示裝置14,能夠將處于自動駕駛這一情況和各物體檢測器113、123、133的狀態呈現給乘員。

以上成為本實施方式的物體檢測裝置101的自動駕駛車啟動時(自動駕駛功能啟動時)的處理內容。

接著,作為物體檢測裝置101的失效保護工作的一例,說明在自動駕駛開始后物體檢測器113、123、133之一發生了異常的情況。圖8是表示圖2所示的物體檢測裝置101的物體檢測器113、123、133之一發生了異常的情況下的異常時物體檢測處理的一例的流程圖。

首先,檢測器異常檢測部104在檢測到物體檢測器113、123、133之一的工作異常的情況下,向檢測器切換部105以及駕駛控制信號發送部106通知表示哪個物體檢測器為異常狀態的檢測器異常信息(步驟s21)。例如,在物體檢測器113發生了異常的情況下,檢測器異常檢測部104向檢測器切換部105以及駕駛控制信號發送部106通知表示物體檢測器113為異常狀態的檢測器異常信息。

接著,接收到檢測器異常信息的檢測器切換部105將要使用的檢測處理分配表從圖4所示的檢測處理分配表t1變更為物體檢測器113、123、133之一發生異常時的檢測處理分配表,向物體檢測部103通知對物體檢測器113、123、133的處理內容進行切換以使得進行符合該檢測處理分配表的失效保護工作(步驟s22)。在此,物體檢測器113、123、133之一發生異常時的檢測處理分配表,與圖4所示的檢測處理分配表t1同樣地,按異常狀態的物體檢測器存儲于檢測器切換部105內部的存儲器,檢測器切換部105從內部的存儲器讀出異常狀態的物體檢測器用的檢測處理分配表來使用。此外,異常狀態的物體檢測器用的檢測處理分配表并不特別限定于在上述的內部存儲器中進行存儲的例子,例如,也可以是檢測器切換部105等基于物體檢測器113、123、133的處理能力來制作可進行適當的失效保護工作的檢測處理分配表。

圖9是表示在圖2所示的物體檢測器113發生了異常的情況下檢測器切換部105使用的檢測處理分配表的一例的圖。在圖9所示的檢測處理分配表t1a中,處理內容t3a以及優先級t4a被變更,物體檢測器113的處理內容以及優先級被變更為“復原處理”以及“-”(無優先級),物體檢測器133的處理內容以及優先級被變更為“近距離,檢測結果整合”以及“1”,物體檢測器123的處理內容以及優先級得以維持。在此,“復原處理”表示停止被檢測到異常狀態的異常物體檢測器的工作并使異常物體檢測器恢復為正常狀態的處理。

例如,在物體檢測器113發生了異常的情況下,檢測器切換部105基于圖9所示的檢測處理分配表t1a,向物體檢測部103進行通知,使得:將物體檢測器113的處理內容設定為優先級“-”且“復原處理”,將物體檢測器123的處理內容設定為優先級“2”且“中距離”,將物體檢測器133的處理內容設定為優先級“1”且“近距離”以及“檢測結果整合”。

接著,物體檢測部103基于物體檢測器113、123、133之一發生異常時的檢測處理分配表,變更物體檢測器113、123、133的處理,將變更后的整合檢測結果輸出給駕駛控制信號發送部106(步驟s23)。例如,在物體檢測器113發生了異常的情況下,物體檢測部103基于處理內容t3a,進行用于使物體檢測器113恢復為正常狀態的“復原處理”,基于處理內容t3a以及優先級t4a將物體檢測器133的物體檢測處理變更為“近距離、檢測結果整合”以及“優先級1”。

圖10是用于說明圖2所示的物體檢測裝置101的物體檢測器113發生了異常的情況下的失效保護工作的一例的框圖。如圖10所示,在物體檢測器113發生了異常的情況下,物體檢測部103執行用于使物體檢測器113恢復為正常狀態的復原處理,另外,物體檢測器123以優先級2執行中距離的物體檢測處理,將檢測結果輸出給物體檢測器133,物體檢測器133以優先級1進行近距離的物體檢測處理以及檢測結果的整合處理,將整合檢測結果輸出給駕駛控制信號發送部106。

并且,駕駛控制信號發送部106基于檢測器異常信息和/或物體檢測部103的整合檢測結果,向車輛1的行駛控制裝置13發送駕駛控制信號,該駕駛控制信號是用于進行使車輛1的行駛速度下降和/或使車輛在安全場所停止等的失效保護駕駛的信號(步驟s24)。

圖11是表示在圖2所示的物體檢測器113、123、133之一發生了異常的情況下顯示于顯示裝置14的測量儀表圖像的一例的圖。例如,在物體檢測器113發生異常且實施了圖8所示的異常時物體檢測處理的情況下,圖11所示的測量儀表圖像被顯示于在車輛1的儀表面板設置的顯示裝置14。在本例中,作為測量儀表圖像,與圖7所示的測量儀表圖像同樣地顯示有電池余量計bm以及功率計pm,但速度計sma的顯示內容被變更。

即,在速度計sma的中央下部,作為駕駛模式,顯示有表示正在進行失效保護駕駛這一情況的“失效保護模式(failsafemode)”m2。另外,在其上方顯示有表示物體檢測器113處于異常狀態、物體檢測處理被停止、并正在進行復原處理這一情況的“0%恢復(recovery)”d1a,在其上方顯示有表示物體檢測器123的工作狀態(正在以100%的處理能力執行中距離的物體檢測處理的狀態)的“100%中(middle)”d2,在其上方顯示有表示物體檢測器133的工作狀態(正在以100%的處理能力執行近距離的物體檢測處理的狀態)的“100%短(short)”d3a。

通過使上述那樣的測量儀表圖像顯示于顯示裝置14,能夠將物體檢測器113處于復原狀態、且成為了用于避免危險的失效保護駕駛狀態這一情況呈現給乘員。

通過上述的處理,在本實施方式中,在檢測到多個物體檢測器113、123、133中的一個物體檢測器的異常狀態的情況下,停止被檢測到異常狀態的異常物體檢測器的物體檢測處理,變更未被檢測到異常狀態的正常物體檢測器的物體檢測處理,因此不用新設置失效保護用的物體檢測器,能夠使正常物體檢測器來代辦異常物體檢測器的物體檢測處理。其結果是,即使多個物體檢測器113、123、133中的一個物體檢測器成為異常狀態,也能夠一邊將追加的構成要素限制到最小限度,一邊進行失效保護的物體檢測。

此外,在檢測到多個物體檢測器113、123、133中的一個物體檢測器的異常狀態的情況下,未被檢測到異常狀態的正常物體檢測器的物體檢測處理的變更內容,并不特別限定于圖9所示的例子,能夠進行各種變更。例如,根據車輛1的狀態和/或外部環境,也可以基于圖12所示那樣的檢測處理分配表來變更正常物體檢測器的物體檢測處理。

圖12是表示在圖2所示的物體檢測器113發生了異常的情況下檢測器切換部105使用的檢測處理分配表的另一例的圖。在圖12所示的檢測處理分配表t1b中,物體檢測器113、133的處理內容以及優先級和物體檢測器123的優先級與圖9所示的檢測處理分配表t1a同樣,但物體檢測器123的處理內容t3b被變更為“遠距離和中距離、檢測頻度50%”。

在本實施方式中,作為通常狀態下的檢測頻度,近距離的物體檢測處理為60fps,中距離的物體檢測處理為30fps,遠距離的物體檢測處理為15fps,而在圖12所示的例子中,在物體檢測器113發生了異常時,基于檢測處理分配表t1b的處理內容t3b,物體檢測器123將運算資源的一半分配給中距離的物體檢測處理并將另一半分配給遠距離的物體檢測處理來檢測一般物體。也就是說,在該情況下,檢測頻度被變更為:近距離的物體檢測處理為60fps,中距離的物體檢測處理為15fps,遠距離的物體檢測處理為7fps。

因此,在檢測到物體檢測器113的異常狀態的情況下,使物體檢測器133執行優先級最高的近距離的物體檢測處理以及檢測結果整合處理,并且使物體檢測器123除了執行已在執行的中距離的物體檢測處理之外還執行遠距離的物體檢測處理,因此能夠繼續執行所有的物體檢測處理。

(實施方式2)

圖13是表示本公開的實施方式2的物體檢測裝置的構成的一例的框圖。在本實施方式中,使用圖13對使用了自動駕駛車中的神經網絡(以下,稱為“nn”)的物體檢測裝置101a進行說明。此外,圖13所示的物體檢測裝置101a,除了使用以下說明的神經網絡來進行物體檢測處理這一點以外,基本上與圖2所示的物體檢測裝置101同樣,因此對相同部分標注相同標號,省略再次的說明。

如圖13所示,物體檢測裝置101a具備信息取得部102、物體檢測部103a、檢測器異常檢測部104、檢測器切換部105、駕駛控制信號發送部106、nn(神經網絡)保管部201。物體檢測部103a具備3個物體檢測器113a、123a、133a以及nn(神經網絡)存儲部202。nn存儲部202具有3個nn(神經網絡)保存部213、223、233來作為單獨的存儲區域。

作為使用了nn的一般物體檢測,近年來,通過使用按照被稱為“deeplearning”(深度學習)的方法實施了學習后的nn,能夠獲得較高的檢測性能,擔任起了使用手動設計的特征量的以往的物體檢測器的替代品。在本實施方式中,如以下這樣,利用使用深度學習實施了學習后的神經網絡來執行物體檢測處理。

nn保管部201存儲有nn(神經網絡)生成數據來作為用于生成檢測物體用的神經網絡的數據群。nn生成數據是指對與為了生成按照深度學習方法分目的地進行了學習后的nn所需要的節點有關的參數、和/或節點間的網絡結構等進行了規定的數據。此外,nn生成數據的取得方法并不特別限定于該例,例如,也可以省略nn保管部201而經由預定的網絡從預定的服務器等取得。

物體檢測部103a從nn保管部201讀出nn生成數據,使用nn生成數據來生成物體檢測器113a、123a、133a各自要使用的神經網絡,將生成的各神經網絡分別保存于nn存儲部202的保存部213、223、233。此外,nn存儲部202的構成并不特別限定于上述的例子,例如,也可以是在單獨的存儲部存儲各神經網絡。另外,存儲所生成的各神經網絡的存儲器區域(保存部213、223、233)也可以為了提高抗故障性而進行復用化,并復制到物體檢測器113a、123a、133a能夠參照的場所。

另外,物體檢測部103a對物體檢測器113a、123a、133a的工作進行管理,將從信息取得部102輸出的圖像信息以及距離信息提供給物體檢測器113a、123a、133a,另外,按照基于來自檢測器切換部105的檢測處理分配表的物體檢測器113a、123a、133a的處理內容,將nn保存部213、223、233的神經網絡分配給物體檢測器113a、123a、133a。

物體檢測器113a、123a、133a分別使用來自信息取得部102的圖像信息以及距離信息,執行使用了被分配來的神經網絡的物體檢測處理。物體檢測器113a、123a、133a分別是相同性能的物體檢測器,優選是相同結構的物體檢測器。

另外,物體檢測器123a、133a將通過使用了被分配來的神經網絡的物體檢測處理而檢測出的物體的檢測結果輸出給物體檢測器113a,物體檢測器113a對自身的檢測結果和物體檢測器123a、133a的檢測結果進行整合,將整合檢測結果輸出給駕駛控制信號發送部106。

檢測器異常檢測部104檢測物體檢測器113a、123a、133a各自的異常狀態,將對被檢測到異常狀態的物體檢測器進行報告的檢測器異常信息通知給檢測器切換部105以及駕駛控制信號發送部106。

檢測器切換部105通過控制物體檢測部103a并切換物體檢測器113a、123a、133a的處理內容,在由檢測器異常檢測部104檢測到物體檢測器113a、123a、133a中的一個物體檢測器的異常狀態的情況下,停止被檢測到異常狀態的異常物體檢測器的物體檢測處理,變更未被檢測到異常狀態的正常物體檢測器的物體檢測處理。物體檢測部103a在異常物體檢測器停止了物體檢測處理時,執行使異常物體檢測器恢復為正常狀態的復原處理。

另外,檢測器切換部105在由檢測器異常檢測部104檢測到物體檢測器113a、123a、133a中的一個物體檢測器的異常狀態的情況下,通過使正常物體檢測器要參照的nn存儲部202的nn保存部213、223、233變更,對正常物體檢測器要使用的神經網絡進行變更。

接著,對圖13所示的物體檢測裝置101a的工作進行說明。圖14是表示圖13所示的物體檢測裝置101a的啟動時物體檢測處理的一例的流程圖。圖14所示的物體檢測處理是物體檢測裝置101a被搭載于車輛1(自動駕駛車)(參照圖1)并在自動駕駛功能開始時執行的處理。

首先,檢測器切換部105基于內部的存儲器所存儲的檢測處理分配表(例如,圖4所示的檢測處理分配表),將物體檢測器113a、123a、133a要實施的物體檢測處理的處理內容通知給對物體檢測器113a、123a、133a進行管理的物體檢測部103a(步驟s31)。

接著,物體檢測部103a基于從檢測器切換部105通知來的信息,從nn保管部201讀出nn生成數據,生成各物體檢測器113a、123a、133a用的神經網絡并分別保存于nn保存部213、223、233,將nn保存部213、223、233的神經網絡分配給物體檢測器113a、123a、133a(步驟s32)。

圖15是表示圖13所示的物體檢測裝置101a的物體檢測器113a、123a、133a要參照的nn保存部213、223、233的一例的圖。在圖15所示的例子中,在nn存儲部202的nn保存部213中存儲有近距離的物體檢測處理用的神經網絡,在nn保存部223中存儲有中距離的物體檢測處理用的神經網絡,在nn保存部233中存儲有遠距離的物體檢測處理用的神經網絡。

此時,物體檢測部103a對物體檢測器113a分配nn保存部213,對物體檢測器123a分配nn保存部223,對物體檢測器133a分配nn保存部233。因此,物體檢測器113a參照nn保存部213來使用近距離的物體檢測處理用的神經網絡,物體檢測器123a參照nn保存部223來使用中距離的物體檢測處理用的神經網絡,物體檢測器133a參照nn保存部233來使用遠距離的物體檢測處理用的神經網絡。

接著,物體檢測部103a將來自信息取得部102的圖像信息等輸入物體檢測器113a、123a、133a,按照來自檢測器切換部105的通知即檢測處理分配表,使物體檢測器113a、123a、133a分別以被通知來的處理內容以及優先級執行使用了nn保存部213、223、233的神經網絡的物體檢測處理,使物體檢測器113a、123a、133a的工作開始(步驟s33)。

接著,當物體檢測部103a開始工作時,檢測器異常檢測部104開始各物體檢測器113a、123a、133a的監視(步驟s34)。

接著,駕駛控制信號發送部106基于來自物體檢測部103a的檢測結果,向行駛控制裝置13輸出駕駛控制信號,行駛控制裝置13基于駕駛控制信號,開始車輛1的自動駕駛(步驟s35)。

以上成為本實施方式的物體檢測裝置101a的自動駕駛車啟動時(自動駕駛功能啟動時)的處理內容。

接著,作為物體檢測裝置101a的失效保護工作的一例,說明在自動駕駛開始后物體檢測器113a、123a、133a之一發生了異常的情況。圖16是表示在圖13所示的物體檢測裝置101a的物體檢測器113a、123a、133a之一發生了異常的情況下的異常時物體檢測處理的一例的流程圖。

首先,檢測器異常檢測部104在檢測到物體檢測器113a、123a、133a之一的工作異常的情況下,向檢測器切換部105以及駕駛控制信號發送部106通知表示哪個物體檢測器為異常狀態的檢測器異常信息(步驟s41)。例如,在物體檢測器113a發生了異常的情況下,檢測器異常檢測部104向檢測器切換部105以及駕駛控制信號發送部106通知表示物體檢測器113a為異常狀態的檢測器異常信息。

接著,接收到檢測器異常信息的檢測器切換部105將要使用的檢測處理分配表從圖4所示的檢測處理分配表t1變更為物體檢測器113a、123a、133a之一發生異常時的檢測處理分配表(例如,圖9所示的檢測處理分配表t1a),向物體檢測部103a通知對物體檢測器113a、123a、133a的處理內容進行切換以使得進行符合該檢測處理分配表的失效保護工作(步驟s42)。

接著,物體檢測部103a基于物體檢測器113a、123a、133a之一發生異常時的檢測處理分配表,變更nn保存部213、223、233的神經網絡向物體檢測器113a、123a、133a的分配,對物體檢測器113a、123a、133a要參照的nn保存部213、223、233進行切換,由此變更物體檢測器113a、123a、133a的處理,將變更后的整合檢測結果輸出給駕駛控制信號發送部106(步驟s43)。例如,在物體檢測器113a發生了異常的情況下,物體檢測部103a基于處理內容t3a,進行用于使物體檢測器113a恢復為正常狀態的“復原處理”,基于處理內容t3a以及優先級t4a,將物體檢測器133a的物體檢測處理變更為“近距離、檢測結果整合”以及“優先級1”。

圖17是表示在圖13所示的物體檢測裝置101a的物體檢測器113a、123a、133a之一發生了異常的情況下物體檢測器113a、123a、133a要參照的nn保存部213、223、233的一例的圖。圖17所示的例子是物體檢測器113a發生了異常時的例子,物體檢測部103a使物體檢測器113a停止,對物體檢測器123a分配nn保存部223,對物體檢測器133a分配nn保存部213。

因此,物體檢測器133a參照nn保存部213來使用近距離的物體檢測處理用的神經網絡,物體檢測器123a參照nn保存部223來使用中距離的物體檢測處理用的神經網絡。

并且,駕駛控制信號發送部106基于檢測器異常信息和/或物體檢測部103a的整合檢測結果,向車輛1的行駛控制裝置13發送駕駛控制信號,該駕駛控制信號是用于進行使車輛1的行駛速度下降和/或使車輛1在安全場所停止等的失效保護駕駛的信號(步驟s44)。

通過上述的處理,在本實施方式中,除了實施方式1的效果之外,在檢測到多個物體檢測器113a、123a、133a中的一個物體檢測器的異常狀態的情況下,通過變更正常物體檢測器要參照的nn保存部213、223、233,對未被檢測到異常狀態的正常物體檢測器要使用的神經網絡進行變更,因此,在檢測到多個物體檢測器113a、123a、133a中的一個物體檢測器的異常狀態的情況下,能夠節省新生成神經網絡要花費的時間,并防止物體檢測處理的空白期間。其結果是,即使在檢測到多個物體檢測器113a、123a、133a中的一個物體檢測器的異常狀態的情況下,也能夠瞬間變更正常物體檢測器要使用的神經網絡,能夠切實地繼續執行使用了神經網絡的物體檢測處理,能夠防止自動駕駛的空白。

此外,在上述的說明中,對將本公開的物體檢測裝置適用于自動駕駛車的例子進行了說明,但并不特別限定于該例,也可以適用于機器人、無人機(無人飛行器)等不同的產品領域。

另外,各實施方式中說明的各構成要素也可以作為軟件來實現。該情況下,軟件被記錄在一個或多個rom(readonlymemory,只讀存儲器)、光盤、硬盤驅動器等非瞬時性記錄介質中,在軟件被處理裝置(processor,處理器)執行時,由該軟件確定的功能被處理裝置以及外圍裝置執行。

另外,各實施方式中說明的各構成要素,典型而言也可以實現為作為集成電路的lsi(largescaleintegration,大規模集成電路)來實現。各構成要素可以單獨地單芯片化,也可以以包含一部分或全部的方式單芯片化。雖然此處稱為lsi,但根據集成度不同,有時也被稱為ic(半導體集成電路)、系統lsi(systemlsi)、超大lsi(superlsi)、特大lsi(ultralsi)。另外,集成電路化的方法不限于lsi,也可以通過專用電路或者通用處理器來實現。也可以利用在lsi制造后能夠編程的fpga(fieldprogrammablegatearray;現場可編程門陣列)和能夠對lsi內部的電路單元的連接以及設定進行重構的可重構處理器(reconfigurableprocessor)。進而,隨著半導體技術的發展或者派生的其他技術的出現,如果出現能夠替代lsi的集成電路化的技術,當然也可以利用該技術進行構成要素的集成化。

當前第1頁1 2 
網友詢問留言 已有0條留言
  • 還沒有人留言評論。精彩留言會獲得點贊!
1
韩国伦理电影