本技術涉及圖像,特別涉及一種圖像處理方法、設備、芯片、控制器及運載工具。
背景技術:
1、在駕駛場景中,需要多路圖像傳感器(sensor)采集車輛在不同視角下的圖像,例如,前視圖像、后視圖像、環視圖像、側視圖像等。多路圖像傳感器將各自采集到的圖像經過視頻輸入模塊(video?input,vi)傳輸至用于圖像處理的芯片,由芯片對各個圖像進行圖像處理,處理后的圖像可用于顯示實時畫面或用于規劃行駛路線等。
2、當前,考慮到芯片的硬件資源,在同一時間,芯片能夠處理圖像的數量具有上限。芯片采用先進先出策略對傳輸過來的圖像依次進行處理,直至當前周期內所有的圖像傳感器采集的圖像處理完成。
3、然而,不同的圖像對于后續畫面顯示或規劃路線的重要程度也不同,通常情況下,前視視角下的前視圖像的重要性要大于其他視角下的其他圖像。而這種采用先進先出策略依次處理傳輸完成的圖像的方式,會出現前視圖像的處理時延較長的情況,降低了圖像處理效率。
技術實現思路
1、本技術提供了一種圖像處理方法、設備、芯片、控制器及運載工具,降低了前視圖像處理時延,提高了圖像處理效率。所述技術方案如下:
2、第一方面,提供了一種圖像處理方法,方法包括:接收多個第一存儲消息;第一存儲消息用于指示圖像傳感器采集的圖像完成傳輸;當第一存儲消息攜帶的圖像標識指示其他圖像時,根據第一存儲消息攜帶的存儲位置,按照預設讀取策略依次讀取其他圖像,并對其他圖像進行圖像處理,直至接收到第二存儲消息為止;其中,第二存儲消息攜帶的圖像標識指示優先級最高的前視圖像;本方案在前視圖像未完成傳輸的時間段內,按照預設讀取策略對接收到的其他圖像進行圖像處理,在未影響到前視圖像的處理時延的前提下,利用有限的時間和硬件資源先對其他圖像進行處理,提高了圖像處理效率。根據第二存儲消息攜帶的前視圖像的存儲位置,讀取前視圖像,并對前視圖像進行圖像處理;在對前視圖像處理完成之后,繼續按照預設讀取策略依次讀取未處理的其他圖像,并在接收到下一周期的多個第一存儲消息之前,完成對未處理的其他圖像的處理。本方案在前視圖像完成傳輸之后,停止對其他圖像進行讀取和圖像處理,對接收到的前視圖像進行圖像處理。在對前視圖像處理完成之后,再繼續按照預設讀取策略對未進行圖像處理的其他圖像進行圖像處理,保證了前視圖像的處理優先級,降低了前視圖像的處理時延,提高了圖像處理效率。
3、在一些實施例中,預設讀取策略為先進先出策略,或者,根據各個圖像標識對應的預設級別進行排序得到,提高了預設讀取策略的多樣性。
4、在一些實施例中,根據第一存儲消息攜帶的存儲位置,按照預設讀取策略依次讀取其他圖像,并對其他圖像進行圖像處理,直至接收到第二存儲消息為止,包括:根據n個第一存儲消息攜帶的存儲位置,按照預設讀取策略依次讀取n個其他圖像,并對n個其他圖像同時進行圖像處理,直至接收到第二存儲消息為止。本方案中芯片可以同時對n個圖像進行圖像處理,基于此,對于一次處理,芯片可以讀取n個其他圖像,將其分別分配到芯片中的n個圖像處理子模塊中,每個圖像處理子模塊處理一個其他圖像,如此,可以提高圖像處理效率。
5、其中,n為大于1的正整數,n表示同時進行圖像處理的圖像數量,n是根據圖像處理速率、單個其他圖像的處理時長、前視圖像的處理時長,以及圖像傳感器的幀率確定的,n的設置綜合考慮了前視圖像的優先處理以及芯片的硬件資源利用率,使得多個其他圖像處理時長總和大于前視圖像的傳輸時長與單個其他圖像的傳輸時長之差、且多個其他圖像以及前視圖像處理時長總和小于或等于幀率的倒數。在保證前視圖像的優先處理的同時,提高了硬件資源利用率。
6、在一些實施例中,第二存儲消息的數量為m個,m為大于1、且小于或等于n的正整數;根據第二存儲消息攜帶的前視圖像的存儲位置,讀取前視圖像,并對前視圖像進行圖像處理,包括:根據m個第二存儲消息各自攜帶的前視圖像的存儲位置,按照先進先出策略依次讀取m個前視圖像,并對m個前視圖像同時進行圖像處理,直至m個前視圖像處理完成。本方案中芯片可以同時對n個圖像進行圖像處理,基于此,對于一次處理,芯片可以讀取m個前視圖像,將其分別分配到芯片中的m個圖像處理子模塊中,每個圖像處理子模塊處理一個前視圖像,那么一次處理就可以處理完m個前視圖像,如此,可以提高圖像處理效率。
7、在一些實施例中,第二存儲消息的數量為m個,m為大于n的正整數;
8、根據第二存儲消息攜帶的前視圖像的存儲位置,讀取前視圖像,并對前視圖像進行圖像處理,包括:根據m個第二存儲消息各自攜帶的前視圖像的存儲位置,按照先進先出策略依次讀取n個前視圖像,并對n個前視圖像同時進行圖像處理,直至m個前視圖像處理完成。本方案中芯片可以同時對n個圖像進行圖像處理,基于此,對于一次處理,芯片可以讀取n個前視圖像,將其分別分配到芯片中的n個圖像處理子模塊中,每個圖像處理子模塊處理一個前視圖像,以此類推,直至m個前視圖像處理完成,如此,可以提高圖像處理效率。
9、在一些實施例中,多個其他圖像包括駕駛場景中后視圖像、環視圖像、側視圖像和內視圖像中至少一項;m個前視圖像包括前視視角下的長焦圖像和前視視角下的廣角圖像。實際應用中,不同的圖像組合方式均可以采用本技術實施例提供的圖像處理方法,增加了應用場景的多樣性。
10、在一些實施例中,該圖像處理方法還包括:接收第二存儲消息;第二存儲消息攜帶的圖像標識指示優先級最高的前視圖像;根據第二存儲消息攜帶的前視圖像的存儲位置,讀取前視圖像,并對前視圖像進行圖像處理;在對前視圖像處理完成之后,根據接收到的多個第一存儲消息攜帶的存儲位置,按照預設讀取策略依次讀取多個其他圖像,并在接收到下一周期的第二存儲消息之前,完成對多個其他圖像的處理;其中,第一存儲消息攜帶的圖像標識指示其他圖像。針對先接收到前視圖像的應用場景,芯片可以直接先對前視圖像進行圖像處理,在對前視圖像處理完成之后,再依次讀取其他圖像。并對其他圖像進行圖像處理。適當設置芯片的處理速率以及芯片同一時間處理的圖像的上限數量,使得在接收到下一周期的第二存儲消息之前,完成對多個其他圖像的處理,也就是,完成對當前周期中前視圖像和多個其他圖像的處理。如此,在接收到下一周期的第二存儲消息時,可以及時對下一周期傳輸的前視圖像開始進行處理,降低了圖像處理時延。
11、第二方面,提供了一種芯片,所述芯片包括存儲器、處理器以及存儲在所述存儲器中并可在所述處理器上運行的計算機程序,所述計算機程序被所述處理器執行時實現上述第一方面及第一方面任一實施例所述的方法。
12、第三方面,提供了一種圖像處理設備,所述圖像處理設備包括視頻輸入模塊,以及如第二方面所述的芯片;所述視頻輸入模塊,用于接收多個第一圖像傳感器各自傳輸的其他圖像,以及接收第二圖像傳感器傳輸的前視圖像;分別在各個所述其他圖像完成傳輸后,生成各個第一存儲消息,以及在所述前視圖像完成傳輸后,生成第二存儲消息;所述多個第一圖像傳感器用于分別采集駕駛場景中后視圖像、環視圖像、側視圖像和內視圖像中至少一項,所述第二圖像傳感器用于采集駕駛場景中前視圖像;所述芯片,用于接收多個第一存儲消息;根據所述第一存儲消息攜帶的存儲位置,按照預設讀取策略依次讀取所述其他圖像,并對所述其他圖像進行圖像處理,直至接收到第二存儲消息為止;其中,所述第二存儲消息攜帶的圖像標識指示優先級最高的前視圖像;根據所述第二存儲消息攜帶的前視圖像的存儲位置,讀取所述前視圖像,并對所述前視圖像進行圖像處理;在對所述前視圖像處理完成之后,繼續按照所述預設讀取策略依次讀取未處理的其他圖像,并在接收到下一周期的多個第一存儲消息之前,完成對所述未處理的其他圖像的處理。
13、第四方面,提供了一種控制器,所述控制器包括如上述第三方面所述的圖像處理設備。
14、第五方面,提供了一種運載工具,所述運載工具包括如上述第四方面所述的控制器。
15、第六方面,提供了一種計算機可讀存儲介質,所述計算機可讀存儲介質存儲有計算機程序,所述計算機程序被處理器執行時實現上述第一方面及第一方面任一實施例所述的方法。
16、第七方面,提供了一種包含指令的計算機程序產品,當其在計算機上運行時,使得計算機執行上述第一方面及第一方面任一實施例所述的方法。
17、上述第二方面、第三方面、第四方面、第五方面、第六方面、第七方面所獲得的技術效果與上述第一方面及第一方面任一實施例中對應的技術手段獲得的技術效果近似,在這里不再贅述。