本技術涉及視覺避障,尤其涉及一種基于可移動設備的自動避障方法、電子設備及存儲介質。
背景技術:
1、避障技術是確保可移動設備運動安全和實現自主導航的關鍵。以可移動設備為可移動設備為例,主流的可移動設備避障方案大致可以分為基于傳感器的方案和基于視覺的方案。基于傳感器的方案:包括激光雷達(lidar)、聲納、紅外傳感器等。這些方案能提供直接的距離測量,具有較高的避障精度和可靠性。基于視覺的方案:主要利用攝像頭捕捉圖像,通過圖像處理技術實現避障。相較于傳感器方案,視覺方案成本低,重量輕,更適合小型可移動設備。
2、然而,高精度的傳感器成本較高,且增加了可移動設備的負載,影響飛行時間和靈活性。視覺方案對光照條件和環境復雜度敏感,需要復雜的算法來確保準確性,對計算資源的需求較高。
技術實現思路
1、有鑒于此,本技術提供一種基于可移動設備的自動避障方法及相關設備,能夠在減少可移動設備用于避障的計算資源消耗的同時,實現可移動設備的精準避障。
2、本技術實施例提供一種基于可移動設備的自動避障方法,可移動設備包括中央處理器和數據處理硬件;自動避障方法包括:采集可移動設備在運動過程的環境圖像;將環境圖像輸入數據處理硬件,以使數據處理硬件根據環境圖像提取用于表征環境圖像中障礙物的特征點,其中,中央處理器接受數據處理硬件提取到的特征點;根據特征點得到環境圖像的深度信息,深度信息用于表征障礙物與可移動設備之間的距離;根據深度信息對可移動設備進行運動路徑規劃。
3、與相關技術相比,本技術實施例至少具有以下優點:將環境圖像輸入數據處理硬件,以得到環境圖像中障礙物的特征點。也就是說,將提取環境圖像中特征點的步驟放在數據處理硬件中實施,從而降低了可移動設備的中央處理器處理避障時的計算資源消耗,且能夠實現可移動設備的精準避障。此外,可移動設備的運動過程中僅需通過相機采集環境圖像即可,無需使用高精度的傳感器,降低了可移動設備的避障成本。
4、在一些可能的實現方式中,數據處理硬件至少包括特征檢測模塊、方向分配模塊和描述子生成模塊;特征點包括關鍵點和特征描述子,關鍵點為環境圖像中具有幾何特征的像素點,特征描述子用于描述關鍵點與關鍵點周圍的像素點的區別;將環境圖像輸入數據處理硬件,以使數據處理硬件根據環境圖像計算用于表征環境圖像中障礙物的特征點,包括:將環境圖像輸入數據處理硬件,其中,特征檢測模塊用于計算環境圖像中的關鍵點,方向分配模塊用于根據特征檢測模塊的計算結果計算關鍵點的主方向,描述子生成模塊用于根據特征檢測模塊的計算結果計算特征描述子。
5、通過采用上述技術方案,能夠提高數據處理硬件提取特征點的準確性,從而確保了后續得到的深度信息的準確性,進而提高了可移動設備的避障精度。
6、在一些可能的實現方式中,特征檢測模塊包括比較器和積分圖計算電路,比較器用于進行環境圖像中的各像素點與周圍像素點的灰度值比較,并從各像素點中確定角點;積分圖計算電路用于計算角點的響應值;方向分配模塊包括乘法器、加法器以及坐標旋轉數字計算電路,乘法器和加法器用于計算環境圖像中的各像素點的灰度質心,坐標旋轉數字計算電路用于計算灰度質心與角點之間連線的角度;描述子生成模塊包括像素點對比較電路,像素點對比較電路用于比較角點周圍的像素點對的灰度值,根據比較結果生成特征描述子。
7、通過采用上述技術方案,提供了一種可行的數據處理硬件的設計方案,能夠提高數據處理硬件提取特征點的準確性,從而確保了后續得到的深度信息的準確性,進而提高了可移動設備的避障精度。
8、在一些可能的實現方式中,可移動設備包括無人機;在將環境圖像輸入數據處理硬件之前,還包括:獲取無人機的飛行速度和飛行姿態數據;根據飛行速度和飛行姿態數據,確定無人機的飛行方向對應的目標攝像頭下的飛行通道區域,其中,飛行通道區域包括垂直方向和水平方向的邊界區域;對環境圖像進行目標分割,以將環境圖像分割為多個目標分割區域,其中,每個目標分割區域中均包括至少一個環境圖像中的物體;根據多個目標分割區域和飛行通道區域確定無人機的避障區域;將環境圖像輸入數據處理硬件,包括:將避障區域輸入數據處理硬件。
9、通過采用上述技術方案,能夠僅基于避障區域進行數據處理,在降低數據量從而減少計算資料的消耗的同時,提高數據處理精度,實現了無人機的精準避障。
10、在一些可能的實現方式中,對環境圖像進行目標分割,將環境圖像分割為多個目標分割區域,包括:將環境圖像輸入預先訓練的圖像分割網絡模型,基于圖像分割網絡模型的輸出結果確定多個目標分割區域;其中,圖像分割網絡模型用于輸出每個目標分割區域內物體的標注信息,標注信息至少包括物體的大小信息及在環境圖像中的位置信息。
11、通過采用上述技術方案,能夠提高對環境圖像進行目標分割的準確性,確保每個目標分割區域中均包括目標物體,從而提高了后續基于目標分割區域得到的避障區域的準確性,進一步提高了無人機的避障精度。
12、在一些可能的實現方式中,圖像分割網絡模型根據以下步驟訓練得到:獲取無人機在歷史飛行過程中的歷史環境圖像;對歷史環境圖像中的歷史物體進行標注,得到具有真實標簽的訓練圖像,其中,真實標簽至少包括歷史物體的大小和在歷史環境圖像中的位置;通過訓練圖像對初始圖像分割網絡模型進行訓練,得到圖像分割網絡模型。
13、通過采用上述技術方案,能夠提高圖像分割網絡模型的模型精度,從而提高了圖像分割網絡模型對環境圖像進行目標分割的準確性。
14、在一些可能的實現方式中,根據多個目標分割區域和飛行通道區域確定無人機的避障區域,包括:獲取每個目標分割區域的優先級,其中,目標分割區域的優先級越大,表征無人機與目標分割區域之間的最短直線距離越小;將優先級滿足預設優先級篩選規則的目標分割區域作為最終分割區域;根據最終分割區域,確定在飛行通道區域內的障礙物;將飛行通道區域內具有障礙物的區域作為避障區域。
15、通過采用上述技術方案,能夠在提高后續基于目標物體得到的避障區域的準確性的同時,減小無人機在避障區域內的飛行路徑,從而提高了無人機的飛行效率。
16、在一些可能的實現方式中,在根據深度信息對可移動設備進行運動路徑規劃之前,還包括:對深度信息進行平滑和去噪處理;根據深度信息對可移動設備進行運動路徑規劃,包括:根據平滑和去噪處理后的最終深度信息對可移動設備進行運動路徑規劃。
17、通過采用上述技術方案,能夠提高最終深度信息的準確性,進而提高了根據平滑和去噪處理后的最終深度信息得到的規劃路徑的可靠性。
18、本技術第二方面公開了一種電子設備,電子設備包括處理器和存儲器,存儲器用于存儲指令,處理器用于調用存儲器中的指令,使得電子設備執行上述的基于可移動設備的自動避障方法。
19、本技術第三方面公開了一種存儲介質,包括計算機指令,當計算機指令在電子設備上運行時,使得電子設備執行上述的基于可移動設備的自動避障方法。
20、可以理解地,上述提供的第二方面的電子設備以及第三方面的存儲介質,均與上述第一方面的方法對應,因此,其所能達到的有益效果可參考上文所提供的對應的方法中的有益效果,此處不再贅述。