一種公路隧道環境交通狀況監測方法及裝置與流程

本發明涉及交通環境感知，尤其涉及一種公路隧道環境交通狀況監測方法及裝置。

背景技術：

1、在公路隧道通行狀況監測領域，攝像機和雷達是最為常用的監測傳感器，尤其是激光雷達因為依賴于點云掃描，不易受障礙物影響，在公路隧道運行狀況監測領域應用較為廣泛。但受限于技術原理的局限性，兩類傳感器都有其固有缺陷。例如，攝像機的缺點在于受外界光照條件的影響較大，難以適應隧道復雜的交通通行環境，同時由于攝像機所采集的圖像數據主要為2d數據，獲取場景和物體的距離信息也比較困難。相比較而言，激光雷達所產生的數據為3d數據，能夠反映出被檢測物體的距離、位置信息，但由于激光雷達依賴于生成的3d點云進行檢測，天然無法反映出被檢測物體的顏色等類別信息。

技術實現思路

1、為解決單一傳感器由于自身技術局限性難以適配公路隧道復雜監測場景的技術問題，本發明實施例提供一種公路隧道環境交通狀況監測方法及裝置。

2、本發明實施例的技術方案是這樣實現的：

3、本發明實施例提供了一種公路隧道環境交通狀況監測方法，方法包括：獲取焦距攝像機采集的圖像數據和激光雷達采集的點云圖數據；所述焦距攝像機和所述激光雷達均位于公路隧道壁上，且基于硬件同步和軟件同步技術實現采集數據的時間對齊；從所述圖像數據中提取圖像特征，對所述點云圖數據按照曲率篩選特征點，并進行前后幀特征點的匹配；將所述圖像特征與匹配后的所述點云圖數據中的深度信息結合，并將結合后的特征進行深度估計、視錐表示和池化操作后，獲得圖像bev特征；對所述點云圖數據中的點云數據進行局部特征提取、最大池化操作，并融合圖像特征后，獲得激光雷達bev特征預測；構建世界坐標系，在所述世界坐標系下，將所述圖像bev特征與所述激光雷達bev特征預測進行級聯、提取特征、全局平均池化和卷積預測后，獲得動態融合特征；所述動態融合特征反映公路隧道內通行車輛特征的全面感知。

4、在一實施例中，從所述圖像數據中提取圖像特征，包括：利用第一模型從所述圖像數據中提取圖像特征；所述第一模型為resnet網絡模型；所述圖像特征用于表征所述圖像數據中的車輛車型、車輛顏色和車牌號特征。

5、在一實施例中，對所述點云圖數據按照曲率篩選特征點，并進行前后幀特征點的匹配，包括：

6、對所述點云圖數據中的原始點云進行預處理，并對所述原始點云按照激光線進行分類后，計算每一個點在激光線上的曲率；

7、根據每一個點在激光線上的曲率，確定線點和面點；

8、將前后幀的線點和面點轉到同一坐標系下后按照最近鄰搜索進行匹配；

9、其中，利用如下計算式計算每一個點在激光線上的曲率：

10、；

11、其中，表示曲率，表示選取的一個周圍點集，表示當前點，表示近鄰點。

12、在一實施例中，將所述圖像特征與匹配后的所述點云圖數據中的深度信息結合，并將結合后的特征進行深度估計、視錐表示和池化操作后，獲得圖像bev特征，包括：

13、利用如下計算式將所述圖像特征與匹配后的所述點云圖數據中的深度信息結合：

14、；

15、其中，表示結合后的特征，表示將圖像特征和深度信息在特征維度上合并，表示深度信息，表示圖像特征；

16、利用如下計算式將結合后的特征進行深度估計：

17、；

18、其中，是深度估計網絡操作，表示預測的深度圖；

19、利用如下計算式將深度圖和圖像特征映射到三維空間，獲得三維空間中的視錐特征：

20、；

21、其中，為視錐特征，表示將圖像特征根據預測的深度放置在三維空間中；

22、利用如下計算式將所述視錐特征進行池化操作，獲得圖像bev特征：

23、；

24、其中，表示一個將視錐特征轉換為bev表示的池化操作，表示圖像bev特征。

25、在一實施例中，對所述點云圖數據中的點云數據進行局部特征提取、最大池化操作，并融合圖像特征后，獲得激光雷達bev特征預測，包括：

26、利用如下計算式對所述點云圖數據中的點云數據進行局部特征提取，獲得局部特征：

27、；

28、其中，是點的局部特征向量，，為輸入點云，是點的數量，為點包含三維坐標信息，mlp為用voxelnet深度學習模型的主干網絡；

29、利用如下計算式對所述局部特征進行最大池化操作，獲得全局特征：

30、；

31、其中，表示池化操作，表示全局特征；

32、利用如下計算式將所述全局特征與所述圖像特征進行拼接融合，獲得融合后的特征：

33、；

34、其中，表示融合后的特征，表示圖像特征；表示拼接融合操作；

35、利用如下計算式將所述融合后的特征轉換為鳥瞰圖視角，并進行特征預測，獲得激光雷達bev特征預測：

36、；

37、其中，是激光雷達bev特征預測，包括預測的目標位置、大小和類別；是融合后的特征轉換到鳥瞰圖視角的特征圖；表示預測網絡。

38、在一實施例中，構建世界坐標系，包括：

39、構建世界坐標系中的點與焦距攝像機坐標系中的點之間的對應關系：

40、；

41、其中，為焦距攝像機坐標系中的點的坐標；為世界坐標系中的點的坐標；是焦距攝像機坐標系相對于世界坐標系的旋轉矩陣，是焦距攝像機坐標系相對于世界坐標系的平移矩陣；

42、構建圖像平面上的點與焦距攝像機坐標系中的點的對應關系：

43、；

44、其中，為圖像平面上的點的坐標；是焦距攝像機內參矩陣；

45、確定點云數據中的點在世界坐標系中的坐標：

46、；

47、其中，為點云數據中的點在世界坐標系中的坐標，是旋轉矩陣的逆矩陣，為點云數據中的點；

48、構建焦距攝像機圖像平面中的點與激光雷達點云數據中的點的對應關系，并基于所述對應關系采用bundle優化算法最小化如下誤差實現焦距攝像機圖像特征與激光雷達點云特征的空間對齊：

49、；

50、其中，和分別是圖像特征點和激光雷達點云中點的數量。

51、在一實施例中，將所述圖像bev特征與所述激光雷達bev特征預測進行級聯、提取特征、全局平均池化和卷積預測后，獲得動態融合特征；所述動態融合特征反映公路隧道內通行車輛特征的全面感知，包括：

52、利用如下計算式將所述圖像bev特征與所述激光雷達bev特征預測進行級聯：

53、；

54、其中，表示級聯后的特征，為點云bev特征，為圖像bev特征，、是級聯后的特征圖的尺寸，表示級聯操作；

55、利用如下計算式對級聯后的特征進行特征提取，獲得提取后的特征；

56、；

57、其中，表示提取后的特征，表示三維卷積神經網絡；

58、利用如下計算式對提取后的特征進行全局平均池化處理，獲得池化后的特征：

59、；

60、其中，表示池化后的特征，是池化后的通道數；

61、通過卷積層對池化后的特征進行預測，獲得動態融合特征，實現點云bev特征和圖像bev特征的動態融合。

62、本發明實施例還提供了一種公路隧道環境交通狀況監測裝置，所述裝置包括激光雷達、焦距攝像機和數據處理模塊；所述激光雷達，用于采集點云圖數據；所述焦距攝像機，用于采集圖像數據；所述數據處理模塊，用于執行上述所述方法的步驟。

63、本發明實施例提供的公路隧道環境交通狀況監測方法及裝置，獲取焦距攝像機采集的圖像數據和激光雷達采集的點云圖數據；所述焦距攝像機和所述激光雷達均位于公路隧道壁上，且基于硬件同步和軟件同步技術實現采集數據的時間對齊；從所述圖像數據中提取圖像特征，對所述點云圖數據按照曲率篩選特征點，并進行前后幀特征點的匹配；將所述圖像特征與匹配后的所述點云圖數據中的深度信息結合，并將結合后的特征進行深度估計、視錐表示和池化操作后，獲得圖像bev特征；對所述點云圖數據中的點云數據進行局部特征提取、最大池化操作，并融合圖像特征后，獲得激光雷達bev特征預測；構建世界坐標系，在所述世界坐標系下，將所述圖像bev特征與所述激光雷達bev特征預測進行級聯、提取特征、全局平均池化和卷積預測后，獲得動態融合特征；所述動態融合特征反映公路隧道內通行車輛特征的全面感知。本發明提供的方案可實現激光雷達點云數據和焦距攝像機圖像數據的有效融合。