基于多模態感知的四足機器人自主決策控制系統的制作方法

本發明屬于機器人運動，具體的說是基于多模態感知的四足機器人自主決策控制系統。

背景技術：

1、在四足機器人的研究中，自主決策控制方法是一個核心問題，這涉及到機器人在復雜環境中的感知、規劃、決策和執行等多個方面，為了實現自主決策控制，四足機器人需要配備各種傳感器，如深度相機、激光雷達和慣性測量單元等，用于環境感知和導航，同時，還需要先進的計算板卡和算法來處理這些傳感器數據，并做出相應的決策和規劃。

2、四足機器人自主決策控制方法包括基于規則的控制方法、基于模型的控制方法、基于學習的控制方法和混合控制方法，基于規則的控制方法通過預設的規則和邏輯來判斷機器人的行為，但靈活性較差；基于模型的控制方法通過建立機器人的動力學模型和運動學模型，利用數學模型來預測和控制機器人的行為，但由于實際機器人系統的復雜性，建立的模型往往存在誤差，導致控制效果不理想；基于學習的控制方法通過機器學習或強化學習等技術，讓機器人在與環境交互的過程中不斷學習和優化自己的行為，但需要大量的訓練數據和時間來優化模型，而且，模型的性能在很大程度上取決于訓練數據的質量和數量；混合控制方法雖然結合了多種控制方法的優點，但是，需要同時處理多種控制策略，增加了系統的復雜性和實現難度。

3、如授權公告號為cn113671976b的中國專利申請公開了一種三足支撐式管道機器人的運動定位控制方法，包括：系統啟動；獲取姿態信息；建立靜態姿態模型；獲取測距信息；切換直/彎管控制方式；電機運行；電流pid模塊運行；分段控制模式；系統停止；該發明通過外部感知模塊、定位模塊和運動模塊的信息反饋，經過處理后形成機器人的姿態信息，并由控制器決策采用最優控制策略，使得管道機器人具有一定的自主識別能力，減輕操作人員的負擔和誤操作風險，根據運動路徑隨時對機器人姿態進行調整，使其能夠在管道內自主過彎以及在直管、彎管和障礙中的運行。

4、如公開號為cn118625847a的專利申請公開了一種基于跨模態感知注意機制的輕量級四足機器人運動方法，包括：獲得四足機器人本體感知數據和視覺感知數據；根據本體感知數據和視覺感知數據，進行多模態數據融合，獲取融合后的多模態特征；獲得訓練好的跨模態感知注意力控制器和低級強化學習運動控制器；通過訓練好的跨模態感知注意力控制器和低級強化學習運動控制器對四足機器人的運動進行控制。該技術方案在四足機器人的自主避障決策任務中加入跨模態注意力控制模塊，從而在機器人上實現具有動態和上下文感知的輕量級四足機器人避障運動，機器人能夠根據任務需要自主選擇不同模態之間的信息切換。

5、以上現有技術均存在以下問題：缺乏優化策略與實時性；缺乏充分的實驗驗證和性能評估；更適用于特定的任務或場景，應用范圍存在局限性。

技術實現思路

1、針對現有技術的不足，本發明提出了基于多模態感知的四足機器人自主決策控制系統，通過攝像頭、力傳感器、麥克風陣列的多傳感器收集視覺、力覺、聲覺信息，并進行預處理；依據處理后信息，采用運動規劃策略生成對角步態、腿部軌跡及運動路徑規劃方案；生成具體控制指令驅動機器人運動，并實時監測調整；完成任務后，評估機器人運動性能，并根據評估結果優化運動規劃與控制方法；本發明提高了四足機器人在復雜環境中的自主運動能力和適應性。

2、為實現上述目的，本發明提供如下技術方案：

3、基于多模態感知的四足機器人自主決策控制系統，包括：感知模塊、決策規劃模塊、執行模塊、反饋監測模塊；

4、所述感知模塊，用于通過多傳感器收集機器人內部狀態信息和外部環境信息，并整合形成多模態感知信息；

5、所述決策規劃模塊包括規劃策略單元，所述規劃策略單元內配置有步態生成策略和運動規劃策略；所述步態生成策略，用于確定每步的時間周期、支撐相和擺動相，以及使用逆運動學確定每個關節角度；所述運動規劃策略，用于根據步態生成策略進行運動規劃和決策；

6、所述執行模塊包括指令生成單元和執行單元；所述指令生成單元內配置有pid控制算法，所述pid控制算法，用于根據運動規劃方案，生成控制四足機器人不同個關節和驅動器的控制指令；

7、所述反饋監測模塊包括監測單元和優化策略生成單元，所述監測單元內配置有立體避障策略，所述立體避障策略，用于實時監測機器人的姿態、速度、加速度、地面接觸力和周圍環境的變化，并根據監測結果進行避障；所述優化策略生成單元內配置有蜘蛛蜂優化策略，所述蜘蛛蜂優化策略，用于對評估結果進行優化。

8、具體地，所述步態生成策略的具體步驟包括：

9、a1：獲取感知模塊生成的多模態感知信息，并根據任務需求設置步態參數，所述步態參數包括步長、步速、對角步態類型；

10、a2：根據設置的步態參數和機器人的行走速度需求，通過查表法計算并分配支撐相和擺動相的時間，并將支撐相和擺動相的時間相加，獲得步態周期；同時，根據對角步態類型，確定不同腿在支撐相和擺動相之間的切換規則；

11、a3：設置運動速度或加速度狀態閾值h1，基于步態周期和切換規則，結合不同腿的運動規律，計算不同腿在支撐相和擺動相之間的切換時機；

12、若vsp＞h1，或vsw＜h1，則保持運動狀態；

13、若vsp≤h1，或vsw≥h1，則觸發從支撐相到擺動相的切換，其中，vsp表示腿在支撐相結束時的速度或加速度，vsw表示腿在擺動相開始時的速度或加速度；

14、a4：根據預設的機器人末端執行器的目標位置和方向，使用牛頓-拉夫森算法計算不同關節的角度θi，基于獲得的關節角度，結合a3中獲得的切換時機，計算不同關節的速度ui＝θi′，并將計算得到的不同關節角度、速度以及切換時機整合成步態信息，其中，θi表示第i個關節的角度，且i∈[1,n]，ui表示第i個關節的速度，θi′表示θi的關于時間的一階導數，n表示關節數量；

15、a5：對生成的步態信息進行穩定性分析，并根據分析結果對步態參數和關節控制進行調整和優化。

16、具體地，所述a4中不同關節的角度的計算步驟包括：

17、a4.1：收集機器人的機械結構參數，設置機器人末端執行器的目標位置和方向；

18、a4.2：將目標位置和方向作為輸入，運行牛頓-拉夫森算法，并輸出滿足目標位置和方向要求的不同關節角度；

19、a4.3：檢查計算得到的關節角度是否滿足機器人的物理限制；

20、若不滿足，則重新調整目標位置和方向；

21、若滿足，則輸出計算得到的關節角度。

22、具體地，所述a4.2的具體步驟包括：

23、a4.21：接收機器人末端執行器的目標位置和方向，并將目標位置和方向轉換為向量格式，獲得目標位置向量xvector和目標方向向量θvector；

24、a4.22：從傳感器中讀取當前關節角度基于通過平移變換計算該關節相對于前一關節的變換矩陣mbian，通過累積得到從基座到末端執行器的總變換矩陣mtotal＝mbian,1×…×mbian,n，并從總變換矩陣中提取出末端執行器的實際位置vad和方向θad，其中，mbian,n表示第n個關節的變換矩陣。

25、具體地，所述a4.2的具體步驟還包括：

26、a4.23：使用傳感器獲取當前關節角度下的實際位置和方向計算目標位置和方向與實際位置和方向之間的誤差向量，公式為：

27、

28、其中，evector表示目標位置和方向與實際位置和方向之間的誤差向量，w1表示位置權重，w2表示方向權重，|·|表示取絕對值；

29、a4.24：使用雅可比矩陣求解誤差向量相對于當前關節角度的一階導數并根據一階導數和誤差向量，計算關節角度的增量其中，表示機器人末端執行器的速度與關節速度之間的關系的雅可比矩陣，λ表示學習率；

30、a4.25：將增量加到當前關節角度上，進行迭代更新，直到達到預設的迭代次數，并輸出最終的關節角度。

31、具體地，所述監測單元采用立體避障策略，立體避障策略的具體步驟包括：

32、b1：通過雙目攝像頭實時拍攝周圍環境的三維信息、障礙物距離，并進行預處理，獲得環境感知圖像信息；

33、b2：將雙目攝像頭左右相機拍攝的環境感知圖像進行立體匹配，通過計算視差圖，結合攝像頭的內外參數，計算得到障礙物的三維坐標和深度信息；

34、b3：利用機器學習卷積神經網絡算法對b2計算得到的障礙物三維信息進行識別和分類；

35、b4：根據識別和分類后的障礙物信息，以及機器人的當前位置和姿態，利用路徑規劃算法規劃出多條可行的避障路徑。

36、具體地，所述b2的具體步驟包括：

37、b2.1：獲取預處理后的環境感知圖像信息，所述環境感知圖像信息為雙目攝像頭左右相機共同拍攝；

38、b2.2：基于環境感知圖像，對于左圖中的每一個像素，在右圖中尋找其對應點，并計算左右圖像中每個像素的匹配代價，將所有像素的匹配代價存儲在一個三維矩陣，獲得視差三維矩陣mdsi，公式為：

39、q(q1,q2,q3)＝|gl(q1,q2)-gr(q1-q3,q2)|；

40、其中，q1表示環境感知圖像的寬度，q2表示環境感知圖像的高度，q3表示視差搜索范圍，q(q1,q2,q3)表示環境感知圖像中，在像素位置(q1,q2)處，視差為q3時的匹配代價，gl(q1,q2)表示環境感知圖像中，雙目攝像頭左圖像在像素位置(q1,q2)處的灰度值，gr(q1-q3,q2)表示環境感知圖像中，雙目攝像頭右圖像在像素位置(q1-q3,q2)處的灰度值；

41、b2.3：對匹配代價進行聚合，獲得新的視差三維矩陣其中每個像素的代價值都反映了其與候選像素之間的相關性。

42、具體地，所述b2的具體步驟還包括：

43、b2.4：創建一個與左圖像相同尺寸的視差圖，用于存儲每個像素的最優視差值；

44、b2.5：對于新的視差三維矩陣中的每個像素，遍歷每個像素所有可能的視差值，并在每個視差值下，找到該像素的代價值，并選擇代價值最小的視差值作為該像素的最優視差，公式為：

45、

46、其中，q3,k表示像素k的最優視差值，q(k,q3)表示像素k在視差為q3時的代價值，argmin(·)表示在定義域內q(k,q3)取得最小值時對應的自變量值；

47、b2.6：將每個像素的最優視差值分配到視差圖中對應的位置，得到一個包含每個像素最優視差值的視差圖；

48、b2.7：根據視差圖、攝像頭的焦距和雙目之間的距離計算每個像素對應的深度值并將深度值映射到三維空間中，得到障礙物的三維坐標和深度信息，其中，dguang表示雙目攝像頭兩相機光心距離，fgc表示相機光心到成像平面的焦距，q4表示兩相機的視差。

49、所述優化策略生成單元采用蜘蛛蜂優化策略，蜘蛛蜂優化策略的具體步驟包括：

50、d1：設置搜索空間，在搜索空間內隨機分布一定數量的搜索代理，其中，每個搜索代理代表一個潛在的解；

51、d2：每個搜索代理根據梯度下降在搜索空間內移動，尋找最優解，并對每個搜索代理當前位置的解進行評估，計算其適應度值；

52、d3：若搜索代理發現潛在的優質解時，搜索代理會跟隨該解，若解的質量下降或遇到障礙，搜索代理會選擇逃跑，即遠離當前解，并嘗試新的搜索方向；

53、d4：一旦找到滿意的解，搜索代理會在其周圍構建巢穴，即進行局部優化；

54、d5：通過交叉操作來結合不同搜索代理的解，產生新的后代，迭代重復，直到達到預設的最大迭代次數。

55、所述a2中切換規則包括在左前腿和右后腿支撐時，右前腿和左后腿開始擺動；當右前腿和左后腿落地支撐時，左前腿和右后腿開始擺動。

56、與現有技術相比，本發明的有益效果是：

57、1.本發明提出基于多模態感知的四足機器人自主決策控制系統，并進行了架構、運行步驟和流程上的優化改進，系統具備流程簡單，投資運行費用低廉，生產工作成本低的優點。

58、2.本發明提出基于多模態感知的四足機器人自主決策控制系統，通過多傳感器融合形成多模態感知信息，實現了對機器人內部狀態和外部環境的全面監測；規劃策略單元內的步態生成策略和運動規劃策略，能夠精確確定機器人的步態和運動路徑，確保機器人穩定行走并有效避開障礙物，這種綜合感知與規劃能力，提升了機器人在復雜環境中的適應性和行走效率。

59、3.本發明提出基于多模態感知的四足機器人自主決策控制系統，通過pid控制算法生成精確的控制指令，驅動四足機器人的各個關節和驅動器協同工作；同時，反饋監測模塊中的立體避障策略和優化策略生成單元，能夠實時監測機器人的運動狀態并優化評估結果，確保機器人在行走過程中保持最佳性能；這種閉環控制機制，不僅提高了機器人的運動精度和穩定性，還為其在復雜多變的環境中持續穩定運行提供了保障。