一種基于虛擬現實的帶電作業機器人遙操作方法與流程

本發明屬于電力技術領域，具體涉及一種基于虛擬現實的帶電作業機器人遙操作方法。

背景技術：

目前，我國帶電作業，主要采用絕緣手套作業法，要求操作人員攀爬高壓鐵塔或借助絕緣斗臂車進行不停電作業。但人工帶電作業稍有不慎就容易發生人身傷亡事故，給家庭和社會帶來嚴重的損失。

技術實現要素：

本發明提出一種基于虛擬現實的帶電作業機器人遙操作方法，通過虛擬現實將作業場景顯示給操作人呀，操作人員在虛擬現實場景控制遠端機械臂進行帶電操作，減小了帶電作業發生事故的可能性。

為了解決上述技術問題，本發明提供一種基于虛擬現實的帶電作業機器人遙操作方法，包括第一機械臂、第二機械臂、機械臂專用工具箱和第一工控機；第一機械臂、第二機械臂均安裝于絕緣斗中，左機械臂和右機械臂安裝于絕緣斗前部；機械臂專用工具箱裝有便于視覺和傳感器識別的工具；第一工控機主要用于控制兩個機械臂運動；操作者通過虛擬眼鏡來觀察帶電作業細節，所述第一工控機通過虛擬眼鏡上安裝的深度傳感器識別操作者雙手的姿態信息，并將該姿態信息發送給機械臂，實現機械臂的運動控制。

進一步，對機械臂的遙操作過程為：

步驟一、首先對作業環境中各設備提前建模，對動態結構采用基于模型的建模方法，對靜態結構采用基于圖像的建模方法，并儲存在第一工控機數據庫中；

步驟二、第一工控機接收機械臂控制卡采集機械臂的運動信息和圖像處理計算機通過處理獲取環境中各設備的位置和尺度信息，通過位姿測量算法實現機械臂運行環境中設備模型與實際設備的位置和尺度的同步，并將該虛擬場景通過現實單元展示；

步驟三、操作者通過觀察現實單元中的虛擬場景，作出相應的手勢，第一工控機通過手勢識別算法識別出相應的操作指令，將該操作指令下發到從手控制器，控制從手的運動狀態來完成相應的帶電作業任務，實現帶電作業機器人的遙操作。

進一步，所述步驟三中手勢識別包括以下四個步驟：

3.1手勢分割，把大部分與操作手勢輸入無關的背景過濾；

3.2用直方圖法對手勢進行建模，將人手臂等效為六自由度機械臂，分別對應機械臂的六個自由度；

3.3運用位姿測量算法識別出手臂的各關節的位置和角度信息；

3.4將手臂的控制信息傳達給機械臂，給機械臂的六個電機傳送命令，控制機械臂進行帶電作業任務。

本發明與現有技術相比，其顯著優點在于，本發明采用虛擬現實的方法將帶電作業機器人工作的細節展現給操作者，操作者通過虛擬眼鏡觀察帶電作業機器人作業細節，操作者通過手勢操作遠程控制帶電作業機器人，通過遙操作的方法解決了安全問題。

附圖說明

圖1是機器人平臺的結構圖。

圖2是機械臂三維模型。

圖3是手勢識別流程圖。

具體實施方式

容易理解，依據本發明的技術方案，在不變更本發明的實質精神的情況下，本領域的一般技術人員可以想象出本發明基于虛擬現實的帶電作業機器人遙操作方法的多種實施方式。因此，以下具體實施方式和附圖僅是對本發明的技術方案的示例性說明，而不應當視為本發明的全部或者視為對本發明技術方案的限制或限定。

本發明將機器人作業現場采用虛擬現實的方法實現重構，操作者通過頭盔觀察機器人作業場景，使用雙目攝像機采集操作者的手勢圖像數據，通過圖像處理的方法識別手勢的控制信息，將該信息發送到從手控制計算機，實現從手的運動控制。

結合附圖，帶電作業機器人包括第一機械臂43、第二機械臂44、機械臂專用工具箱47和第一工控機48。第一機械臂43、第二機械臂44均安裝于絕緣斗中，左機械臂和右機械臂安裝于絕緣斗前部，為系統主要操作手；機械臂專用工具箱44裝有便于視覺和傳感器識別的工具，方便作業過程中對作業工具進行更換；第一工控機48主要用于控制兩個機械臂運動。

所述第一機械臂43、第二機械臂44為兩個同種型號的6自由度機械手，其上的每個關節轉軸處均帶有電位器。

所述機器人作業現場的重構的元素包括天空遠景、電線桿塔、機械臂(第一機械臂43、第二機械臂44)、電線、單個元器件和機械臂工具。重構的方法采用基于模型的重構方法和基于圖像重構方法相結合的方法，將機械臂(第一、第二機械手)、單個元器件和機械手工具采用基于模型的方法進行建模，將天空遠景、電線桿塔和電線采用基于圖像的方法進行建模。

操作者通過虛擬眼鏡來觀察帶電作業細節，在虛擬眼鏡上安裝深度傳感器，操作者的手臂動作由深度傳感器獲取。

遙控端配置有主計算機，第一工控機48完成作業場景的三維重構，由控制器給機械臂各個電機的位姿信號模擬出機械臂的運動軌跡；主計算機接收作業端圖像采集卡傳送的工具和元器件的位姿信息，利用該信息實現虛擬模型與現實的的同步。所述第一工控機48為系統控制總樞紐，首先識別操作者雙手的姿態信息，并將該信息發送給機械臂，實現機械臂的運動控制。

所述第一工控機48接收作業端雙目相機采集的圖像，通過特征點匹配的方法實現機器手環境中動態機構的識別，并通過雙目視覺算法求解目標的姿態參數，對數據庫中的設備模型自適應調整，實現虛擬與現實的同步。作業端雙目相機采集的圖像通過光纖傳輸給主計算機。

所述操作者雙臂有7個自由度，與6自由度機械手進行匹配解算，實現人手與機械手的對應關系，已達到機械臂跟隨人手運動來完成帶電操作任務。

機械臂的6個關節處安裝有角度傳感器，采集機器人各關節見的相對角度關系，機械臂各關節的運動通過相應的電動執行器來執行；

基于虛擬現實的帶電作業機器人遙操作方法，包括以下步驟：

步驟一、首先對作業環境中各設備提前建模，對動態結構采用基于模型的建模方法，對靜態結構采用基于圖像的建模方法，并儲存在第一工控機48數據庫中；

步驟二、在控制實現的過程中，第一工控機48接收機械臂控制卡采集機械臂的運動信息和圖像處理計算機通過處理獲取環境中各設備的位置和尺度信息，通過位姿測量算法實現機械臂運行環境中設備模型與實際設備的位置和尺度的同步，并將該虛擬場景通過現實單元展示；

步驟三、操作者通過觀察現實單元中的虛擬場景，作出相應的手勢，第一工控機48通過手勢識別算法識別出相應的操作指令，將該操作指令下發到從手控制器，控制從手的運動狀態來完成相應的帶電作業任務，實現帶電作業機器人的遙操作。

所述步驟三中手勢識別包括以下四個步驟

(1)手勢分割，把大部分與操作手勢輸入無關的背景過濾。

(2)用直方圖法對手勢進行建模。將人手臂等效為6自由度機械臂，分別對應從手的6個自由度。

(3)運用位姿測量算法識別出手臂的各關節的位置和角度信息。

(4)將手臂的控制信息傳達給機械臂從手，給從手的6個電機傳送命令，控制機械臂進行帶電作業任務。