一種基于腦電控制的機械臂寫字裝置及控制方法與流程

本發明涉及認知神經科學技術領域，特別是涉及一種基于腦電控制的機械臂寫字裝置及控制方法。

背景技術：

眾所周知，對于癱瘓，肌萎縮性側索硬化，中風等患者而言，與外界環境溝通一直是一種難題。但隨著計算機技術，臨床康復技術，心理學技術以及傳感器技術的不斷發展，使得腦機接口技術不再僅僅是一種幻想，而成為了一種現實的技術。

現有的用于溝通交流的腦機接口系統大多是利用計算機顯示屏上的交流。因此不能滿足癱瘓，肌萎縮性側索硬化，中風等患者想寫出實際文字的實際需求，同時大多數腦電采集系統具有笨重，昂貴等缺點，因此不能實際應用于患者的家庭生活中。

技術實現要素：

本發明要解決的技術問題是：提供一種基于腦電控制的機械臂寫字裝置及控制方法；該基于腦電控制的機械臂寫字裝置及控制方法通過采集腦電信息，通過數據處理后進而控制機械臂實現書寫的功能。

本發明為解決公知技術中存在的技術問題所采取的技術方案是：

一種基于腦電控制的機械臂寫字裝置，至少包括：

腦電采集設備；

信號處理設備；所述信號處理設備接收腦電采集設備的采集信息，并將采集信息進行數據處理；具體的數據處理過程依次為：

數據濾波，基于有限沖擊響應的0.01-32赫茲的帶通濾波器，提取與運動想象任務、咬牙任務、穩態視覺誘發任務相關的腦電信號，去除心電，工頻偽跡以及環境噪聲，提高腦電信號的信噪比；

小波濾波，基于小波變換分析，把腦電信號進行多層分解，分析每一層的腦電信號，找到有效的腦電信號部分，對有效的腦電信號部分進行重構，消除腦電信號中的基波漂移，提高腦電信號的信噪比；

特征提取，基于mu節律的二階矩能量分析，計算在不同運動想象任務下mu節律能量明顯的差異，降低特征分類的難度；基于典型相關性分析，計算在不同的穩態視覺刺激任務下相關系數的明顯不同，提供給信號分類；基于標準偏差和峰值距離分析，檢測咬牙任務的發生；

分類，基于線性分類器，利用特征提取中mu節律的二階矩能量對運動想象任務分析，求得不同任務下的能量差異，構造線性分類器，對運動想象任務的腦電信號進行分類；利用特征提取中典型相關性對穩態視覺刺激任務分析，比較不同視覺頻率刺激下的相關系數差異，找到最大值作為分類的輸出結果；利用特征提取中標準偏差和峰值距離對咬牙任務分析，構造線性分類器，對咬牙任務進行實時監測；

分類結果轉換，基于典型相關性分析，將穩態視覺刺激任務下的輸出結果轉換為相應的字符，每組字符即為一個控制指令；

執行書寫動作的機械臂；所述機械臂接收信號處理設備的控制指令，并根據上述控制指令執行相應的指令動作。

作為優選，本發明還采用了如下的技術方案：

進一步：所述腦電采集設備包括：采集p7、p8、o1、o2、fc5、fc6、f7、f8八個位置的腦電信號的電極傳感器、位于耳垂后方的cms和drl參考電極傳感器；以及腦電信號采集模塊；上述p7、p8、o1、o2、fc5、fc6、f7、f8八個位置為10-20國際標準導聯中定義的八個點位。

進一步：所述腦電采集設備通過wifi模塊與信號處理設備進行數據交互。

進一步：所述電極傳感器包括鍍金的金屬片、聚酯氈墊。

進一步：所述參考電極傳感器包括鍍金的金屬片、橡膠墊。

進一步：所述機械臂通過wifi模塊與信號處理設備進行數據交互。

一種基于腦電控制的機械臂寫字裝置的控制方法，其特征在于：包括如下步驟：

步驟101、利用腦電采集設備采集八個電極傳感器、cms和drl參考電極傳感器的采集信息，并將采集信息發送給信號處理設備；

步驟102、所述信號處理設備接收腦電采集設備的采集信息，并將采集信息進行數據處理；具體的數據處理過程依次為：

腦電信號處理程序包括：

數據濾波，基于有限沖擊響應的0.01-32赫茲的帶通濾波器，提取與運動想象任務，咬牙任務，穩態視覺誘發任務相關的腦電信號，去除心電，工頻偽跡以及環境噪聲，提高腦電信號的信噪比；

小波濾波，基于小波變換分析，把腦電信號進行多層分解，分析每一層的腦電信號，找到有效的腦電信號部分，對有效的腦電信號部分進行重構，消除了腦電信號中的基波漂移，提高腦電信號的信噪比；小波函數定義如下：

ψ(t)∈l¹(r)∩l²(r),并且則稱ψ(t)是一個母小波，對母小波可以進行伸縮平移，公式如下：

其中，ψa,b(t)是小波函數,a是尺度因子，b是平移因子，在上式中a和b都屬于實數r；

腦電信號x(n)利用下式進行小波分解與重構：

其中，al是低頻分量，dj是在不同尺度下的高頻分量，l是分解層的數量；

特征提取，基于mu節律的二階矩能量分析，計算在不同運動想象任務下mu節律能量明顯的差異，降低特征分類的難度，對于腦電信號x(n)，假設長度為n,則其二階矩能量e2的估計為：

基于典型相關性分析，計算在不同的穩態視覺刺激任務下相關系數的明顯不同，提供給信號分類；x和y是兩個多維隨機變量，其線性組合分別為wx∈r^h×1和wy∈r^i×1；典型相關性分析算法的目的是尋找一組權重變量x∈r^h×j和y∈r^i×j，從而使得x和y的相關系數達到最大；公式如下：

其中，是最大相關系數，可以用來分析腦電信號和參考信號的相關性大小；

基于標準偏差和峰值距離分析，檢測咬牙任務的發生，從而減少執行錯誤任務的發生；

分類，基于線性分類器，利用特征提取中mu節律的二階矩能量對運動想象任務分析，求得不同任務下的能量差異，構造線性分類器，對運動想象任務的腦電信號進行分類，公式如下：

其中，e是mu節律二階矩能量，α是能量閾值，用于判斷運動想象任務；

如果表示受試者想象的左手運動，之后對應著四種不同的穩態視覺誘發任務；如果表示受試者想象的右手運動，之后對應著兩種不同的穩態視覺誘發任務；如果表示受試者沒有進行運動想象任務，處于空閑狀態，則不會進入到之后的穩態視覺誘發任務；

利用特征提取中典型相關性對穩態視覺刺激任務分析，比較不同視覺頻率刺激下的相關系數差異，找到最大值作為分類的輸出結果，參考信號yi的公式如下：

其中，n是采樣點的數量，s是采樣頻率，nh是諧波的數量，fi是刺激源的刺激頻率，t是不同采樣點所對應的時間；

輸出的控制命令k利用如下公式完成：

其中，ρi是腦電信號和各頻率的參考信號的最大相關系數；

利用特征提取中標準偏差和峰值距離對咬牙任務分析，構造線性分類器，對咬牙任務進行實時監測，公式如下：

其中，ss是標準偏差，sp是峰值距離，β和η分別是標準偏差閾值和峰值距離閾值，用于判斷咬牙任務。如果表示受試者處于“牙齒咬緊”狀態；如果則表示受試者處于“自然”狀態，即沒有進行“牙齒咬緊”任務；

步驟103、機械臂接收信號處理設備的控制指令，并根據上述控制指令執行相應的指令動作。

本發明具有的優點和積極效果是：

通過采用上述技術方案，本發明的目的是為了給那些殘疾患者提供一種與外界環境交流的機會，改善他們的生活質量和品質。系統的設備由便攜式腦電采集設備，信號處理設備，串口電路以及機械臂依次相連組成。便攜式腦電信號采集設備是一種佩戴和使用方便的腦電信號采集帽，主要用于采集用戶的運動想象任務，咬牙任務和穩態視覺誘發任務下的腦電信號；信號處理裝置是對采集到的腦電信號進行數據分析的處理模塊，主要完成信號的預處理，特征提取，特征分類和命令轉換；串口電路將識別出的命令信號再次轉換為電壓信號；機械臂是家用的工業級性能桌面四軸機器人，可以控制完成向前，向后，向左，向右，向上和向下六種動作的變化。本發明具有操作簡單、使用安全、抗噪能力強、穩定性好的優點，為實現人機交互提供了一種現實可行的方案。

附圖說明

圖1是本發明優選實施例的整體框圖；

圖2是本發明優選實施例的流程圖；

圖3是本發明優選實施例中腦電采集帽設備電信號采集模塊部分的的結構圖；

圖4是本發明優選實施例中傳感器使用狀態時的放置位置示意圖；

圖5是本發明優選實施例中機械臂的結構圖。

具體實施方式

為能進一步了解本發明的發明內容、特點及功效，茲例舉以下實施例，并配合附圖詳細說明如下：

請參閱圖1至圖5，一種基于腦電控制的機械臂寫字裝置，用于書寫英文和數字；采用一種基于腦電控制的機械臂寫字系統，包括佩戴在用戶大腦上的腦電采集設備，本優選實施例中的腦電采集設備為腦電采集帽，腦電采集帽將采集到的腦電信號通過wifi傳輸給信號處理設備，信號處理設備通過計算機串口與串口電路連接，串口電路通過藍牙傳輸控制機械臂。

所述腦電采集帽采集用戶運動想象任務、咬牙任務和穩態視覺誘發任務過程中的腦電信號，這里規定，首先用戶完成運動想象任務，然后用戶完成穩態視覺誘發任務。當用戶的運動想象任務發生錯誤時，啟動面部表情任務重新返回運動想象任務，不進入穩態視覺誘發任務；當用戶的運動想象任務正確時，不啟動面部表情任務，直接進入穩態視覺誘發任務。

所述的機械臂是4軸高精度、高重復定位精度、帶步進電機的開源機械臂。機械臂具有三個主要的控制電機，控制機械臂在三維空間上的運轉，從而決定了機械臂的前、后、左、右、上和下的運動。

所述的采集腦電信號的電極傳感器包括：鍍金的金屬片；濕潤的聚酯氈墊。

所述的參考電極傳感器包括：鍍金的金屬片；干燥的橡膠墊。

所述的腦電信號采集模塊包括前置級放大電路，高通濾波器，低通濾波器，后置級放大電路，模數轉換電路，及無線傳輸電路。

信號處理設備包括：臺式電腦或筆記本電腦；運行于電腦上的腦電信號處理程序；以及接收腦電信號信號數據的接收器。腦電信號處理程序包括：

數據濾波，基于有限沖擊響應的0.01-32赫茲的帶通濾波器，提取與運動想象任務，咬牙任務，穩態視覺誘發任務相關的腦電信號，去除心電，工頻偽跡以及環境噪聲，提高腦電信號的信噪比。

小波濾波，基于小波變換分析，把腦電信號進行多層分解，分析每一層的腦電信號，找到有效的腦電信號部分，對有效的腦電信號部分進行重構，消除了腦電信號中的基波漂移，提高腦電信號的信噪比。

特征提取，基于mu節律的二階矩能量分析，計算在不同運動想象任務下mu節律能量明顯的差異，降低特征分類的難度；基于典型相關性分析，計算在不同的穩態視覺刺激任務下相關系數的明顯不同，提供給信號分類。基于標準偏差和峰值距離分析，檢測咬牙任務的發生，從而減少執行錯誤任務的發生。

分類，基于線性分類器，利用特征提取中mu節律的二階矩能量對運動想象任務分析，求得不同任務下的能量差異，構造線性分類器，對運動想象任務的腦電信號進行分類；利用特征提取中典型相關性對穩態視覺刺激任務分析，比較不同視覺頻率刺激下的相關系數差異，找到最大值作為分類的輸出結果；利用特征提取中標準偏差和峰值距離對咬牙任務分析，構造線性分類器，對咬牙任務進行實時監測。

分類結果轉換，基于典型相關性分析，將穩態視覺刺激任務下的輸出結果轉換為相應的字符，并輸入到電腦中的串口助手中，從而作為輸出結果輸出給串口。

串口電路包括：stc12c5a60s2單片機，藍牙發射裝置。stc12c5a60s2通過串口接收到信號處理裝置的輸出結果，信號處理裝置的輸出結果轉換為范圍在0到3.3伏之間的電壓信號，信號處理裝置的不同輸出結果對應著不同的電壓信號。stc12c5a60s2單片機的電壓信號傳輸給藍牙發射裝置。

機械臂(4)包括：機械臂，藍牙接收裝置。藍牙接收裝置接收藍牙發射裝置通過藍牙傳輸出的控制命令，從而控制機械臂完成相應的運動。

一種基于腦電控制的機械臂寫字裝置，主要包括：

佩戴在用戶大腦上的腦電采集帽，腦電采集帽將采集到的腦電信號通過wifi傳輸給信號處理裝置，信號處理裝置通過計算機串口與串口電路連接，串口電路通過藍牙傳輸控制機械臂，系統的整體框圖如圖1所示。

其中便攜式腦電采集帽是通過采集用戶的大腦頭皮運動感覺區和枕葉區的p7、p8、o1、o2、fc5、fc6、f7、f8電極的腦電信號。在腦電信號的采集過程中，首先用戶通過運動想象任務(想象左手運動或右手運動)從而產生事件相關同步化和事件相關去同步化現象。然后用戶通過穩態視覺誘發任務選擇注視相應的刺激頻率，其中當用戶最初完成想象左手運動任務的前提下，用戶可以通過選擇注視不同的視覺誘發刺激完成對機械臂前，后，左，右方向運動的控制；當用戶最初完成想象右手運動任務的前提下，用戶可以通過選擇注視不同的視覺誘發刺激完成對機械臂上、下方向運動的控制。通過監測是否存在咬牙任務，從而判斷出運動想象任務是否正確，當存在咬牙任務時，則重新進入最開始的運動想象任務，當不存在咬牙任務時，則進入穩態視覺誘發任務，圖2為系統的流程圖。采集到的腦電信號經過前置級放大電路后經過高通和低通濾波器進行濾波，濾波后經過后置級放大電路進行放大并經過模數轉換電路轉化為數字量，最后經過無線傳輸電路發送給信號處理裝置，圖3為便攜式腦電采集帽腦電信號采集模塊部分的的結構圖。

其中采集帽是便攜式腦電采集帽，便攜式腦電采集帽使用國際20導聯10-20參考系統的p7、p8、o1、o2、fc5、fc6、f7、f8八個位置的采集腦電信號的電極傳感器；位于耳垂后方的cms和drl參考電極傳感器，fc5和fc6采集運動想象任務的腦電信號，p7、p8、o1和o2采集穩態視覺誘發任務的腦電信號，f7和f8監測咬牙任務的腦電信號；圖4為大腦電極在頭皮上的放置位置示意圖。

其中采集腦電信號的電極傳感器是由鍍金的金屬片和濕潤的聚酯氈墊組成，導電性能強。

其中參考電極傳感器是由鍍金的金屬片和干燥的橡膠墊組成，作為接地電極，位于耳垂正后方。

其中信號處理裝置包括臺式電腦或筆記本電腦，運行于電腦上的腦電信號處理程序，接收腦電信號信號數據的接收器。腦電信號處理程序包括：

第一次預處理，對腦電信號進行0.01-32赫茲的帶通濾波，去除心電，工頻偽跡以及環境噪聲。

第二次預處理，采用小波變換對腦電信號進行多層分解，對每一層的腦電信號進行分析，找到有效的腦電信號部分，對有效的腦電信號部分進行重構，消除腦電信號中的基波漂移。

利用mu節律的二階矩能量分析來計算在不同運動想象任務下mu節律的能量值。

利用典型相關性分析來計算在不同的穩態視覺刺激任務下相關系數的值。

利用標準偏差和峰值距離分析來檢測咬牙任務的發生。

利用線性分類器1對特征提取出的運動想象任務進行分類，利用典型相關性計算出的相關系數的值，找到最大值作為分類的輸出結果；利用線性分類器2，對咬牙任務進行實時檢測。

其中串口電路包括stc12c5a60s2單片機和藍牙發射裝置。stc12c5a60s2通過串口接收到信號處理裝置的輸出結果(“1”，“2”，“3”，“4”，“5”，“6”)，并把信號處理裝置的輸出結果轉換為范圍在0到3.3伏之間的電壓信號，并傳輸給藍牙發射裝置。

其中機械臂包括機械臂和藍牙接收裝置。藍牙接收裝置接收藍牙發射裝置通過藍牙傳輸出的控制命令，并控制機械臂完成相應的運動。

一種基于腦電控制的機械臂寫字裝置的控制方法，包括如下步驟：

步驟101、利用腦電采集設備采集八個電極傳感器、cms和drl參考電極傳感器的采集信息，并將采集信息發送給信號處理設備；

步驟102、所述信號處理設備接收腦電采集設備的采集信息，并將采集信息進行數據處理；具體的數據處理過程依次為：

腦電信號處理程序包括：

數據濾波，基于有限沖擊響應的0.01-32赫茲的帶通濾波器，提取與運動想象任務，咬牙任務，穩態視覺誘發任務相關的腦電信號，去除心電，工頻偽跡以及環境噪聲，提高腦電信號的信噪比；

小波濾波，基于小波變換分析，把腦電信號進行多層分解，分析每一層的腦電信號，找到有效的腦電信號部分，對有效的腦電信號部分進行重構，消除了腦電信號中的基波漂移，提高腦電信號的信噪比；小波函數定義如下：

ψ(t)∈l¹(r)∩l²(r),并且則稱ψ(t)是一個母小波，對母小波可以進行伸縮平移，公式如下：

其中，ψa,b(t)是小波函數,a是尺度因子，b是平移因子，在上式中a和b都屬于實數r；

腦電信號x(n)利用下式進行小波分解與重構：

其中，al是低頻分量，dj是在不同尺度下的高頻分量，l是分解層的數量；

特征提取，基于mu節律的二階矩能量分析，計算在不同運動想象任務下mu節律能量明顯的差異，降低特征分類的難度，對于腦電信號x(n)，假設長度為n,則其二階矩能量e2的估計為：

基于典型相關性分析，計算在不同的穩態視覺刺激任務下相關系數的明顯不同，提供給信號分類；x和y是兩個多維隨機變量，其線性組合分別為wx∈r^h×1和wy∈r^i×1；典型相關性分析算法的目的是尋找一組權重變量x∈r^h×j和y∈r^i×j，從而使得x和y的相關系數達到最大；公式如下：

其中，是最大相關系數，可以用來分析腦電信號和參考信號的相關性大小；

基于標準偏差和峰值距離分析，檢測咬牙任務的發生，從而減少執行錯誤任務的發生；

分類，基于線性分類器，利用特征提取中mu節律的二階矩能量對運動想象任務分析，求得不同任務下的能量差異，構造線性分類器，對運動想象任務的腦電信號進行分類，公式如下：

其中，e是mu節律二階矩能量，α是能量閾值，用于判斷運動想象任務；

如果表示受試者想象的左手運動，之后對應著四種不同的穩態視覺誘發任務；如果表示受試者想象的右手運動，之后對應著兩種不同的穩態視覺誘發任務；如果表示受試者沒有進行運動想象任務，處于空閑狀態，則不會進入到之后的穩態視覺誘發任務；

利用特征提取中典型相關性對穩態視覺刺激任務分析，比較不同視覺頻率刺激下的相關系數差異，找到最大值作為分類的輸出結果，參考信號yi的公式如下：

其中，n是采樣點的數量，s是采樣頻率，nh是諧波的數量，fi是刺激源的刺激頻率，t是不同采樣點所對應的時間；

輸出的控制命令k利用如下公式完成：

其中，ρi是腦電信號和各頻率的參考信號的最大相關系數；

利用特征提取中標準偏差和峰值距離對咬牙任務分析，構造線性分類器，對咬牙任務進行實時監測，公式如下：

其中，ss是標準偏差，sp是峰值距離，β和η分別是標準偏差閾值和峰值距離閾值，用于判斷咬牙任務。如果表示受試者處于“牙齒咬緊”狀態；如果則表示受試者處于“自然”狀態，即沒有進行“牙齒咬緊”任務；

步驟103、機械臂接收信號處理設備的控制指令，并根據上述控制指令執行相應的指令動作。

上述優選實施例的具體工作過程為：

步驟1，開啟emotivepoc腦電采集帽的開關，采集用戶的腦電信號。

具體的腦電采集過程為：fc5和fc6采集運動想象任務的腦電信號，p7、p8、o1和o2采集穩態視覺誘發任務的腦電信號，f7和f8監測咬牙任務的腦電信號。采集到的腦電信號通過無線傳輸電路傳輸給信號處理裝置。

步驟2，通過與電腦連接的無線接收電路把腦電信號傳輸給信號處理裝置，利用第一次預處理得到用戶的有效信號，去除心電，工頻偽跡和環境噪聲，利用第二次預處理，采用小波變換對腦電信號進行多層分解，對每一層的腦電信號進行分析，找到有效的腦電信號部分，對有效的腦電信號部分進行重構，消除腦電信號中的基波漂移。在特征提取中，利用mu節律的二階矩能量分析來計算在不同運動想象任務下mu節律的能量值，利用典型相關性分析來計算在不同的穩態視覺刺激任務下相關系數的值，利用標準偏差和峰值距離分析來檢測咬牙任務的發生。在分類中，利用線性分類器1對特征提取出的運動想象任務進行分類，利用典型相關性計算出的相關系數的值，找到最大值作為分類的輸出結果；利用線性分類器2，對咬牙任務進行實時檢測。

步驟3，將步驟2調用的控制指令通過串口助手發送給與串口電路相連接的stc12c5a60s2單片機，并且stc12c5a60s2單片機根據接收到的控制指令輸出相應的電壓信號給藍牙發射裝置。

步驟4，藍牙發射裝置將控制命令發送給藍牙接收裝置(藍牙接收裝置與機械臂相連接)，從而藍牙接收裝置控制機械臂的運動狀態，此運動狀態包括向前，向后，向左，向右，向上和向下方向的運動。

以上對本發明的實施例進行了詳細說明，但所述內容僅為本發明的較佳實施例，不能被認為用于限定本發明的實施范圍。凡依本發明申請范圍所作的均等變化與改進等，均應仍歸屬于本發明的專利涵蓋范圍之內。