一種基于穩態視覺誘發電位的文字輸入方法及裝置與流程

本發明涉及人機交互技術領域，具體涉及一種基于穩態視覺誘發電位的文字輸入方法及裝置。

背景技術：

人機交互發展共有三個階段，分別為命令行界面交互階段、圖形用戶界面交互階段和自然和諧的人機交互階段。命令行界面交互階段中，計算機的使用者被看做操作員，計算機對輸入信息一般制作出被動的反應，操作員主要通過鍵盤輸入數據和命令信息，顯然，這種人機界面交互方式缺乏自然性。圖形用戶界面交互階段，依賴菜單選擇和交互構件，但重復性的菜單選擇會給用戶造成不方便。自然和諧的人機交互階段是基于語言、手寫體、姿勢、視線、表情等輸入手段的多通道交互，目的是使人能以聲音、動作、表情等自然方式進行交互操作。

近年來隨著腦科學、計算機科學、信號處理技術的飛速發展，通過腦機接口(braincomputerinterface，bci)的技術可實現人類利用腦電信號同計算機或其它裝置進行通訊，有助于自然和諧的人機交互技術發展。在人機交互技術中，需要點擊硬件鍵盤或者虛擬鍵盤完成文字的輸入，但這種操作方式缺乏自然性，特別是手部殘障人士難以依賴這種交互方式實現文字輸入。

技術實現要素：

本發明實施例提供一種基于穩態視覺誘發電位的文字輸入方法及裝置，用于解決現有的文字輸入方法操作不方便的問題。

本發明實施例提供了一種基于穩態視覺誘發電位的文字輸入方法，包括：

s1：運行筆劃輸入法應用程序，各個筆劃在顯示器的顯示區域進行顯示，所述各個筆劃所在的各個顯示區域以不同的頻率進行閃爍；

s2：接收腦電采集處理設備發送的第一腦電信號，所述第一腦電信號為所述腦電采集處理設備對用戶注視所述顯示區域的腦電信號進行采集后獲得的；

s3：對所述第一腦電信號進行處理分析，根據處理分析結果確定用戶注視的目標筆劃，執行輸入所述目標筆劃的指令，根據輸入的目標筆劃確定候選文字；

s4：重復步驟s2-s3，當所述候選文字的數量小于預設閾值或者根據所述第一腦電信號確定用戶的注視區包括第一按鍵后，在候選字區顯示所述候選文字；

s5：將所述候選字區劃分為預設數量的子區域，各個子區域以不同的頻率進行閃爍；

s6：接收腦電采集處理設備發送的第二腦電信號，所述第二腦電信號為所述腦電采集處理設備對用戶注視所述候選字區的腦電信號進行采集后獲得的；

s7：對所述第二腦電信號進行處理分析，根據處理分析結果從所述各個子區域中確定第一子區域為用戶的注視區；

s8：重復步驟s5-s7，將所述第一子區域進行分割，直到所述第一子區域對應的候選文字的數量為1，執行輸入第一子區域對應的候選文字的指令。

可選地，所述方法還包括：

所述顯示器的顯示區域還包括第二按鍵，所述第二按鍵和所述各個筆劃所在的各個顯示區域以不同的頻率進行閃爍；

當根據所述第一腦電信號確定用戶的注視區包括所述第二按鍵時，執行刪除輸入區的最后一個筆劃的指令。

可選地，所述候選字區各個子區域的大小不同，將所述候選文字中的常用字設置在最小的子區域進行顯示，將所述候選文字中的生僻字設置在最大的子區域進行顯示。

可選地，對腦電信號的處理分析采用腦電信號分析工具openvibe。

可選地，所述預設數量為4。

本發明實施例提供了一種基于穩態視覺誘發電位的文字輸入裝置，包括：

筆劃顯示單元，用于運行筆劃輸入法應用程序，各個筆劃在顯示器的顯示區域進行顯示，所述各個筆劃所在的各個顯示區域以不同的頻率進行閃爍；

第一腦電信號接收單元，用于接收腦電采集處理設備發送的第一腦電信號，所述第一腦電信號為所述腦電采集處理設備對用戶注視所述顯示區域的腦電信號進行采集后獲得的；

目標筆劃輸入單元，用于對所述第一腦電信號進行處理分析，根據處理分析結果確定用戶注視的目標筆劃，執行輸入所述目標筆劃的指令，根據輸入的目標筆劃確定候選文字；

候選文字顯示單元，用于重復步驟s2-s3，當所述候選文字的數量小于預設閾值或者根據所述第一腦電信號確定用戶的注視區包括第一按鍵后，在候選字區顯示所述候選文字；

其中，步驟s2-s3包括：

s2：接收腦電采集處理設備發送的第一腦電信號，所述第一腦電信號為所述腦電采集處理設備對用戶注視所述顯示區域的腦電信號進行采集后獲得的；

s3：對所述第一腦電信號進行處理分析，根據處理分析結果確定用戶注視的目標筆劃，執行輸入所述目標筆劃的指令，根據輸入的目標筆劃確定候選文字；

候選字區劃分單元，用于將所述候選字區劃分為預設數量的子區域，各個子區域以不同的頻率進行閃爍；

第二腦電信號接收單元，用于接收腦電采集處理設備發送的第二腦電信號，所述第二腦電信號為所述腦電采集處理設備對用戶注視所述候選字區的腦電信號進行采集后獲得的；

第一子區域確定單元，用于對所述第二腦電信號進行處理分析，根據處理分析結果從所述各個子區域中確定第一子區域為用戶的注視區；

候選文字輸入單元，用于重復步驟s5-s7，將所述第一子區域進行分割，直到所述第一子區域對應的候選文字的數量為1，執行輸入第一子區域對應的候選文字的指令；。

其中，步驟s5-s7包括：

s5：將所述候選字區劃分為預設數量的子區域，各個子區域以不同的頻率進行閃爍；

s6：接收腦電采集處理設備發送的第二腦電信號，所述第二腦電信號為所述腦電采集處理設備對用戶注視所述候選字區的腦電信號進行采集后獲得的；

s7：對所述第二腦電信號進行處理分析，根據處理分析結果從所述各個子區域中確定第一子區域為用戶的注視區。

可選地，所述顯示器的顯示區域還包括第二按鍵，所述第二按鍵和所述各個筆劃所在的各個顯示區域以不同的頻率進行閃爍；

還包括刪除單元，用于當根據所述第一腦電信號確定用戶的注視區包括所述第二按鍵時，執行刪除輸入區的最后一個筆劃的指令。

可選地，所述候選字區各個子區域的大小不同，將所述候選文字中的常用字設置在最小的子區域進行顯示，將所述候選文字中的生僻字設置在最大的子區域進行顯示。

可選地，對腦電信號的處理分析采用腦電信號分析工具openvibe。

可選地，所述預設數量為4。

本發明實施例提供的基于穩態視覺誘發電位的文字輸入方法及裝置，通過將各個筆劃以不同的頻率閃爍，用戶注視各個顯示區域產生腦電信號，不斷分割細化閃爍區域，最終確定目標筆劃，只需要用戶目光聚焦即可選擇目標筆劃，進而通過目光聚焦候選文字完成文字的輸入。利用腦電信號進行文字的輸入，與傳統的硬件鍵盤或虛擬鍵盤輸入相比，操作方便，解放了用戶的雙手。

附圖說明

為了更清楚地說明本發明實施例或現有技術中的技術方案，下面將對實施例或現有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖是本發明的一些實施例，對于本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他的附圖。

圖1是本發明一個實施例的基于穩態視覺誘發電位的文字輸入方法的流程示意圖；

圖2a和圖2b是本發明一個實施例的基于穩態視覺誘發電位的文字輸入方法的原理圖；

圖3是本發明一個實施例的基于穩態視覺誘發電位的文字輸入裝置的結構示意圖。

具體實施方式

為使本發明實施例的目的、技術方案和優點更加清楚，下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整的描述，顯然，所描述的實施例是本發明一部分實施例，而不是全部的實施例。基于本發明中的實施例，本領域普通技術人員在沒有作出創造性勞動前提下所獲得的所有其他實施例，都屬于本發明保護的范圍。

圖1是本發明一個實施例的基于穩態視覺誘發電位的文字輸入方法的流程示意圖。如圖1所示，本發明實施例的方法包括：

s1：運行筆劃輸入法應用程序，各個筆劃在顯示器的顯示區域進行顯示，所述各個筆劃所在的各個顯示區域以不同的頻率進行閃爍；

以圖2a為例，筆劃輸入法應用程序運行后，在鍵位區顯示鍵位區包含橫(一)、豎(|)、撇(丿)、捺(ㄟ)、折五個筆劃，且五個筆劃所在的各個顯示區域以不同的頻率進行閃爍。s2：接收腦電采集處理設備發送的第一腦電信號，所述第一腦電信號為所述腦電采集處理設備對用戶注視所述顯示區域的腦電信號進行采集后獲得的；

需要說明的是，本發明實施例可基于穩態視覺誘發電位ssvep原理采集用戶的腦電信號，進而實現文字輸入。腦電信號極其微弱，容易受到周圍電磁波干擾，所以需要采用精密的腦電信號采集處理設備采集到精確的腦電信號。用戶將腦電采集處理設備(例如emotivepoc、emotivepoc+、emotivinsight等)戴在頭上，用戶注視顯示區域，腦電采集處理設備采集用戶的腦電信號。

s3：對所述第一腦電信號進行處理分析，根據處理分析結果確定用戶注視的目標筆劃，執行輸入所述目標筆劃的指令，根據輸入的目標筆劃確定候選文字；

需要說明的是，穩態視覺誘發電位ssvep是當視覺神經受到一個固定頻率的視覺刺激時，人的大腦視覺皮層會產生一個連續的與刺激頻率有關(刺激頻率的基頻或倍頻處)的響應。當顯示器顯示的各個筆劃所在的顯示區域以不同的頻率進行閃爍時，根據采集的用戶注視顯示區域時的腦電信號可確定用戶的注視的目標筆劃。s4：重復步驟s2-s3，當所述候選文字的數量小于預設閾值或者根據所述第一腦電信號確定用戶的注視區包括第一按鍵后，在候選字區顯示所述候選文字；

需要說明的是，本發明實施例根據輸入的目標筆劃確定候選文字，當候選文字的數量小于預設閾值(例如64)或者根據第一腦電信號確定用戶的注視區包括第一按鍵后，在候選字區顯示候選文字。在實際應用中，還可以根據輸入的目標筆劃在候選字區實時顯示候選文字(如圖2a所示)，在用戶注視第一按鍵后，隱藏筆劃、第一按鍵和輸入區。

以圖2a為例，“選”為第一按鍵，“選”和各個筆劃所在的各個顯示區域以不同的頻率進行閃爍，通過分析第一腦電信號確定用戶注視“選”按鍵時，則在候選字區顯示候選文字。

s5：將所述候選字區劃分為預設數量的子區域，各個子區域以不同的頻率進行閃爍；在實際應用中，候選字區將根據候選文字的多少，自動排列成n*n的方格，可選的n最大取8。

s6：接收腦電采集處理設備發送的第二腦電信號，所述第二腦電信號為所述腦電采集處理設備對用戶注視所述候選字區的腦電信號進行采集后獲得的；

s7：對所述第二腦電信號進行處理分析，根據處理分析結果從所述各個子區域中確定第一子區域為用戶的注視區；

在實際應用中，本發明實施例利用directx或opengl在顯示器界面上繪制以指定頻率閃爍的區域，根據ssvep原理，對用戶注視閃爍區域而產生的相應腦電信號進行分類(計算機學習并記錄用戶對于特定閃爍頻率的腦電信號)，采用腦電信號分析工具openvibe對所述腦電信號進行處理，確定用戶的注視區。

openvibe是實時腦電信號分析工具，最顯著的特點是高模塊化，由c++編寫完成，可以輕松地集成和高效地設計腦機接口應用程序。

s8：重復步驟s5-s7，將所述第一子區域進行分割，直到所述第一子區域對應的候選文字的數量為1，執行輸入第一子區域對應的候選文字的指令；

需要說明的是，當對候選字區不斷分割劃分后，確定用戶注視的文字，并執行輸入該文字的指令。

本發明實施例提供的基于穩態視覺誘發電位的文字輸入方法，通過將各個筆劃以不同的頻率閃爍，用戶注視各個顯示區域產生腦電信號，不斷分割細化閃爍區域，最終確定目標筆劃，只需要用戶目光聚焦即可選擇目標筆劃，進而通過目光聚焦候選文字完成文字的輸入。利用腦電信號進行文字的輸入，與傳統的硬件鍵盤或虛擬鍵盤輸入相比，操作方便，解放了用戶的雙手。

在本發明實施例的一種可選的實施方式中，所述方法還包括：

所述顯示器的顯示區域還包括第二按鍵，所述第二按鍵和所述各個筆劃所在的各個顯示區域以不同的頻率進行閃爍；

當根據所述第一腦電信號確定用戶的注視區包括所述第二按鍵時，執行刪除輸入區的最后一個筆劃的指令。

以圖2a為例，“退”為第二按鍵，當根據第一腦電信號確定用戶注視“退”按鍵后，刪除輸入區的最后一個筆劃。

進一步地，所述候選字區各個子區域的大小不同，將所述候選文字中的常用字設置在最小的子區域進行顯示，將所述候選文字中的生僻字設置在最大的子區域進行顯示。

可理解的是，候選字區的各個子區域可以等分，也可以不等分。

如圖2b所示，候選字區的各個子區域不是等分的，將候選字區劃分為四個子區域，則左上角和右下角呈方形略小，左上角是最常用字，右上角區和左下角區是次常用字，右下角區是生僻字，劃分時左上角略小，有助于用更少的重復次數選中常用字。

優選地，所述預設數量為4。

本發明通過多次試驗對比，邀請志愿者參與測試，確定最科學有效的分割方式，保證文字輸入方法的合理性及高效性，從人機交互的角度上提升用戶體驗。本發明實施例將候選字區劃分為4個子區域時文字輸入的準確性及效率較高。

本發明實施例的文字輸入方法，使得人機交互更加自然，不需要發出聲音或者作出動作，可幫助特殊人群完成人機交互。普通用戶也可應用本發明實施例提供的文字輸入方法更方便地完成人機交互。

圖3是本發明一個實施例的基于穩態視覺誘發電位的文字輸入裝置的結構示意圖。如圖3所示，本發明實施例的裝置包括筆劃顯示單元31、第一腦電信號接收單元32、目標筆劃輸入單元33、候選文字顯示單元34、候選字區劃分單元35、第二腦電信號接收單元36、第一子區域確定單元37和候選文字輸入單元38，具體地：

筆劃顯示單元31，用于運行筆劃輸入法應用程序，各個筆劃在顯示器的顯示區域進行顯示，所述各個筆劃所在的各個顯示區域以不同的頻率進行閃爍；

第一腦電信號接收單元32，用于接收腦電采集處理設備發送的第一腦電信號，所述第一腦電信號為所述腦電采集處理設備對用戶注視所述顯示區域的腦電信號進行采集后獲得的；

目標筆劃輸入單元33，用于對所述第一腦電信號進行處理分析，根據處理分析結果確定用戶注視的目標筆劃，執行輸入所述目標筆劃的指令，根據輸入的目標筆劃確定候選文字；

候選文字顯示單元34，用于重復步驟s2-s3，當所述候選文字的數量小于預設閾值或者根據所述第一腦電信號確定用戶的注視區包括第一按鍵后，在候選字區顯示所述候選文字；

其中，步驟s2-s3包括：

s2：接收腦電采集處理設備發送的第一腦電信號，所述第一腦電信號為所述腦電采集處理設備對用戶注視所述顯示區域的腦電信號進行采集后獲得的；

s3：對所述第一腦電信號進行處理分析，根據處理分析結果確定用戶注視的目標筆劃，執行輸入所述目標筆劃的指令，根據輸入的目標筆劃確定候選文字；

候選字區劃分單元35，用于將所述候選字區劃分為預設數量的子區域，各個子區域以不同的頻率進行閃爍；

第二腦電信號接收單元36，用于接收腦電采集處理設備發送的第二腦電信號，所述第二腦電信號為所述腦電采集處理設備對用戶注視所述候選字區的腦電信號進行采集后獲得的；

第一子區域確定單元37，用于對所述第二腦電信號進行處理分析，根據處理分析結果從所述各個子區域中確定第一子區域為用戶的注視區；

候選文字輸入單元38，用于重復步驟s5-s7，將所述第一子區域進行分割，直到所述第一子區域對應的候選文字的數量為1，執行輸入第一子區域對應的候選文字的指令；。

其中，步驟s5-s7包括：

s5：將所述候選字區劃分為預設數量的子區域，各個子區域以不同的頻率進行閃爍；

s6：接收腦電采集處理設備發送的第二腦電信號，所述第二腦電信號為所述腦電采集處理設備對用戶注視所述候選字區的腦電信號進行采集后獲得的；

s7：對所述第二腦電信號進行處理分析，根據處理分析結果從所述各個子區域中確定第一子區域為用戶的注視區。

本發明實施例提供的基于穩態視覺誘發電位的文字輸入裝置，通過將各個筆劃以不同的頻率閃爍，用戶注視各個顯示區域產生腦電信號，不斷分割細化閃爍區域，最終確定目標筆劃，只需要用戶目光聚焦即可選擇目標筆劃，進而通過目光聚焦候選文字完成文字的輸入。利用腦電信號進行文字的輸入，與傳統的硬件鍵盤或虛擬鍵盤輸入相比，操作方便，解放了用戶的雙手。

在本發明實施例的一種可選的實施方式中，所述顯示器的顯示區域還包括第二按鍵，所述第二按鍵和所述各個筆劃所在的各個顯示區域以不同的頻率進行閃爍；

還包括刪除單元，用于當根據所述第一腦電信號確定用戶的注視區包括所述第二按鍵時，執行刪除輸入區的最后一個筆劃的指令。

進一步地，所述候選字區各個子區域的大小不同，將所述候選文字中的常用字設置在最小的子區域進行顯示，將所述候選文字中的生僻字設置在最大的子區域進行顯示。

進一步地，對腦電信號的處理分析采用腦電信號分析工具openvibe。

優選地，所述預設數量為4。

本發明實施例的基于穩態視覺誘發電位的文字輸入裝置可以用于執行上述方法實施例，其原理和技術效果類似，此處不再贅述。

本發明實施例提供的基于穩態視覺誘發電位的文字輸入方法及裝置，通過將各個筆劃以不同的頻率閃爍，用戶注視各個顯示區域產生腦電信號，不斷分割細化閃爍區域，最終確定目標筆劃，只需要用戶目光聚焦即可選擇目標筆劃，進而通過目光聚焦候選文字完成文字的輸入。利用腦電信號進行文字的輸入，與傳統的硬件鍵盤或虛擬鍵盤輸入相比，操作方便，解放了用戶的雙手。

本領域內的技術人員應明白，本發明的實施例可提供為方法、系統、或計算機程序產品。因此，本發明可采用完全硬件實施例、完全軟件實施例、或結合軟件和硬件方面的實施例的形式。而且，本發明可采用在一個或多個其中包含有計算機可用程序代碼的計算機可用存儲介質(包括但不限于磁盤存儲器、cd-rom、光學存儲器等)上實施的計算機程序產品的形式。

本發明是參照根據本發明實施例的方法、設備(系統)、和計算機程序產品的流程圖和/或方框圖來描述的。應理解可由計算機程序指令實現流程圖和/或方框圖中的每一流程和/或方框、以及流程圖和/或方框圖中的流程和/或方框的結合。可提供這些計算機程序指令到通用計算機、專用計算機、嵌入式處理機或其他可編程數據處理設備的處理器以產生一個機器，使得通過計算機或其他可編程數據處理設備的處理器執行的指令產生用于實現在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的裝置。

需要說明的是術語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過程、方法、物品或者設備不僅包括那些要素，而且還包括沒有明確列出的其他要素，或者是還包括為這種過程、方法、物品或者設備所固有的要素。在沒有更多限制的情況下，由語句“包括一個……”限定的要素，并不排除在包括所述要素的過程、方法、物品或者設備中還存在另外的相同要素。

本發明的說明書中，說明了大量具體細節。然而能夠理解的是，本發明的實施例可以在沒有這些具體細節的情況下實踐。在一些實例中，并未詳細示出公知的方法、結構和技術，以便不模糊對本說明書的理解。類似地，應當理解，為了精簡本發明公開并幫助理解各個發明方面中的一個或多個，在上面對本發明的示例性實施例的描述中，本發明的各個特征有時被一起分組到單個實施例、圖、或者對其的描述中。然而，并不應將該公開的方法解釋呈反映如下意圖：即所要求保護的本發明要求比在每個權利要求中所明確記載的特征更多的特征。更確切地說，如權利要求書所反映的那樣，發明方面在于少于前面公開的單個實施例的所有特征。因此，遵循具體實施方式的權利要求書由此明確地并入該具體實施方式，其中每個權利要求本身都作為本發明的單獨實施例。

以上實施例僅用于說明本發明的技術方案，而非對其限制；盡管參照前述實施例對本發明進行了詳細的說明，本領域的普通技術人員應當理解：其依然可以對前述各實施例所記載的技術方案進行修改，或者對其中部分技術特征進行等同替換；而這些修改或替換，并不使相應技術方案的本質脫離本發明各實施例技術方案的精神和范圍。