一種免定標的視線追蹤裝置及方法與流程

本發明屬于眼動控制領域，尤其涉及一種免定標的視線追蹤裝置及方法。

背景技術：

視線追蹤技術的應用范圍非常廣泛，例如計算機領域、心理學與生理檢測領域、市場營銷與廣告等多個領域。視線追蹤技術還可以用來收集用戶對展示在貨架上的物品的興趣程度。

現有技術中的視線追蹤技術主要采用如下的技術方案：使用眼動儀(一般包含一個或兩個攝像機和若干個紅外光源)中的攝像機拍攝用戶眼睛圖像，根據眼睛圖像中紅外光源的角膜反光點和瞳孔中心的相對位置關系確定用戶眼睛所看的位置。

現有技術存在的主要問題在于，使用一個眼動儀對裝置使用者進行視線追蹤，每次使用前需要定標或校準(一般采取眼睛依次注視若干特定位置的標定點的方法)，否則眼動儀無法準確判定用戶眼睛注視位置，使用不方便且浪費時間。

技術實現要素：

為解決上述技術問題，發明人提出了以下技術方案：

一種免定標的視線追蹤裝置，包含若干視線追蹤模塊，每個視線追蹤模塊在目標區域內具有不同的空間坐標；每個視線追蹤模塊包含至少一個光源，用于在使用者的眼角膜上形成角膜反光點(第一普爾欽斑)；每個視線追蹤模塊包含至少一個圖像獲取單元，用于捕獲使用者的角膜反光點圖像及瞳孔圖像；免定標的視線追蹤裝置還包含數據處理模塊，用于進行數字圖像處理，獲取瞳孔中心與角膜反光點，根據角膜反光點及瞳孔中心確定使用者眼睛注視的位置或位置區域，并存儲使用者注視該位置或位置區域的數據。采用此視線追蹤裝置，無需定標或校準，就能夠方便的追蹤裝置使用者的視線，確定使用者的注視位置和注視區域。

優選的，視線追蹤模塊中還包含一帶通濾光片，帶通濾光片的波長與其所在的視線追蹤模塊中的光源發出的光的波長匹配，角膜反光點的反射光路經過帶通濾光片入射至圖像獲取單元，從而使所述的圖像獲取單元捕獲到所述的角膜反光點圖像。加入帶通濾光片后，視線追蹤模塊中的圖像獲取單元只能接收特定波長的光線，過濾非特定波長的光線可以有效降低雜光對圖像獲取單元的干擾，提高視線追蹤模塊的識別效率。

優選的，視線追蹤模塊中還包含一帶通濾光片，帶通濾光片的波長與其所在的視線追蹤模塊中的光源發出的光的波長匹配，角膜反光點的反射光路經過帶通濾光片入射至圖像獲取單元，從而使所述的圖像獲取單元捕獲到所述的角膜反光點圖像。由于相鄰兩個視線追蹤模塊中的光源發出的光的波長不同，所以視線追蹤模塊的帶通濾光片的波長和相鄰視線追蹤模塊的光源波長不能相互匹配。此時，視線追蹤模塊中的圖像獲取單元不能獲取相鄰視線追蹤模塊中光源所發出的光線，消除了相鄰視線追蹤模塊光源對圖像獲取單元的干擾。

優選的，視線追蹤模塊中還包含一帶通濾光片，帶通濾光片的波長與其所在的視線追蹤模塊中的光源發出的光的波長匹配，角膜反光點的反射光路經過帶通濾光片入射至圖像獲取單元，從而使所述的圖像獲取單元捕獲到所述的角膜反光點圖像。由于所有視線追蹤模塊中的光源發出的光的波長各不相同，所以每個視線追蹤模塊的帶通濾光片只能通過其所在的視線追蹤模塊中的光源發出的光，消除了除其所在的視線追蹤模塊自身光源外其他視線追蹤模塊光源對圖像獲取單元的干擾，提高了視線追蹤裝置的效率。

優選的，若干視線追蹤模塊按照設定的時間周期依次開啟或關閉。在設定時間周期內，所有視線追蹤模塊順序開啟或關閉，可以實現在此時間周期內，每個圖像獲取單元只獲得一個角膜反光點圖像，大大提高視線追蹤裝置的效率。

優選的，視線追蹤裝置還包括控制單元和若干受控設備。控制單元接收視線追蹤裝置中數據處理單元傳送的數據，并根據數據發出指令控制受控設備。裝置使用者可以在無需定標的情況下控制受控設備，使用者應用視線追蹤裝置控制受控設備時會覺得更加方便，獲得更佳體驗。

優選的，視線追蹤模塊中的光源為紅外光源，可以避免可見光對圖像獲取單元的干擾。

本發明還公開了一種應用視線追蹤裝置的方法，包含以下步驟：

(1)將視線追蹤模塊放置在目標區域內的不同空間坐標；

(2)視線追蹤裝置的使用者注視目標區域內的任一空間坐標；

(3)光源在使用者的眼角膜上形成角膜反光點；

(4)圖像獲取單元捕獲使用者的角膜反光點圖像及瞳孔圖像；

(5)通過運行在圖像處理單元的算法，計算出每個角膜反光點與瞳孔中心間的瞳孔角膜矢量；

(6)比較所有瞳孔角膜矢量長度，矢量長度最短的圖像所對應的視線追蹤模塊所在的空間坐標即為使用者注視的空間坐標。

本發明披露的視線追蹤裝置及方法，無需定標或校準，就能夠方便的追蹤裝置使用者的視線，確定使用者的注視位置和注視區域。

附圖說明

圖1為本發明一種免定標的視線追蹤裝置的結構框圖；

圖2為本發明技術原理示意圖；

圖3為本發明實施例一的示意圖；

圖4為本發明實施例二的示意圖；

圖5為實施例二中獲取的角膜反光點的示意圖；

圖6為本發明實施例三的示意圖。

具體實施方式

為詳細說明本發明的技術方案，現結合附圖說明本發明優選的實施例。

如圖1所示，本發明公開了一種免定標的視線追蹤裝置10，該視線追蹤裝置10中設置若干視線追蹤模塊100；所述的視線追蹤模塊100包含：至少一個光源101，用于在使用者的眼角膜上形成角膜反光點；至少一個圖像獲取單元102(攝像頭)，用于捕獲使用者的角膜反光點圖像及瞳孔圖像；視線追蹤裝置10還包含數據處理模塊200，用于根據角膜反光點圖像及瞳孔圖像確定使用者眼睛注視的位置或位置區域。

本發明采用的技術原理為，當使用者眼睛注視某點時，從位于該點的攝像頭及光源所拍攝到的用戶眼睛圖像中的瞳孔中心和角膜反光點中心基本重合。本發明基于這樣的假設：當某一圖像獲取單元采集到使用者眼睛40的角膜反光點圖像及瞳孔圖像，其角膜反光點50位于瞳孔401的中心位置或中心位置附近時，則認為使用者正在觀察該視線追蹤模塊所在的位置(如圖2所示)。

實施例一：根據上述技術原理，在本發明中的視線追蹤裝置10可以用于商家評估顧客感興趣的商品以及感興趣的展示位置或者位置區域。在實施例一中，將視線追蹤裝置10用于商品在商店櫥窗內進行廣告宣傳或展示時，采集使用者對陳列物品的興趣程度。如圖3所示，在櫥窗中展示了9件商品(圖中用a、b、c、d、e、f、g、h、i來分別代替各商品，商品的種類為可以在櫥窗中展示的物品，例如玩具、電器等)，每一件商品對應一個視線追蹤模塊100，視線追蹤模塊安裝在商品的正下方，且兩者間的距離較小，在本實施例中，兩者之間的距離可以忽略不計。為了獲得使用者眼睛的視線位置或位置區域，使用者眼睛注視某位置時，圖像獲取單元捕獲使用者的角膜反光點圖像及瞳孔圖像，通過運行在圖像處理單元的算法，計算出每個角膜反光點與瞳孔中心間的瞳孔角膜矢量，比較所有瞳孔角膜矢量長度，矢量長度最短的圖像所對應的視線追蹤模塊所在的空間坐標即為使用者注視的空間坐標，由此即可以判斷出使用者在注視9件商品中的哪一件商品。

這樣，對一定樣本數量的使用者分別進行采集，把使用者感興趣的位置或位置區域形成熱點圖或眼動數據統計報表，可以判斷出使用者對商品的感興趣的程度，統計結果可以供商家對櫥窗展示位置進行評估研究。

在本實施例中，為了提高效率，將瞳孔的二維圖像假設為一個以瞳孔中心為圓心的圓，如圖2所示，可以僅對某一閾值范圍60(閾值范圍為半徑小于瞳孔半徑的圓)內的角膜反光點進行分析，處于該閾值范圍60以外的角膜反光點圖像不參與計算，減少對比的數量。

實施例二：在本實施例中，若干視線追蹤模塊按照設定的時間周期依次開啟或關閉。在設定時間周期內，所有視線追蹤模塊順序開啟或關閉，可以實現在此時間周期內，每個圖像獲取單元只獲得一個角膜反光點圖像，大大提高視線追蹤裝置的效率。如圖4所示，在墻面上并排設置三個開關面板(1、2、3)，其中，開關面板1代表電燈開關，開關面板2代表中央空調開關，開關面板3代表地暖系統開關，將3個視線追蹤模塊100集成到面板的中央位置，而將開關裝置嵌入到墻體中。將3個視線追蹤模塊的依次開啟周期設置為0.1秒，當人眼注視到墻面的開關安裝區域時，0.1秒內3個視線追蹤模塊依次開啟，圖像獲取單元獲取角膜反光點圖像，如圖5a～5c所示，分別為開關面板1、開關面板2、開關面板3所對應的圖像獲取單元102拍攝的角膜反光點的圖像和瞳孔圖像，對應的角膜反光點矢量分別為11、21、31，通過比較三個角膜反光點矢量的長度判斷使用者正在注視開關面板2，即使用者想要控制開關面板2所對應的開關裝置。

實施例三：在本實施例中，視線追蹤裝置包含控制單元和若干受控設備(201-205)，控制單元接收視線追蹤裝置中數據處理單元傳送的數據，并根據數據發出指令控制受控設備。將視線追蹤裝置10用于控制家庭中設置在墻壁上的各式各樣的開關裝置，如圖6所示，包含依次排列的電燈開關201、中央空調開關202、地暖系統開關203、新風系統開關204及智能家居中央控制器開關205，并且每一個開關裝置對應設置一個視線追蹤模塊100，每一個視線追蹤模塊包含一個光源101和一個圖像獲取單元102。

在本實施例中，為了便于實施，視線追蹤模塊100是設置在開關裝置的下方，可以用于對已有開關裝置進行改造，以實現眼控功能，如圖6所示。同樣地，將視線追蹤模塊100也可設置在開關裝置的上方、左側及右側，對于本領域的技術人員而言是顯而易見的。

在本實施例中，開關裝置與視線追蹤裝置10中的數據處理模塊200通信，接收數據處理模塊200發送的控制指令，并且接收開關裝置所處的狀態信息；例如，控制電燈開關，當電燈開關處于常開狀態時，數據處理模塊根據角膜反光點圖像及瞳孔圖像確定使用者眼睛正在注視電燈開關，此時數據處理模塊200向電燈開關發送關閉的指令；若電燈開關處于常閉狀態時，數據處理模塊根據角膜反光點圖像及瞳孔圖像確定使用者眼睛正在注視電燈開關，此時數據處理模塊200向電燈開關發送開啟的指令。

同樣地，在本發明中的視線追蹤裝置10還可以用于駕駛員與車輛上的功能按鈕進行交互，確定駕駛員注視的功能按鈕，相應的功能按鈕進行響應。例如，對汽車上的音響系統、空調系統等進行控制，每一個系統對應的開關裝置位置處設置一個視線追蹤模塊，當采集到用戶的視線落在該開關位置時，對應的功能開啟或關閉。

在本發明的另一個實施例中，視線追蹤模塊中還包含一帶通濾光片，帶通濾光片的波長與其所在的視線追蹤模塊中的光源發出的光的波長匹配，角膜反光點的反射光路經過帶通濾光片入射至圖像獲取單元，從而使所述的圖像獲取單元捕獲到所述的角膜反光點圖像。由于相鄰兩個視線追蹤模塊中的光源發出的光的波長不同，所以視線追蹤模塊的帶通濾光片的波長和相鄰視線追蹤模塊的光源波長不能相互匹配。此時，視線追蹤模塊中的圖像獲取單元不能獲取相鄰視線追蹤模塊中光源所發出的光線，消除了相鄰視線追蹤模塊光源對圖像獲取單元的干擾。

在本發明的另一個實施例中，視線追蹤模塊中還包含一帶通濾光片，帶通濾光片的波長與其所在的視線追蹤模塊中的光源發出的光的波長匹配，角膜反光點的反射光路經過帶通濾光片入射至圖像獲取單元，從而使所述的圖像獲取單元捕獲到所述的角膜反光點圖像。由于所有視線追蹤模塊中的光源發出的光的波長各不相同，所以每個視線追蹤模塊的帶通濾光片只能通過其所在的視線追蹤模塊中的光源發出的光，消除了除其所在的視線追蹤模塊自身光源外其他視線追蹤模塊光源對圖像獲取單元的干擾，提高了視線追蹤裝置的效率。

在本發明中還公開了一種應用視線追蹤裝置的方法，包含以下步驟：

(1)將視線追蹤模塊放置在目標區域內的不同空間坐標；

(2)視線追蹤裝置的使用者注視目標區域內的任一空間坐標；

(3)光源在使用者的眼角膜上形成角膜反光點；

(4)圖像獲取單元捕獲使用者的角膜反光點圖像及瞳孔圖像；

(5)通過運行在圖像處理單元的算法，計算出每個角膜反光點與瞳孔中心間的瞳孔角膜矢量；

(6)比較所有瞳孔角膜矢量長度，矢量長度最短的圖像所對應的視線追蹤模塊所在的空間坐標即為使用者注視的空間坐標。

盡管本發明的內容已經通過上述優選實施例作了詳細介紹，但應當認識到上述的描述不應被認為是對本發明的限制。在本領域技術人員閱讀了上述內容后，對于本發明的多種修改和替代都將是顯而易見的。因此，本發明的保護范圍應由所附的權利要求來限定。