用于外科手術的視頻捕獲和顯示的數字系統的制作方法
【專利說明】用于外科手術的視頻捕獲和顯示的數字系統
[0001]背景
[0002]1.
技術領域
[0003]本發明涉及醫學成像領域，并且更具體地涉及數字化的外科手術捕獲和顯示。
[0004]2.對相關技術的討論
[0005]當前可利用的用于顯微鏡外科手術操作的技術使用傳統光學顯微鏡。基礎的傳統外科手術顯微鏡由高質量光學部件、變焦物鏡、供用戶觀看的目鏡和XY電機構成。用戶(或外科醫生)通過直接光學通道看到相關對象。存在有折疊顯微鏡中的光線的技術，用于為用戶設計更舒適且符合人體工學的結構。然而，因為顯微鏡基于直接光線通道，所以顯微鏡在其定位和移動目鏡的能力和靈活性方面受到限制。另外，由于顯微鏡的傳統直接觀看方法，所以在沒有數字裝置和傳感器的情況下，用戶不能從數字領域優勢中受益。
[0006]在對顯微鏡的延長使用(特別地，外科手術操作)期間，用戶必須在長時間段內將其頭部定位到固定于顯微鏡。用戶長時間將其頭部保持在顯微鏡中會引起頸部疼痛。
[0007]當前可利用的內窺鏡操作(腹腔鏡檢查、結腸鏡檢查等)技術包括將視頻投影到固定在手術室(OR)中的(一個或多個)大型監視器上。內窺鏡耦接至數字攝像機。攝像機視頻被投影到大型顯示器上。全體工作人員特別是主治外科醫生必須在他們的頭部固定于監視器方向時觀看手術。工作人員缺乏移動他們的頭部、觀看彼此和他們的儀器的能力，這使得外科手術更加復雜、有風險并且增加了手術時間(在一些情況下，還可能導致工作人員的數量的增加)。對于外科醫生協助人員而言，因為他們不能看到外科醫生的直接動作并且不能共享其視角，所以很難進行輔助。
【發明內容】
[0008]本發明的一種實施方式提供了以下一種系統:該系統將來自外科手術可視化儀器(例如顯微鏡、腹腔鏡)的數據、來自現有醫療成像儀器(例如MRI和CT掃描)的數據、患者病史以及在手術室(OR)中可得到的當前生命體征進行整合。新系統還使用戶與任意固定儀器分離，從而使得環境更加符合人體工學。該系統可以顯示來自OR中的儀器的參考數據以及3D路線圖。所述數據可以來自捕獲實時3D數據的成像儀器。另一方法是接收從不同角度進行捕獲的數據，并且該系統將生成3D數據以用于顯示。
[0009]本發明的另一實施方式提供了一種替換傳統光學外科手術顯微鏡的、同時保持顯微鏡的光學分辨率和視場(FOV)的數字系統。兩個數字攝像機用于從略微不同的角度捕獲操作區域的、隨后要向每個眼睛顯示的圖像，從而提供3D成像。用于從不同角度捕獲圖像的另一方法可以利用一個具有專用光學組件的攝像機。攝像機捕獲與由外科手術顯微鏡捕獲的最大FOV對應的大F0V。圖像被顯示到雙顯示頭戴式設備上。用戶注視方向(用戶視野的視線)通過頭部跟蹤器和眼球跟蹤器進行測量。所捕獲的圖像和注視方向被傳送至系統的計算機。根據注視方向，計算機從攝像機圖像獲得相關的關注區域(ROI)，并且將它們饋送到特別設計的顯示系統中。應當理解的是，ROI可以具有任意形狀，并且可以出于應用的目的對ROI進行裁剪。
[0010]在另一實施方式中，可以使用來自鍵盤、鼠標、觸摸屏和接口的輸入來選擇ROI。除了 3D成像之外，雙顯示系統在用戶的當前關注區域處提供高分辨率(其與人眼的分辨率相當)的視頻。顯示器可以被設計成在其整個視場呈現高分辨率，或者可以被設計成在外圍FOV保持低分辨率以用于情景認知。根據一種實施方式，可以通過跟蹤外科醫生所持有的工具(例如外科手術刀)的尖端來得到R0I。用這種方式，隨著手術進行ROI被實時更新。
[0011]本發明的又一實施方式提供了針對不需要光學顯微鏡的應用的數字系統。所述應用可以(但不僅僅)涉及以下領域中的成像:骨外科、婦外科、耳鼻喉科、神經外科、腫瘤外科、兒科、口腔頒面、整形外科、導管插入術、腹腔鏡檢查以及結腸鏡檢查。視頻源由計算機與頭部跟蹤器一起捕獲。在該系統中，計算機獲得相關的ROI (如果存在的話)，并且將圖像傳送至顯示器。根據應用和視頻源的特性允許2D或3D的顯示器可以是單目式或雙目式。透視型顯示器允許了用戶的周邊視覺。在本申請中這里所稱的ROI不僅可以包括在圖像內ROI的位置，而且還可以包括與視角、要觀看的對象的類型有關的元數據，以及可以在ROI內呈現的進一步的數據例如消息和警報。
[0012]與本發明的一些實施方式一致，前述系統可以設置有諸如以下要素:可以支持多個用戶具有其自身的一套注視方向跟蹤器和顯示器的處理器和視頻源。出于會診和教示的目的，還可以將視頻轉發至不同位置；可以記錄視頻，用于將來的分析和展示；主要視頻源的圖像可以是空間穩定的，從而允許了以方便于用戶的方向定位其它虛擬儀器，給出了病史、當前生命體征、過去的測試結果和CT掃描等。頭部跟蹤器可以用于控制手術室中的可操縱儀器。
【附圖說明】
[0013]為了更好地理解本發明的實施方式并且示出可以如何實施所述實施方式，現在將僅僅通過示例的方式來參考附圖，其中，貫穿附圖相同的附圖標記指示對應的要素或部分。
[0014]在附圖中:
[0015]圖1A為圖示根據本發明的一些實施方式的一個方面的示意性框圖；
[0016]圖1B為圖示根據本發明的一些實施方式的另一方面的立體圖；
[0017]圖1C為圖示根據本發明的一些實施方式的另一方面的示意性框圖；
[0018]圖1D為圖示根據本發明的一些實施方式的另一方面的立體圖；
[0019]圖2A為圖示根據本發明的一些實施方式的又一方面的示意性框圖；
[0020]圖2B為圖示根據本發明的一些實施方式的又一方面的立體圖；
[0021]圖2C為根據本發明的一些實施方式的又一方面的光學圖；
[0022]圖2D示出了圖示根據本發明的一些實施方式的又一方面的曲線圖；
[0023]圖2E示出了圖示根據本發明的一些實施方式的又一方面的立體圖；
[0024]圖2F示出了圖示根據本發明的一些實施方式的又一方面的圖像；以及
[0025]圖2G示出了圖示根據本發明的一些實施方式的又一方面的圖像。
【具體實施方式】
[0026]現在詳細且具體地參考附圖，要強調的是:所示細節僅通過示例的方式，并且僅出于對本發明的優選實施方式進行說明性討論的目的，以及是為了提供被認為是最有用的、并且較容易理解對本發明的原理和構思方面的描述而呈現。在這一點上，為了基本理解本發明，在不必要的情況下不嘗試更詳細地示出本發明的結構細節，結合附圖進行的描述使得對于本領域的技術人員而言可以變得明顯的是:如何在實踐中實施本發明的若干形式。
[0027]在詳細地說明本發明的至少一種實施方式之前，要理解的是，本發明在其應用方面不限于下面描述中所闡述的或附圖中所示的部件的構造和布置的細節。本發明適用于其它實施方式或者以各種方式來實踐或執行。此外，要理解的是，本文所采用的措辭和術語是出于描述的目的而不應被認為是進行限制。
[0028]本發明在其實施方式方面包括如下若干主要構造塊:具有大FOV的一個或多個高分辨率攝像機；能夠向用戶投影所期望的分辨率和FOV的頭戴式顯示器；頭部跟蹤器和眼球跟蹤器。本發明的實施方式提供與人眼的角分辨率相當或者比人眼的角分辨率好的角分辨率，并且能夠具有與外科手術顯微鏡類似的對象放大率(放大率高達約30至40倍)。
[0029]另外，還可以使用如下一些其它要素:照射場景和對象的光源；處理器；以及接口設備。所述系統與用戶、手術室器械和必要的基礎設施(例如通信設施)對接。
[0030]根據本發明的一些實施方式，本文提供了用于數字顯微鏡的兩個系統。本文還描述了主要用于內窺鏡系統的第三系統。所述系統的許多要素對于所述兩種系統是共用的，并且下面對其進行描述，隨后詳細描述所述系統之間的差異。
[0031]所提出的系統可以使用以下共用要素中的部分或全部。一個這樣的要素為視頻攝像機。所提出的系統使用攝像機來捕獲操作區域的實時圖像。圖像被顯示至頭戴式顯示器(HMD)或監視器。所述一個或多個攝像機可以替代顯微鏡一一所述攝像機具有能夠對在數十厘米的距離處的對象進行聚焦的透鏡。