專利名稱：通過機械微創外科手術過程中聯合傳感器和/或照相機導出數據實現3-d刀具跟蹤的方法 ...的制作方法
技術領域：
本發明主要涉及微創外科手術，且具體地說涉及利用機械微創外科手術過程中傳感器和/或照相機導出數據(例如刀具位置、速度)的聯合實現3-D刀具跟蹤的方法與系統。
背景技術：
微創外科手術技術旨在減少在診斷或手術過程中破壞的外源組織的數量，從而縮短患者康復時間，減輕不適感，降低毒副作用。因此，使用微創外科手術技術，可以使標準外科手術的醫院駐留平均時長顯著縮短。同樣地，微創外科手術也可以降低患者康復時間和離開工作的時間，減輕患者不適，降低手術副作用。微創外科手術的常見形式是內窺鏡檢查，內窺鏡的常見形式是腹腔鏡檢查，其為對腹腔內部的微創檢查和外科手術。在標準腹腔鏡檢查手術中，向患者的腹部注入氣體，通過小(大約1/2英寸或更小)切口傳遞套袖來提供腹腔鏡手術器械的入口。腹腔鏡檢查手術器械主要包含腹腔鏡或內窺鏡(用于觀測手術區域)以及工作刀具。所述工作刀具與用于傳統(開腹)手術的刀具相似，區別是，每個刀具的工作端或末端執行器與其把手用延長管分離開。在這里使用的術語“末端執行器”是指手術器械的實際工作部分且可以包含例如夾子 、抓緊器、剪刀、訂書機、圖像采集透鏡以及測針夾持器。要完成手術，外科醫生將這些工作刀具或器械通過套袖傳遞到內部手術部位并從腹部外操縱它們。外科醫生利用監視器來觀測過手術，所述監視器顯示腹腔鏡所拍攝的手術部位的圖像。相似的內窺鏡檢查技術應用于例如關節鏡檢查、后腹膜腔鏡檢查、骨盆鏡檢查、腎鏡檢查、膀胱鏡檢查、腦鏡檢查(cisternoscopy)、鼻內窺鏡檢查(sinoscopy)、子宮鏡檢查、尿道鏡檢查等類似檢查技術。微創遠程外科機械系統正被開發以提高外科醫生在內部手術部位工作的靈活性，也允許外科醫生在較遠的地方對患者進行手術。在遠程外科系統中，經常在計算機工作站將手術部位的圖像提供給外科醫生。當在觀察器或顯示器觀測手術部位的三維圖像時，夕卜科醫生通過控制主輸入或工作站控制設備來完成對患者的手術。每個主輸入設備都控制自動控制裝置運行的手術器械的運動。在手術過程中，遠程外科系統可以提供含有末端執行器的各種手術器械或刀具的機械驅動和控制，所述末端執行器為手術執行各種功能，例如把持或推動針、抓緊血管或解剖組織或者類似功能以響應主輸入設備的控制。然而，在手術過程中，外科醫生可以操縱刀具以使得其末端執行器移到內窺鏡的視野之外，或者所述末端執行器可能因為流體或其他干涉物的阻塞而變得不易看到。在這些情況下，能夠在定位和/或識別工作站的顯示屏上的末端執行器方面給外科醫生提供幫助，將是有用的。各種用于識別照相機圖像中刀具的技術已被開發。例如，一種這樣的技術在Guo-Qing We1、Klaus Arbter 和 Gerd Hizinger 的 “Real-Time Visual Servoing forLaparoscopic Surgery,，，IEEE Engineering in Medicine and Biology, Vol.16, N0.1,PP.40-45,1997中描述，其中顏色標記用來識別照相機中的刀具，以便照相機可以被自動操作，從而保持刀具位于器視覺圖像的中間。再例如，另一種這樣的機構在Xiaoli Zhang和 Shahram Payandeh 的“Application of Visual Tracking for Robot-AssistedLaparoscopic Surgery,，，Journal of Robotics Systems,Vol.19,N0.7,pp.315-328,2002中描述，其中有條紋的標記用于識別照相機中的刀具及其深度，以使得照相機可以被自動操作以直觀地跟蹤刀具。然而，當末端執行器在內窺鏡的視野之外時或當其被流體或某物體阻塞時，這些技術一般就沒用了。在這兩種中的任何一種情況下，這種標志都不能被發現，刀具不可能被識別。第二，簡單的顏色標記和其他置于刀具上的方向獨立標記都不便確定刀具方向和位姿。第三，識別和跟蹤刀具標記的計算復雜性可使得實時跟蹤困難。具體地，處理每個視頻采集畫面所增加的時間將會降低視頻采集發生的頻率，可能導致從一個圖像突然轉移到另一個圖像。第四，未校正的照相機校準和/或其他系統測量誤差在根據照相機的視覺圖像確定刀具位置和方向時可能引起誤差。
發明內容
要使多種刀具中的每一種對于外科醫生在工作站顯示屏上和對于患者旁邊的工作人員容易區分，則可使用許多計算機輔助技術，例如:預測刀具的位置和方向，并將刀具的計算機輔助設計(“CAD”)模型，或其他虛擬標記或指示器，覆蓋在 顯示屏中刀具的預測位置和方向；預測刀具的位置和方向，并惟一標識每個刀具在其預測位置和方向以使其在顯示屏上可與其他刀具區別開來；以及預測刀具的位置和方向，并且當以某種方式突出顯示刀具的末端執行器以便末端執行器在顯示屏上看上去浮動并突出時，擦除或刷除掉刀具的軸。例如，惟一標識每個刀具在其預測位置和方向使其在顯示屏上可于其他刀具區別開來的一個優勢，是其:a)使外科醫生(只看見身體內的刀具)更易于與患者一側的工作人員(只看見身體外的刀具)就具體刀具進行交流，b)確保外科醫生意識到可能在視野之外的刀具。當有多于兩個刀具時，這是特別重要的，因為外科醫生只可能看到兩個，假定那兩個是他用兩只手控制的兩個，而實際上他在視野之外控制(即移動)著另一個刀具，潛在地破壞著組織。同樣地，例如，預測刀具的位置和方向并在以某種方式突出顯示刀具的末端執行器以便末端執行器在顯示屏上看上去浮動并突出顯示時擦除或刷除掉刀具的軸，這樣的一個優勢是它使更多的潛在組織能被外科醫生觀測到。然而，注意，這種潛在組織的視圖是定義合成的，因為組織的當前狀態被刀具弄得模糊。因此擦除刀具的軸需要存儲手術部位的先前圖像，以便模糊的區域或許以一種昏暗或變灰的方式(又叫戰爭霧)可被該區域的最后可知的不模糊視圖替代，以指示數據不是當前的。刀具跟蹤是指刀具狀態隨時間的確定。刀具狀態一般包括其在參考系中的位置和方向以及其他相關參數例如其平動和轉動速度。在優選實施例中，刀具跟蹤在照相機參考系中完成。刀具跟蹤使得在刀具在內窺鏡視圖中不可見或阻塞時的時間點上有助于刀具位置和方向的預測，這是利用刀具可見或可識別時的先前時間的位置和方向、和/或使用在那個時間點及之前的時間從內窺鏡源導出的位置和方向估計實現的。對刀具位置和方向的確定，除對刀具在工作站的顯示屏上定位之外，還有很多方面的用處。例如，刀具位置和方向信息可用來生成圖形覆蓋，其包含外科醫生所關心的信息。這些覆蓋可包含:動態或靜態視頻圖象(telestration)、刀具間的距離、刀具與患者解剖之間的距離、在照相機參考系中解剖構造的測量、或在另一參考系中解剖結構的測量。此夕卜，刀具的位置和方向可用來根據在固定或世界參考系中提供的術前或計劃數據，對齊當前的刀具和照相機位置，或大體提高操縱刀具的機械機構的安全性和可控性。但對于又一個示例，對刀具位置和方向的確定，也對在外科手術過程中從傳感器收集的數據的注冊有用，所述傳感器安裝在刀具本身，例如超聲傳感器。在這種情況下，如果支持傳感器的刀具的位置和方向公知在照相機參考系中(即內窺鏡的參考系)，那么從安裝在刀具上的超聲傳感器收集的任何數據的位置和方向可被顯示在工作站顯示屏，完全根據外科手術圖像來注冊，以在外科手術過程中協助外科醫生。在這些特定注冊示例中，有必要在固定(或世界)參考系中確定刀具的位置和方向。所以，如果內窺鏡的位置和方向公知在固定參考系中，那么內窺鏡觀測的刀具位置和方向可從照相機參考系轉換到固定參考系。或者，如果刀具的位置和方向在固定參考系中獨立確定，所述獨立確定不僅避免這 種參考系轉換過程，而且它也提供在參考系中確定內窺鏡位置和方向的另一種方法。因此，本發明所涉及方面的目的是，提供在微創外科手術過程中，即使在一部分甚至整個刀具在內窺鏡視圖之內或之外被阻塞時，實現刀具跟蹤的方法和系統。本發明所涉及方面的又一個目的是，提供實現刀具跟蹤的方法和系統，所述刀具跟蹤包括，使用方向相關的標記來進行視覺跟蹤，以便確定刀具的位姿。本發明所涉及方面的又一個目的是，提供實現準確、可靠和/或計算快捷的刀具跟蹤的方法和系統。本發明所涉及方面的又一個目的是，提供實現刀具跟蹤的方法和系統，所述刀具跟蹤在確定后的刀具位置和方向上實時運行并最小化突然的轉移，以提供刀具的光滑跟
足示O本發明所涉及方面的又一個目的是，提供實現刀具跟蹤的方法和系統，所述刀具跟蹤校正或補償校準誤差。這些以及附加的目的由本發明所涉及的各個方面實現，其中簡要地敘述，一個方面是刀具跟蹤方法，其包括:通過處理非內窺鏡導出刀具狀態信息和內窺鏡導出刀具狀態信息來跟蹤刀具，其中所述兩種刀具狀態信息在刀具通過在身體中的微創切口被插入并正被操縱時生成。
通過使用這種復合式方法，當刀具在來自被插入進患者身體以觀測手術部位的內窺鏡的視頻幀中完全被阻塞時，其狀態(例如其位置、方向以及平動和轉動速度)仍然可以根據非內窺鏡導出刀具位置信息來確定，所述非內窺鏡導出刀具位置信息例如由以下方式生成:使用來自正在操縱刀具的機械機構的關節位置的系統運動學；使用電磁、聲學或從刀具(或者操縱刀具的機械機構)發射或反射以確定其位置的其他種類的檢測信號；使用由外部照相機生成的圖像，所述外部照相機觀測從患者身體延伸出來的刀具的末端。同樣地，假如非內窺鏡導出刀具位置信息在抽樣速率持續可用，對非內窺鏡導出刀具位置信息以及內窺鏡導出刀具位置信息在確定位置和方向中的附加的使用，趨向于最小化或至少顯著減小圖像信息的參考系之間的確定后的位置和方向的任何突然的轉移。進一步，內窺鏡導出刀具位置信息以及非內窺鏡導出刀具位置信息的用途，提供用于確定刀具狀態的信息的冗余源，這可被利用以確定刀具的位置和方向隨時間的更多精確刀具跟
足示O又一個方面是刀具跟蹤方法，其包括:接收傳感器信息，其在刀具通過在身體中切口被插入時，指示刀具的位置和方向；接收刀具的圖像信息；以及使用傳感器和圖像信息來確定刀具的位置和方向。又一個方面是具有刀具跟蹤的微創機械外科手術系統，其包含:一個或更多非內窺鏡設備，其提供數據，在刀具通過身體中的切口被插入并正在被機械操縱時根據所述數據生成非內窺鏡導出刀具狀態信息；內窺鏡采集的圖像，在刀具插入到身體里時根據所述采集圖像為身體內的區域生成內窺鏡導出刀具狀態信息；以及處理器，所述處理器被配置成處理用于跟蹤所述刀具的狀態的非內窺鏡以及內窺鏡導出刀具狀態信息。
又一個方面是具有刀具跟蹤的微創機械外科手術系統，其包含:一個或更多傳感器，其提供傳感器數據，在刀具通過身體中的切口被插入并正在被機械操縱時根據所述傳感器數據生成刀具的非視覺導出刀具狀態信息；至少一個照相機，其在所述刀具插入進去時采集所述刀具圖像信息；以及處理器，所述處理器被配置成處理用于跟蹤所述刀具的狀態的所述非視覺導出刀具狀態息和圖像信息。又一個方面是刀具跟蹤方法，其包括:確定刀具的計算機模型；接收包含所述刀具的視圖的采集圖像；根據所述采集圖像確定所述刀具的估計位置和方向，按照關于所述采集圖像的估計位置和方向給所述計算機模型定位置和方向；以及參照在所述采集圖像中的刀具的圖像，修改所述計算機模型的估計位置和方向，直到所述計算機模型近似覆蓋所述圖像，從而為所述采集圖像校正所述刀具的估計位置和方向。又一個方面是刀具跟蹤方法，其包括:確定指示刀具狀態的傳感器數據是否在時間點可用；確定指示所述刀具狀態的圖像數據是否在所述時間點可用；以及
確定所述刀具狀態，其方式為如果所述傳感器數據和所述圖像數據都在所述時間點可用則使用此兩者，如果只有傳感器數據可用則只使用傳感器數據，如果只有圖像數據可用則只使用圖像數據。又一個方面是刀具跟蹤方法，其包括:使用指示在時間點的刀具狀態的第一傳感器數據，確定有關時間點的界標的第一估計刀具狀態；使用指示在所述時間點的所述照相機狀態的第二傳感器數據，確定與所述時間點的所述界標有關的估計照相機狀態；使用由所述照相機生成的且指示在所述時間點的所述刀具狀態的圖像數據，確定有關所述時間點的所述照相機的第二估計刀具狀態；轉換所述第一估計刀具狀態，以使其與所述照相機有關而不是與所述界標有關；以及計算所述第一與第二估計刀具狀態之間的誤差轉換，使得在后續時間點如果指示在后續時間點所述刀具狀態的圖像數據不可用，則所述刀具狀態通過應用所述誤差轉換到第三估計刀具狀態來確定，所述第三估計刀具狀態使用傳感器數據來確定，所述傳感器數據指示在所述后續時間點的所述轉換后刀具狀態，以使其與所述照相機有關而不是與所述界標有關。又一個方面是刀具跟蹤方法，其包括:確定在給定時間的刀具的非內窺鏡導出估計狀態信息；確定在所述給定時間的所述刀具的內窺鏡估計的狀態信息；以及提供所述非內窺鏡導出估計狀態信息和內窺鏡導出估計狀態信息到貝葉斯濾波器，所述貝葉斯濾波器被配置以生成所述刀具的狀態的最優估計。又一個方面是刀具跟蹤和校準方法，其包括:根據從觀測刀具的照相機接收的圖像數據，生成視覺導出狀態信息；通過將一組照相機參數的初始值與所述視覺導出狀態信息組合，來生成狀態向量/[目息;以及提供所述狀態向量信息到貝葉斯濾波器用于處理，以生成所述刀具的狀態的最優估計和該組照相機參數的校正值。又一個方面是照相機跟蹤方法，其包括:根據非視覺導出刀具狀態信息，確定在固定參考系中刀具的位置，所述非視覺導出刀具狀態信息根據指示所述刀具位置的傳感器數據生成；使用視覺導出刀具狀態信息，來確定在可隨照相機移動的照相機參考系中所述刀具的位置，所述視覺導出刀具狀態信息根據所述照相機在觀測所述刀具時所提供圖像數據生成；以及使用在所述固定參考系中所述刀具的位置和在可移動照相機參考系中所述刀具的位置，來確定在所述固定參考系中所述照相機的位置。又一個方面是刀具跟蹤方法，其包括:
根據非視覺導出照相機狀態信息，確定在固定參考系中照相機的位置，所述非視覺導出照相機狀態信息根據指示所述照相機位置的傳感器數據生成；
使用視覺導出刀具狀態信息，來確定在可隨照相機移動的照相機參考系中刀具的位置，所述視覺導出刀具狀態信息根據所述照相機在觀測所述刀具時所提供的圖像數據生成；以及使用在所述固定參考系中的所述照相機位置和所述可移動照相機參考系中所述刀具的位置，來確定在所述固定參考系中所述刀具的位置。又一個方面是刀具跟蹤,其包括:當所述刀具通過身體中的切口被插入并正被操縱時，生成多個時間點中每個點的多個估計刀具狀態；以及通過使用貝葉斯技術來處理所述多個估計刀具狀態，來確定所述多個時間點中每個點的最優估計刀具狀態。本發明所涉及的各方面的附加的目的、特點和優勢，將隨著以下其優選實施例的描述變得明顯，這些描述應與附圖一起參考。
圖1利用本發明所涉及的方面，說明微創機械外科手術系統。圖2利用本發明所涉及的方面，說明與微創機械外科手術系統相關的三維參考
系O圖3利用本發明所 涉及的方面，說明一種刀具跟蹤方法的流程圖，所述刀具跟蹤方法用刀具傳感器和刀具圖像數據中的任一個或兩者來確定刀具狀態。圖4利用本發明所涉及的方面，說明一種刀具跟蹤方法的流程圖，所述刀具跟蹤方法用刀具傳感器和刀具圖像數據來確定刀具狀態。圖5利用本發明所涉及的方面，說明用于確定刀具狀態的卡爾曼濾波器刀具跟蹤方法的功能框圖。圖6說明用于使三維空間中位置與三維像面中對應位置相關聯的立體式投影。圖7說明剛性體上三維點的投影。圖8利用本發明所涉及的方面，說明用于實現刀具跟蹤的方向相關的第一刀具標記。圖9利用本發明所涉及的方面，說明用于實現刀具跟蹤的方向相關的第二刀具標記。圖10利用本發明所涉及的方面，說明計算機模型刀具跟蹤方法的流程圖。
具體實施例圖1說明作為不例的微創機械外科手術(MIRS)系統100,其包含一個控制臺(“C”)，在對躺在手術臺(“O”)上的患者(“P”)完成微創診斷或手術時，所述控制臺被外科醫生(“S”)利用，所述診斷或手術通常需要一個或更多助手(“A”)的幫助來進行。控制臺包含支架102、向外科醫生顯示手術部位圖像的監視器104以及一個或更多控制設備108。控制設備108可包含多種輸入設備中的任何一種或更多種，例如操縱桿、手套、觸發槍、手動控制器、語音識別設備等。外科醫生通過操縱若干個控制設備108來完成手術，在外科醫生通過監視器104觀測手術部位時，所述控制設備108輪流引起機械機構114通過所述患者身體中的微創切口操縱它們各自的可摘除耦合器械或刀具組件110 (以下簡單稱作“刀具”)。同時使用的外科手術刀具110的數量并因此在系統100中使用的機械機構114的數量，一般將取決于(除其它因素外)診斷或手術程序以及手術室內的空間限制。如果有必要改變用于手術過程中的一個或更多的刀具110中，則所述助手可從其機械機構114摘除此時不再使用的刀具110，并用手術室里的盤(“T”)中的另一個刀具100替換它。外科醫生的控制臺通常與患者位于同一間屋，以便外科醫生可以直接監視手術，如果必要可親自上陣，以及直接向助手說話而不是通過電話或其他通信媒介。然而，需要理解的是，外科醫生也可以在不同的屋、完全不同的樓或需要考慮遙控外科手術的遠離患者其他位置。優選地，控制設備108將被提供與其相關刀具110相同的自由度，從而提供給外科醫生臨場感或如下感知:即控制設備108與刀具110形成一體以便外科醫生對直接控制刀具110有強烈的感覺。為此，位置、力和觸覺型反饋傳感器(圖中未顯示)優選地被應用在刀具100上，從而在外科醫生運行控制設備108時，將位置、力和觸覺型感覺從刀具110傳回到他/她的手。監視器104適當耦合到觀測視野組件112，包含一個或更多照相機，經過處理器101，并定位在控制臺的支架102上，以便手術部位的圖像能被提供到外科醫生的手邊。優選地，監視器104將在顯示器106上顯示倒轉的圖像，所述顯示器106如圖確定方向，以便外科醫生感覺他或她實際上正在直接俯視手術部位。為此，刀具110的圖像顯得基本就在手術員的雙手所在的位置，即使觀察點(即內窺鏡或觀測照像機)可能并不來自所述圖像的視圖的點。 此外，實時圖像優選地變換為透視圖像，以便手術員可以操縱刀具110的末端執行器，通過刀具的對應控制設備108，就像基本真實在場觀測工作空間一樣。對于真實在場，指的是圖像呈現的是真實的透視圖像，所述真實的透視圖像模擬親身操作刀具110的手術員的觀點。因此，處理器101 (或控制臺中另一個處理器)將刀具110的坐標變換到能感知到的位置，以使得如果觀測視野組件112直接位于刀具110的后面，所述透視圖像就是我們將看到的圖像。處理器101完成系統100中的各種功能。優選地，它被用來將控制設備108的機械運動，經由例如CSl和CS2的控制信號，轉換到與刀具110連接的機械機構114。此外，它還優選地被用來實現刀具跟蹤方法，所述刀具跟蹤方法可輪流地用于經由信號CS3來控制觀測視野組件112運動通過其機械機構115，以便其跟蹤一個或更多的刀具110以及其他目的，例如那些前述的。處理器101可與機械機構114和115分離或被適當集成進機械機構114和115，或者它可被整個地或部分地集成進所述控制臺，作為其處理器或其處理器的協處理器的。處理器101也優選地將來自刀具110的力和力矩反饋提供給手動控制設備108。此外，它優選地實現安全性監視功能，所述安全性監視功能凍結或至少阻止所有機械運動以響應識別條件，例如過多的力施加在患者身上或機械機構114或115的“失控”。雖然被描述為處理器，但需要理解的是，處理器101實際上可以通過硬件、軟件和固件的任何組合實現。同樣地，這里描述的其功能可以被一個裝置或分成不同的組件完成，所述不同組件中的每一個都可以輪流被硬件、軟件和固件的任何組合實現。系統100關于其對刀具110的操作和控制的一般操作和結構的附加細節作為示例被描述在名為 “Mult1-Component Telepresence System and Method” 的共有美國專利第6，346，072號中，其通過引用參考被并入于此。圖2作為示例說明了與微創機械外科手術系統100相關的各種參考系。世界參考系201是固定參考系，此固定參考系其以例如微創診斷或手術正在發生的手術室中的固定點(即界標)為中心。另一方面，刀具參考系202是移動參考系，此移動參考戲以例如例如所述刀具上的固定點為中心,并因此隨所述刀具移動。相似地，照相機參考系203也是移動參考系，此移動參考系以例如照相機上的固定點為中心，并因此隨所述照相機移動。所述刀具參考系202和所述照相機參考系203相對于所述世界參考系201的位置和方向，優選地根據傳感器數據確定，所述傳感器數據與用于操縱它們各自位置和方向的機械機構相關聯。又一個刀具參考系204表示根據照相機參考系203確定的刀具參考系的位置和方向。在沒有系統誤差的情況下，刀具參考系202和204會精確重合。患者參考系205是半固定參考系，此半固定參考系以例如患者身上的固定點為中心，并因此當患者移動時，隨該點移動。所述照相機定義的照相機參考系203，優選地是立體式照相機，其被校準以便在其左右像面的每一對對應點都映射到其照相機參考系208中的三維點。由所述照相機感知的刀具的位置(例如所述刀具參考系204)，可以以如下方式被確定，例如先識別所述照相機的左右像面中的刀具，再使用校準信息來確定照相機參考系203中的刀具位置。一般地，照相機參考系203與內窺鏡相關聯，所述內窺鏡被插入在手術部位，以便能夠在手術過程中觀測到刀具的執行器端。如上所示，在這種情況下，所述內窺鏡優選地是立體式內窺鏡。第二照相機參考系(圖中未顯示)也可以被定義并與位于所述患者身體外的外部照相機裝置相關聯，但要在足夠鄰近的位置，以便能夠觀測到在手術過程中從患者身體延伸出的刀具的后端。所述外部照相機裝置也優選地是立體式照相機，從而使3-D確定變得容易。 如前所描述，所述刀具和內窺鏡都優選地通過所述患者身體中的切口、使用機械機構從而被操縱。每個這樣的機械機構都包含關節和連桿，所述關節和連桿允許其各自的刀具或內窺鏡以五或六自由度運動。刀具(如刀具參考系202的位置和方向所描述)和內窺鏡(如照相機參考系的位置和方向所描述)的位置和方向，可以通過將傳感器附在它們各自的機械機構的關節和/或連桿來感覺它們的運動，被確定在世界參考系201。這種技術在機械中眾所周知，還伴隨著一個事實，即它們的結果取決于所述機械機構獨特的構建和運行。附加的細節可以例如在John J.Craig的“Introduction to Robotics—Mechanics and Control，，第二版,AddisonWesley Longman, 1986 中找到。又一個用于在世界參考系201中確定刀具和內窺鏡位置和方向的方法，包括感覺電磁、聲學或從刀具或內窺鏡發射或正被反射以便指示其位置和方向的其他可識別信號。又一個在世界參考系201中確定刀具和內窺鏡位置和方向的方法，包括對上述外部立體式內窺鏡的使用，這可以觀測從患者身體延伸出的刀具和內窺鏡的后端，并通過基于其左右像面的計算來確定其位置和方向。
通過確定由世界參考系中的傳感器所確定的內窺鏡(如照相機參考系203描述)和刀具(由刀具參考系202描述)的位置和方向，在世界參考系201中刀具位置和方向的確定可以使用傳統三角測量技術被檢驗，所述傳統三角測量技術使用在世界參考系201中確定的內窺鏡位置和方向以及在內窺鏡的照相機參考系203中確定的刀具位置和方向(如刀具參考系204描述)。反之，在世界參考系201中內窺鏡位置和方向(如照相機參考系203描述)的確定可以使用傳統三角測量技術被檢驗，所述傳統三角測量技術使用在世界參考系201中確定的刀具位置和方向(如刀具參考系202描述)以及在內窺鏡的照相機參考系203中確定的刀具位置和方向(如刀具參考系204描述)。含有用于確定刀具和內窺鏡位置和方向的附加裝置，可提供更多檢查它們各自位置和方向的途徑，并提供更準確的確定。圖3說明作為示例一種刀具跟蹤方法的流程圖，所述刀具跟蹤方法通過處理刀具的可用傳感器和圖像數據來跟蹤刀具，所述數據在刀具通過身體中的微創切口被插入并正被操縱時生成。在這種情況下，所述傳感器數據來自位置傳感器，例如用來檢測在操縱刀具的機械機構中的關節位置的傳感器，或者用來檢測電磁、聲學或從刀具發射或正被反射以便指示其位置的其他可識別信號的傳感器。為了適當地一起處理所述數據，傳感器和圖像數據都優選地以某種方式記時打印，以便與相同時間點相關聯的數據可以被互相處理。在301中，確定是否刀具目前在用戶的活動控制之下，例如受由用戶打開的對應控制設備控制。如果在301中的確定是否，則該方法保持周期性循環，直到在301中的確定結果為是，此時，在302中就做出確定是否指示刀具狀態的傳感器數據可用。如果在302中的確定是否，則在303中做出確定是否指示刀具狀態的圖像數據可用。如果在303中的確定也是否，則沒有信息在此時可用于確定刀具狀態，該方法跳回到301以在另一時間再次開始此過程。另一方面，如果在303中的確定為是，則在304中刀具的狀態只使用此時的圖像數據被確定，在這樣的確定之后，該方法跳回到301以在另一時間重新開始此過程。如果在302中的確定為是，但其指示傳感器數據可用，則在305中，確定是否刀具的位置從其上次確定以來改變過。此時進行該確定是有優勢的，因為該確定實現起來相對容易和快捷，如果刀具沒有移動，它避免確定新的刀具位置和方向的不必要計算。作為用來實現在305中確定的一種技術的示例:(i)關節速度根據傳感器被確定，所述傳感器使用在正操縱刀具的機械機構的關節，(ii)所述關節速度每個都是平方的，
(iii)所述平方關節速度被相加在一起，(iv)所得到的值與門限值進行比較，使得僅當得到的值大于門限值時，刀具被確定移動過。如果在305中的確定是否，則該方法跳回到301以在另一時間再次開始此過程。另一方面，如果在305中的確定為是，則在306中做出確定是否指示刀具狀態的圖像數據可用。如果在306中的確定是否，則在308中刀具的狀態在此時只使用傳感器數據被確定，在這樣的確定之后，該方法就跳回到301以在另一時間重新開始此過程。然而，如果在306中的確定為是，則在307中刀具的狀態在此時使用傳感器和圖像數據被確定，在這樣的確定之后，該方法就跳回到301以在另一時間重新開始此過程。在參照圖3如上描述的方法中，沒有關于所述傳感器或圖像數據的可用性做出假設。所以，這里描述的方法獨立檢驗是否兩種數據都可用，并因此確定刀具的位置。雖然傳感器數據的可用性在此方法中檢驗圖像數據的可用性之前被檢驗，但需要理解的是，此檢驗過程可逆，并且仍在本 發明此方面的范圍之內。
所述傳感器數據可從如下傳感器或編碼器接收，所述傳感器或編碼器位于在手術過程中操縱刀具的機械機構上的關節和/或連桿上，或者所述傳感器數據可從如下傳感器接收，所述傳感器檢測電磁、聲學或從刀具發射或正被反射以指示其位置的其他可識別信號。所述圖像數據可從如下內窺鏡接收，所述內窺鏡觀測患者身體內的刀具的執行器端，或者所述圖像數據可從如下外部照相機接收，所述外部照相機觀測在手術過程中延伸出患者身體以外的刀具的暴露端。圖4說明作為示例的刀具跟蹤方法，其使用刀具傳感器和可用的刀具圖像數據來確定刀具狀態。在該方法中，一般在手術之前離線完成401和402，在手術過程中在線完成403-410。在401中，離線校準立體式內窺鏡，以便可在其左右2-D像面和所述3-D照相機系203之間完成點映射。在這種情況下校準包括，確定本征照相機參數，例如立體式像對的每個照相機的焦距(例如，見圖6中長度“F”)、主點、歪斜和畸變。此外，立體式像對中兩個照相機之間的轉動和平動可以被確定。可以完成一次照相機校準，例如在微創機械外科手術系統100的初始建立過程中，或者可以周期性完成照相機校準，例如只在完成微創診斷或手術之前。一種完成校準的技術是在多個位置和方向采集若干校準網格圖像。這些圖像可以饋入商業可用的(或自家種植的)校準包，所述校準包在所屬校準網格圖像中提取角位置，完成校準/優化過程以獲得所需參數。在402中，誤差轉換的初始值在每個手術開始時被確定。誤差轉換被定義為在第一估計刀具狀態(如刀具參考系202所描述)的參考系中第二估計刀具狀態(如刀具參考系204所描述)的位置和方向，所述第一估計刀具狀態在世界參考系201中根據傳感器被確定并被轉換到立體式照相機的照相機參考系203，所述第二估計刀具狀態在照相機參考系203中根據立體式照相機的左右像面被確定。根據之前引用的“Introduction toRobotics - Mechanics and Control”中定義的變換表示法,這可以被表示為=J1。此過程開始于例如通過根據傳感器數據來應用初始轉換到刀具位置，以便此轉換后的刀具位置的立體式投影以左右像面為中心。用戶將刀具移動到立體式圖像的四角，點擊在左右圖像中的2D刀具位置。將初始轉換、刀具的3-D傳感器位置和刀具的2-D圖像位置組合，這給出根據傳感器確定的刀具位置(例如刀具參考系202所描述)與根據立體式圖像確定的刀具位置(例如刀具參考系204所描述)之間的誤差轉換孟Γ的初始值。在它們確定之后，所述初始值正好在開始403-410之前被裝入短期存儲器中。在403中，在世界參考系201中的刀具狀態根據所述傳感器數據被確定。對于刀具狀態只由位置和方向構成的標稱情況，這可以被表示為所述變換巧Γ(詳見“IntiOductionto Robotics一Mechanics and Control”)。這可以以如下方式被確定，例如，根據系統運動學，使用根據與操縱刀具的機械機構相關聯的關節或連桿位置傳感器來提供的數據來確定，或者通過計算在世界參考系201中的刀具位置，使用從刀具發射或正被反射并指示其位置的信號來確定。雖然兩個示例都提供狀態信息，但對系統運動學的使用是完成此功能的優選，因為它一般比指示刀具位置的信號提供更多刀具狀態信息。在404中 ，在世界參考系201中的照相機狀態也根據所述傳感器數據被確定。對于刀具狀態只由位置和方向構成的標稱情況，這可以被表示為所述變換(詳見“Introduction to Robotics一Mechanics and Control”)。正如在 403 中的刀具狀態的確定的情況，這可以以如下方式被確定，例如，根據系統運動學，使用根據與操縱照相機的機械機構相關聯的關節或連桿位置傳感器來提供的數據來確定，或者通過計算在世界參考系201中的照相機位置，使用從照相機發射或正被反射并指示其位置的信號來確定。在405中，使用傳統參考系轉換技術，將在403中確定的估計狀態信息從世界參考系201轉換到照相機的照相機參考系203，所述傳統參考系轉換技術使用在404中確定的估計照相機狀態(在世界參考系201中)。=(I)在406中，做出確定是否刀具的圖像數據在對應時間點可用，在所述對應時間點刀具狀態在403中被確定。如果圖像不被對應時間點的照相機采集，或者刀具在被對應時間點的照相機所采集的圖像中不可識別，則所述圖像數據可能不可用。當由于手術過程中外科醫生操縱刀具而使刀具移入或移出照相機視圖時，后一種情況可能發生。為了在采集圖像中協助識別刀具，各種刀具識別技術可被使用，包括對這里描述的特殊標記進行使用。作為上述的細化，即使刀具在圖像數據中可識別，其可被識別為異常值，所以如果其狀態落到最佳擬合曲線的容許范圍之外，則其被丟棄，所述最佳擬合曲線是根據先前確定的在之前時間點的刀具狀態生成。如果在406中的確定為是，則在407中，在照相機參考系203中的刀具狀態(例如刀具參考系204所描述)的估計直接被確定。對于刀具狀態只由位置和方向構成的標稱情況，這可以被表示為所述變換ο作為用于完成此任務的一種技術的示例，控制點在從立體式照相機接收的左右2-D像面中的刀具上被識別，之后該點在3-D照相機參考系203中的對應位置使用先前生成的校準數據被確定。作為所述控制點如何在所述兩像面中被識別的示例，包含所述控制點的小窗可在左圖像中被選擇，并與右圖像中的小窗交叉相關，從而以最高相關因數確定該圖像中的窗，這就導致對該圖像中的 控制點的匹配和識別。在407中確定刀具狀態之后，修改后的誤差轉換在408中被計算為在405中確定的刀具狀態與在407中確定的刀具狀態之間的變換，并被存儲到短期存儲器中，替換其中存儲的任何初始值。在407中確定的估計刀具狀態在409中被確定為該時間點的刀具狀態。該方法跳回到403，在照相機參考系203中為另一時間點確定刀具狀態。22 Sd⑵另一方面，如果在406中的確定是否，則在410中，在照相機參考系203中的刀具狀態(例如刀具參考系204所描述)就被確定為，在405中確定的、被對應在402中確定的刀具狀態的誤差轉換所調節的估計刀具狀態。在這種情況下，所述誤差轉換未被更新。該方法跳回到403，在照相機參考器203中為另一時間點確定刀具狀態。⑴ 注意，所述誤差轉換可在完成任務408中的手術過程中被更新，因為所述誤差轉換由于多種因素可隨時間緩慢變動，所述多種因素例如在所述初始誤差轉換估計、初始關聯、系統運動學或照相機校準中的誤差，也有其他因素例如應用到刀具或其操縱的機械機構的外力或者機械機構中的磁滯或其他非線性。
圖5說明作為示例的另一刀具跟蹤方法的功能框圖。在這種情況下的所述刀具跟蹤方法使用擴展的卡爾曼濾波器(“EKF”)，其有如下目的，即通過將例如zm_k和z.k(通過處理與刀具相關聯的傳感器和/或外部照相機數據，分別在方框501和502中被生成)的一個或更多非內窺鏡導出刀具狀態信息與例如zvi_k、zv2_k和zV3_k(通過處理從使用對應視覺算法的立體式內窺鏡接收的刀具的圖像信息，分別在方框511、512和513中生成)的一個或更過內窺鏡導出刀具狀態信息組合，并使用系統動力學模型，來產生正被跟蹤的刀具狀態的最優估計。 在此方法中，對是否非內窺鏡導出或內窺鏡導出刀具狀態信息可用的確定并不必要(例如在圖3中在302和306中為傳感器數據和圖像數據所完成)，因為如果任意一種信息在計算時間不可用，則這種情況通過包含保持先前值(即不在此時被更新)的測量值的不可用信息進行考慮。由于這個和其他原因，參照圖5描述的該方法被認為是用于確定刀具狀態的優選技術。注意，雖然EKF用于此示例，但其他貝葉斯濾波器或技術例如卡爾曼濾波器或粒子濾波器也可被使用，并完全仔細考慮它們在本發明的范圍之內。貝葉斯濾波器是指基于貝葉斯估計技術的統計濾波器一族。
同樣地，注意，被稱為傳感器數據、外部照相機數據或內窺鏡圖像數據的所有輸入可被認為是測量，其中被測量的數量是在對應傳感器、外部照相機或內窺鏡參考系中的刀具狀態(一般是位置和方向)的某子集。一般地，刀具狀態的所有傳感器測量包括一定量的處理，例如，一般需要前向運動學計算來計算來自機械關節位置傳感器的刀具狀態。進一步，所有測量一般都是異步的，但通過時間戳稱為絕對時鐘。每個測量一般都被例如零均值噪聲的某隨機誤差惡化，并可能在某時間點(確失)不可用或可能完全錯誤(異常值)。因此所述EKF減弱刀具狀態估計上的測量噪聲效應。每個傳感器、外部照相機或內窺鏡參考系之間的額定變化被用于融合所述測量。功能方框501根據傳感器數據生成非內窺鏡導出刀具狀態信息zm_k并將所述非內窺鏡導出刀具狀態信息提供到EKF加以處理。如前所描述，所述非內窺鏡導出刀具狀態信息可來自關節位置傳感器、刀具位置信號檢測器或外部照相機。附加的功能方塊，例如功能方框502，可以非必要地被包含，從而根據相同的或其他傳感器數據或外部照相機來生成附加的非內窺鏡導出刀具狀態信息并將所述附加的非內窺鏡導出刀具狀態信息提供到EKF521加以處理。另一方面，功能方框511根據內窺鏡圖像數據來生成內窺鏡導出刀具狀態信息zvl-k，并將所述內窺鏡導出刀具狀態提供到EKF521加以處理。如前所描述，所述內窺鏡圖像數據可以是來自立體式內窺鏡左右像面。附加的功能方框，例如功能方框512和513，可以非必要地被包含，從而一般根據相同的內窺鏡圖像數據來生成附加的內窺鏡導出刀具狀態信息并將所述附加的內窺鏡導出刀具狀態信息提供到EKF521加以處理。功能方框501-502和511-513完成一些普遍任務以及它們各體的特殊處理，以生成它們各自的刀具狀態信息。作為示例，每個功能方框都跟蹤置于其接收的傳感器或圖像數據的時間戳，這指示數據在什么時候被感測或采集，從而使在任何給定時間由功能方框提供到EKF521的所有刀具狀態信息都大體與時間戳上指示的相同時間對應。作為示例，每個功能方框優選地在其接收的傳感器或圖像數據中濾去噪聲，以使得被提供到EKF521的刀具狀態信息大體具有零均值噪聲。以下是EKF521如何在微創診斷或手術過程中被用于刀具跟蹤的簡化示例。一般對于 EKF 的更深入描述，例如，見 Greg Welch 和 Gary Bishop 的 “Introduction to theKalman Filter,，，TR95-041, Department of Computer Science, University of NorthCarolina at Chapel Hill, April5, 2004。眾所周知，EKF框架由兩個明顯的階段，被稱為“時間更新”(或“預測”)階段和“測量更新”(或“校正”)階段。在卡爾曼濾波器更新循環的第一階段，來自濾波器先前迭代的狀態估計用來基于系統動力學的(可能)非線性模型f和施力函數Uk+根據如下方程式(4)，產生對該循環<的新狀態估計的預測:Xt =Z(Vl3Us^l3O)(4)其中方程式(4)中的‘0’是用于產生預測后的狀態估計的過程噪聲估計。關于點線性化非線性系統模型f，獲得被線性化的狀態轉移矩陣A。之后，使用來自濾波器先前迭代的誤差協方差矩陣Plri，根據如下方程式(5)，對此循環產生對新誤差協方差矩陣的預測^，Pk = AkPk-X- + WiQG1Wj( 5 )其中所述矩陣W表示關于所述過程噪聲的系統動力學的雅可比行列式w，Q是可調增益矩陣。物理地思考，如果矩陣P描述具有許多與系統狀態秩相等的維度的誤差橢圓，則通過應用方程式(5)，所述誤差橢圓的大小可使用我們的系統動力學模型來擴展，所述系統動力學模型在被線性化的狀態轉移矩陣A和過程噪聲的尺度估計中被編碼，這表示系統動力學模型中的不確定度。擴大所述誤差橢圓等同于說明在系統狀態的估計中有更大的不確定度。在卡爾曼濾波器更新循環的第二階段中，預測過的狀態估計和預測過的誤差協方差矩陣可以通過對系統進行一個或更多測量來校正。此時卡爾曼增益被計算出。本質上，卡爾曼增益加權來自一個或更多測量的貢獻(基值)，以便它們對新狀態估計的影響反映對它們可靠性的當前估計。此外，它允許對模型相比測量的可靠性進行加權。換句話說，來自可靠測量的貢獻(基值)可被更多地加權，來自不可靠測量的貢獻(基值)可被較少地加權。要做到這點，應用如下方程式(6)。Kt = Ρ4Η；(Η,Ρ,Η:+V,R.,V/) \
解釋方程式(6)，首先提出有函數h，其公知為測量函數，這將可在系統中被測量的(被觀察的)數量Z與實際系統狀態X聯系起來。在方程式(6)中，由方程式(5)得到的新誤差協方差矩陣的估計Pfc被使用。矩陣H是關于系統狀態X的所述^則量’函數h的雅可比行列式。本質上，H矩陣描述正被測量的數量中的變化將如何改變實際系統狀態。矩陣V表示測量噪聲的估計，其包含傳感器噪聲和所述測量噪聲h中的不確定度。R矩陣是可調增益。一旦卡爾曼增益是根據方程式(6)計算得到的，系統狀態的估計就可以使用預測過的系統狀態估計€和所述測量來被更新。在這種情況下，所屬預測過的系統狀態估計由實際測量Zk與預測過的測量^之間的卡爾曼增益加權誤差根據如下方程式(7)來進行調節。
權利要求
1.一種刀具跟蹤方法，其包括: 確定刀具的計算機模型； 接收包含所述刀具的視圖的采集圖像； 從所述采集圖像中確定所述刀具的估計位置和方向，并根據所述采集圖像將所述計算機模型定位和定向成該估計位置和方向；以及 相對于所述采集圖像中所述刀具的圖像，修改所述計算機模型的估計位置和方向直到所述計算機模型近似覆蓋所述圖像，從而為所述采集圖像校正所述刀具的估計位置和方向。
2.根據權利要求1所述的方法，其中相對于所述采集圖像中所述刀具的圖像對所述計算機模型的估計位置和方向的修改包括: 通過最小化所述計算機模型與所述刀具的圖像之間的差異，確定近似覆蓋所述刀具的圖像的所述計算機模型的修改后的位置和方向。
3.根據權利要求1所述的方法，其中所述采集圖像由插入到所述身體區域中的立體式內窺鏡米集。
4.根據權利要求1所述的方法，其進一步包括: 提取所述刀具的計算機模型的輪廓； 提取在所述采集圖像中的所述刀具的圖像的邊緣；以及 定位和旋轉所述計算機模型的所述輪廓直到所述計算機模型的所述輪廓近似覆蓋所述采集圖像內的所述刀具的圖像的邊緣。
5.根據權利要求4所述的方法，其進一步包括:在定位和旋轉所述計算機模型的所述輪廓直到所述計算機模型的所述輪廓近似覆蓋所述采集圖像內的所述刀具的圖像的邊緣之前，去掉在所述刀具的所述計算機模型的所述輪廓中的線，其對應于在所述采集圖像內的所述刀具的圖像中的隱線。
6.根據權利要求4所述的方法，其中所述定位和旋轉所述計算機模型的所述輪廓直到所述輪廓近似覆蓋所述采集圖像內的所述刀具的圖像的邊緣，包括: 確定所述計算機模型的所述輪廓與所述采集圖像中的所述刀具的圖像之間的差異；以及 定位和旋轉所述計算機模型的所述輪廓直到所述差異最小化。
7.根據權利要求6所述的方法，其中待最小化的所述差異是從所述刀具圖像和其最近輪廓邊緣中提取的邊緣像素之間的絕對差異的總和。
8.根據權利要求6所述的方法，其中所述刀具插入的區域的視圖，由插入在所述區域的至少一個照相機以網格像素的方式采集。
9.一種刀具跟蹤方法包括: 確定指示刀具狀態的傳感器數據是否在某一時間點可用； 確定指示所述刀具狀態的圖像數據是否在所述時間點可用；以及 如果所述傳感器數據和所述圖像數據都在所述時間點可用則使用這兩者來確定所述刀具狀態，如果只有所述傳感器數據可用則只使用所述傳感器數據來確定，如果只有所述圖像數據可用則只使用所述圖像數據來確定。
10.根據權利要求9所述的方法，進一步包括:確定用戶是否正在所述時間點操縱所述刀具；以及 只有在所述用戶被確定正在所述時間點操縱所述刀具時才進行所述傳感器數據和圖像數據的可用性確定。
11.根據權利要求9所述的方法，其中進一步包括: 使用所述傳感器數據，確定所述刀具的狀態相對于先前時間點是否已改變；以及 只有在所述刀具的狀態被確定為已改變時才進行所述圖像數據可用性和刀具狀態確定。
12.根據權利要求9所述的方法，其中由所述傳感器數據指示的所述刀具狀態，包含所述刀具在固定參考系中的位置和方向。
13.根據權利要求12所述的方法，其中所述圖像數據由照相機裝置生成，所述傳感器數據進一步指示在所述固定參考系中所述照相機裝置的位置和方向，并且由所述圖像數據指示的所述刀具狀態包含在關于所述照相機裝置的參考系中所述刀具的位置和方向。
14.根據權利要求13所述的方法，其中使用所述傳感器數據和所述圖像數據對所述刀具狀態的確定，包括: 在當用所述傳感器數據和所述圖像數據來確定所述刀具狀態之前，將由所述傳感器數據指示的所述刀具的位置和方向從所述固定參考系轉換到與所述照相機裝置有關的所述參考系。
15.一種刀具跟蹤方法，其包括: 使用指示在時間點的刀具狀態的第一傳感器數據，確定與所述時間點的界標有關的第一估計所述刀具狀態； 使用指示在所述時間點的照相機狀態的第二傳感器數據，確定與所述時間點的所述界標有關的估計照相機狀態； 使用由所述照相機生成的且指示在所述時間點的所述刀具狀態的圖像數據，確定與所述時間點的所述照相機有關的第二估計刀具狀態； 轉換所述第一估計刀具狀態以使其與所述照相機有關而不是與所述界標有關；以及 計算在轉換后的第一與第二估計刀具狀態之間的誤差轉換，使得在后續時間點如果指示在所述后續時間點的所述刀具狀態的圖像數據不可用，則所述刀具狀態通過應用所述誤差轉換到用傳感器數據所確定的第三估計刀具狀態來確定，所述傳感器數據指示在所述后續時間點轉換后的所述刀具狀態，以使其與所述照相機有關而不是與所述界標有關。
16.根據權利要求15所述的方法，其進一步包括如果指示在所述后續時間點的所述刀具狀態的所述圖像數據可用，則: 使用由所述照相機生成的且指示在所述后續時間點的所述刀具狀態的圖像數據，確定在所述后續時間點與所述照相機有關的第四估計刀具狀態；以及 確定在所述后續時間點的所述刀具狀態為所述第四估計刀具狀態。
17.根據權利要求16所述的方法，進一步包括如果指示在所述后續時間點的所述刀具狀態的所述圖像數據可用，則: 計算在轉換后的第三與第四估計刀具狀態之間的第二誤差轉換，使得在再后續時間點如果指示在所述再后續時間點的所述刀具狀態的所述圖像數據不可用，則所述刀具狀態通過應用所述第二誤差轉換到第五估計刀具狀態來確定，所述第五估計刀具狀態使用傳感器數據來確定，所述傳感器數據指示在所述再后續時間點的轉換后的刀具狀態，以使其與所述照相機有關而不是與所述界標有關。
18.一種刀具跟蹤方法，其包括: 確定在給定時間的刀具的非內窺鏡導出估計狀態信息； 確定在所述給定時間的所述刀具的內窺鏡估計的狀態信息；以及 提供所述刀具的所述非內窺鏡和內窺鏡導出估計狀態到貝葉斯濾波器，所述貝葉斯濾波器被配置以生成所述刀具的狀態的最優估計。
19.根據權利要求18所述的方法，其中將非內窺鏡導出刀具狀態與內窺鏡導出刀具狀態之間的平均差異的初始估計提供給所述貝葉斯濾波器。
20.根據權利要求19所述的方法，其中所述貝葉斯濾波器更新所述非內窺鏡導出刀具狀態與所述內窺鏡導出刀具狀態之間的所述平均差異的所述估計，同時使用所述非內窺鏡導出刀具狀態和所述內窺鏡導出刀具狀態來估計所述刀具的狀態。
21.根據權利要求18所述的方法，其中所述非內窺鏡導出估計狀態信息是根據傳感器數據生成的，所述傳感器數據指示至少在所述給定時間所述刀具在固定參考系中的位置。
22.根據權利要求21所述的方法，其中所述內窺鏡導出估計狀態信息是根據圖像數據生成的，所述圖像數據從至少一個照相機接收，所述照相機在所述刀具插入到所述身體時采集所述身體區域的圖像信息。
23.根據權利要求18所述的方法，其中所述貝葉斯濾波器是卡爾曼濾波器。
24.根據權利要求23所述的方法，其中所述卡爾曼濾波器是擴展卡爾曼濾波器。
25.根據權利要求18所述的方法，其中所述貝葉斯濾波器是粒子濾波器。
26.一種刀具跟蹤和校準方法，其包括: 根據從觀測刀具的照相機所接收的圖像數據，生成視覺導出狀態信息； 通過將一組照相機參數的初始值與所述視覺導出狀態信息組合，來生成狀態向量信息；以及 提供所述狀態向量信息到貝葉斯濾波器進行處理，以生成所述刀具的狀態的最優估計和該組照相機參數的校正值。
27.根據權利要求26所述的方法，進一步包括: 根據從一個或更多傳感器接收的傳感器數據，生成非視覺導出狀態信息，所述傳感器數據包含指示所述刀具的位置的信息；以及 通過將所述非視覺導出狀態信息與該組照相機參數的所述初始值和所述視覺導出狀態信息組合，生成所述狀態向量信息。
28.根據權利要求27所述的方法，其中所述照相機是內窺鏡。
29.根據權利要求27所述的方法，其中所述一個或更多傳感器與機械機構有關，所述機械機構用來通過身體中的微創切口操縱所述刀具。
30.一種照相機跟蹤方法，其包括: 根據非視覺導出刀具狀態信息確定在固定參考系中刀具的位置，所述非視覺導出刀具狀態信息根據指示所述刀具的所述位置的傳感器數據生成； 使用視覺導出刀具狀態信息來確定在可隨照相機移動的照相機參考系中所述刀具的位置，所述視覺導出刀具狀態信息根據所述照相機在觀測所述刀具時所提供的圖像數據生成；以及 使用在所述固定參考系中所述刀具的位置和在可移動照相機參考系中所述刀具的位置，來確定在所述固定參考系中所述照相機的位置。
31.一種刀具跟蹤方法，其包括: 根據非視覺導出照相機狀態信息確定在固定參考系中照相機的位置，所述非視覺導出照相機狀態信息根據指示所述照相機的位置的傳感器數據生成； 使用視覺導出刀具狀態信息來確定在可隨照相機移動的照相機參考系中刀具的位置，所述視覺導出刀 具狀態信息根據所述照相機在觀測所述刀具時所提供的圖像數據生成；以及 使用在所述固定參考系中所述照相機的位置和在可移動照相機參考系中所述刀具的位置，來確定在所述固定參考系中所述刀具的位置。
32.一種刀具跟S示系統，其包括: 用于通過處理非內窺鏡導出刀具狀態信息和內窺鏡導出刀具狀態信息跟蹤刀具的裝置，這兩種刀具狀態信息是當所述刀具通過身體中的微創切口被插入并進行操縱時生成的。
33.根據權利要求32所述的系統，其中所述非內窺鏡導出刀具狀態信息和內窺鏡導出刀具狀態信息的處理是用貝葉斯濾波器實現的。
34.根據權利要求33所述的系統，其中與所述非內窺鏡導出刀具狀態信息相比，所述內窺鏡導出刀具狀態信息較不頻繁地被提供給所述貝葉斯濾波器。
35.根據權利要求33所述的系統，其中所述非內窺鏡導出刀具狀態信息被以抽樣速率連續地提供給所述貝葉斯濾波器加以處理，并且所述內窺鏡導出狀態信息被非連續地提供給所述貝葉斯濾波器加以處理。
36.根據權利要求33所述的系統，其中將非內窺鏡導出刀具狀態與內窺鏡導出刀具狀態之間的平均差異的初始估計提供給所述貝葉斯濾波器。
37.根據權利要求36所述的系統，其中所述貝葉斯濾波器更新所述非內窺鏡導出刀具狀態與所述內窺鏡導出刀具狀態之間的平均差異的所述估計，同時使用所述非內窺鏡導出刀具狀態和所述內窺鏡導出刀具狀態來估計所述刀具的狀態。
38.根據權利要求32所述的系統，其中所述非內窺鏡導出刀具狀態信息由傳感器數據生成，所述傳感器數據指示所述刀具在固定參考系中的至少一個位置。
39.根據權利要求38所述的系統，其中所述傳感器數據指示所述刀具在所述固定參考系中的方向。
40.根據權利要求38所述的系統，其中所述傳感器數據由位置傳感器提供，所述位置傳感器耦合到一種通過所述身體中的切口操縱所述刀具的機構，并且所述非內窺鏡導出刀具狀態信息是利用所述傳感器數據根據所述機構的運動學生成的。
41.根據權利要求40所述的系統，其中所述非內窺鏡導出刀具狀態信息和內窺鏡導出刀具狀態信息的所述處理是用貝葉斯濾波器實現的。
42.根據權利要求42所述的系統，其中分別對所述非內窺鏡和所述內窺鏡導出刀具狀態導出定性度量，并且所述非內窺鏡導出刀具狀態和所述內窺鏡導出刀具狀態在所述貝葉斯濾波器中的貢獻的權重由所述定性度量確定。
43.根據權利要求42所述的系統，其中所述非內窺鏡導出狀態信息的所述定性度量從由所述傳感器數據所指示的固定參考系中的位置和由命令信號所指示的固定參考系中的位置之間的差異確定，所述命令信號控制用于操縱所述刀具的機械機構。
44.根據權利要求42所述的系統，其中所述傳感器數據由檢測信號的檢測器提供，所述信號指示所述刀具在固定參考系中的位置。
45.根據權利要求44所述的系統，其中所述信號從所述刀具發射。
46.根據權利要求44所述的系統，其中所述信號從所述刀具反射出來。
47.根據權利要求42所述的系統，其中處理所述傳感器數據以確定此時是否操縱所述刀具，使得只有當此時操縱所述刀具時才進行所述內窺鏡導出刀具狀態信息的處理。
48.根據權利要求32所述的系統，其中所述非內窺鏡導出刀具狀態信息源自外部照相機，所述外部照相機觀測從所述身體中延伸出的所述刀具的末端。
49.根據權利要求32所述的系統，其中所述內窺鏡導出刀具狀態信息從圖像數據生成，所述圖像數據由內窺鏡提供，所述內窺鏡當其通過所述身體中的所述微創切口被插入并正被操縱時觀測所述刀具。
50.根據權利要求49所述的系統，其中所述內窺鏡是提供左側像面和右側像面的立體式內窺鏡，并且所述內窺鏡導出刀具狀態信息的生成包括通過處理所述左側像面和所述右側像面的信息來確定所述刀具至少在所述內窺鏡的參考系中的位置。
51.根據權利要求50所述的系統，其進一步包括: 用于確定所述內窺鏡在固定參考系中的位置的裝置；以及 用于從所述刀具在所述內窺鏡的參考系中的位置以及所述內窺鏡在所述固定參考系中的位置的信息中確定所述刀具在所述固定參考系中的位置的裝置。
52.根據權利要求49所述的系統，其中所述內窺鏡導出刀具狀態信息的生成包括: 在所述圖像數據中識別方向相關的刀具標記；以及 通過對所述圖像數據中的所述方向相關的刀具標記的信息進行處理，確定所述刀具的至少方向的內窺鏡導出估計。
53.根據權利要求49所述的系統，其中對所述非內窺鏡導出刀具狀態信息和所述內窺鏡導出刀具狀態信息的處理包括: 生成所述刀具的計算機模型，所述刀具被定位和定向在像面內，所述像面由根據所述非內窺鏡導出刀具狀態信息的所述圖像數據定義；以及 修改所述計算機模型與所述像面中所述刀具的圖像相對的位置和方向，直到所述計算機模型近似覆蓋所述刀具的圖像以生成所述刀具的經校正的位置和方向。
54.根據權利要求53所述的系統，其中所述計算機模型與所述刀具的圖像相對的位置和方向的修改直到所述計算機模型近似覆蓋所述刀具的圖像，包括: 確定所述計算機模型的修改后的位置和方向，所述計算機模型通過最小化所述計算機模型與所述刀具的圖像之間的差異來近似覆蓋所述刀具圖像。
55.根據權利要求33所述的系統，其中所述貝葉斯濾波器是卡爾曼濾波器。
56.根據權利要求55所述的系統，其中所述卡爾曼濾波器是擴展卡爾曼濾波器。
57.根據權利要求33所述的系統，其中所述貝葉斯濾波器是粒子濾波器。
58.一種刀具跟蹤系統，其包括:用于當刀具通過身體中的切口插入時接收指示所述刀具的位置和方向的信息的裝置； 用于接收所述刀具的圖像信息的裝置；以及 用于使用所述傳感器和所述圖像信息確定所述刀具的位置和方向的裝置。
59.根據權利要求58所述的系統,其中所述傳感器信息與一種機構有關,該機構用于通過所述身體中的所述切口機械地操縱所述刀具。
60.根據權利要求59所述的系統，其中所述機構包含: 一個機械手，其用來操縱所述刀具；以及 多個傳感器，其生成與所述機械手的運動有關的數據，其中運動學信息來自所述機械手。
61.根據權利要求58所述的系統，其中所述圖像信息由至少一個照相機生成，所述照相機插入在所述身體中以便采集所述刀具當插入其中時的圖像。
62.根據權利要求61所述的系統，其中所述至少一個照相機包含在一個或更多內窺鏡中。
63.根據權利要求61所述的系統，其中所述至少一個照相機由立體式內窺鏡中包含的兩個照相機構成。
64.根據權利要求58所述的系統，其中所述圖像信息由至少一個照相機生成，所述照相機在所述身體外部以便在所述刀具的一端插入其中時采集從所述身體中延伸出的所述刀具的另一端的圖像。
65.根據權利要求58所述的系統，其中所述刀具位置和方向的確定包括: 從所述傳感器信息中確定所述刀具相對于固定參考系的一個或更多運動學估計的位置和方向； 從所述圖像信息中確定所述刀具相對于照相機參考系的一個或更多圖像估計的位置和方向； 將所述刀具的該個或更多運動學估計的位置和方向從所述固定參考系轉換到所述照相機參考系；以及 處理該個或更多運動學估計的位置和方向以及該個或更多圖像估計的位置和方向，以生成所述刀具相對于所述照相機參考系的位置和方向。
66.根據權利要求65所述的系統，其中該個或更多運動學估計的位置和方向以及該個或更多圖像估計的位置和方向的處理包括: 將該個或更多運動學的位置和方向以及該個或更多圖像估計的位置和方向提供給貝葉斯濾波器。
67.根據權利要求66所述的系統，其中與該個或更多運動學估計的位置和方向相比，該個或更多圖像估計的位置和方向被較不頻繁地確定。
68.根據權利要求66所述的系統，其中將傳感器導出刀具狀態與圖像導出刀具狀態之間的平均差異的初始估計提供給所述貝葉斯濾波器。\
69.根據權利要求68所述的系統，其中所述貝葉斯濾波器更新所述傳感器導出刀具狀態與所述圖像導出刀具狀態之間的平均差異的所述估計，同時使用所述傳感器導出刀具狀態和所述圖像導出刀具狀態來估計所述刀具的狀態。
70.根據權利要求67所述的系統，其中該個或更多運動學估計的位置和方向從時間采樣信息中導出，所述時間采樣信息由一個或更多傳感器提供，所述傳感器耦合到通過所述的身體中切口操縱所述刀具的機構；該個或更多圖像估計的位置和方向從抽樣圖像中導出，所述抽樣圖像由一個或更多用以采集所述刀具的圖像的照相機提供。
71.根據權利要求70所述的系統，其中對該個或更多運動學估計的位置和方向以及所述的一個或更多圖像估計的位置和方向分別導出定性度量，在所述貝葉斯濾波器中的該個或更多運動學估計的位置和方向以及該個或更多圖像估計的位置和方向的貢獻的權值，由所述定性度量確定。
72.根據權利要求71所述的系統，其中該個或更多運動學估計的位置和方向的所述定性度量根據所述運動學估計位置中的一個位置與命令信號所命令的位置之間的差異進行確定，所述命令信號控制用于操縱所述刀具的所述機構。
73.根據權利要求72所述的系統，其中該個或更多照相機包含在位于所述身體內的內窺鏡中以采集伸入到所述身體中的所述刀具的末端的圖像。
74.根據權利要求72所述的系統，其中該個或更多照相機位于所述身體之外以采集延伸出所述身體的所述刀具的末端的圖像。
75.根據權利要求68所述的系統，其中所述貝葉斯濾波器是卡爾曼濾波器。
76.根據權利要求75所述的系統，其中所述卡爾曼濾波器是擴展卡爾曼濾波器。
77.根據權利要求68所述的系統，其中所述貝葉斯濾波器是粒子濾波器。
78.根據權利要求58所述的系統，其中所述刀具位置和方向的確定包括: 處理所述圖像信息以識別所述刀具上的標記并用所述標記來確定所述刀具的方向。
79.根據權利要求58所述的系統，其中所述刀具位置和方向的確定包括: 用所述傳感器信息來生成所述刀具的計算機模型，以使其在像面內進行定位和定向，所述像面定義在所述圖像信息中；以及 修改所述計算機模型與所述像面中的所述刀具的圖像相對的位置和方向，直到所述計算機模型基本覆蓋所述圖像。
80.根據權利要求79所述的系統，其中在所述像面中所述計算機模型的位置和方向是所述計算機模型的修改后的位置和方向，所述計算機模型的修改后的位置和方向被確定用于時間在先的像面。
81.根據權利要求79所述的系統，其中所述像面中所述計算機模型的位置和方向從至少與該像面時間對應的所述運動學信息中導出。
82.根據權利要求80所述的系統，其中所述圖像信息由內窺鏡生成，所述內窺鏡插入到所述身體中以采集插入其中的所述刀具的末端的圖像。
83.根據權利要求82所述的系統，其中所述內窺鏡是立體式內窺鏡。
84.根據權利要求80所述的系統，其中所述圖像信息由位于所述身體之外的至少一個照相機生成，以便在所述刀具的一端插入到所述身體里時采集從所述身體中延伸出的所述刀具的另一端的圖像。
85.一種刀具跟蹤系統，其包括: 用于當所述刀具通過身體中的切口被插入并正被操縱時，為多個時間點中的每個點生成多個估計刀具狀態的裝置；以及用于通過使用貝葉斯技術來處理所述多個估計刀具狀態來確定所述多個時間點中每個點的最優估計刀具狀態的裝置。
86.根據權利要求85所述的系統，其中所述多個估計刀具狀態包含只用傳感器數據所確定的估計刀具狀態，所述傳感器數據與用于操縱所述刀具的機械機構有關以使其指示所述機械機構的運動。
87.根據權利要求86所述的系統，其中所述機械機構包含一些關節和連桿，且所述傳感器數據指示所述關節和連桿的運動。
88.根據權利要求85所述的系統，其中所述多個估計刀具狀態包含只用傳感器數據所確定的估計刀具狀態，所述這種傳感器數據與所述刀具有關以使其指示所述刀具的位置。
89.根據權利要求88所述的系統，其中所述傳感器數據進一步指示所述刀具的方向。
90.根據權利要求85所述的系統，其中所述多種估計刀具狀態包含只用圖像數據所確定的估計刀具狀態，所述這種圖像數據由內窺鏡生成，所述內窺鏡被定位成使得在所述刀具通過所述身體中的所述切口被插入并正被操縱時觀測所述刀具的執行器末端。
91.根據權利要求85所述的系統，其中所述多個估計刀具狀態包含只用圖像數據所確定的估計刀具狀態，所述這種圖像數據由外部照相機生成，所述外部照相機被定位成使得在所述刀具通過所述身體中的所述切口被插入并正被操縱時觀測從所述身體延伸出的所述刀具的露出末端。
92.根據權利要求85所述的系統，其 中所述貝葉斯技術是一種卡爾曼濾波技術。
93.根據權利要求85所述的系統，其中所述貝葉斯技術是一種粒子濾波技術。
全文摘要
在機械微創外科手術中實現刀具跟蹤的方法和系統。使用三角測量技術或貝葉斯濾波器，從非內窺鏡導出刀具狀態信息和內窺鏡導出刀具狀態信息中的兩者或任意一個或者從非視覺導出刀具狀態信息和視覺導出刀具狀態信息中的兩者或任意一個，來確定刀具狀態。所述非內窺鏡導出刀具狀態信息從傳感器數據中導出，所述傳感器數據由與用來操縱刀具的機構有關的傳感器提供，或由能夠檢測從刀具發射或反射并指示其位置的可識別信號的傳感器提供，或由用來觀測從身體延伸出的刀具的末端的外部照相機提供。所述內窺鏡導出刀具狀態信息從圖像數據中導出，所述圖像數據由插入在身體中以觀測刀具的內窺鏡提供。
文檔編號A61B1/00GK103211563SQ20131005478
公開日2013年7月24日 申請日期2006年5月8日 優先權日2005年5月16日
發明者B·D·霍夫曼, D·Q·拉金, G·普里斯科, G·G·張, R·庫馬爾 申請人:直觀外科手術操作公司