具有三維視覺指示功能的三維立體數字放大鏡系統的制作方法

專利名稱：具有三維視覺指示功能的三維立體數字放大鏡系統的制作方法
技術領域：
本發明涉及利用國際互聯網等通信網執行技術指導的系統。更詳細而言，該系統是涉及基于人的直視來執行的醫學手術或其它以手作業來執行的精密特殊技術教育課程的傳送，或特定的顧客執行的醫學手術或其它以手作業來執行的精密特殊技術的教育指導(把不具有專門知識的人當作機器人，基于遠程觀察該當作是機器人的人的視野而得到的信息，以三維的圖像合成產生的視覺指示、聲音指示等進行控制)，或者，操作者的視線不離開手術范圍，將直接手術范圍圖像和不可視范圍的圖像信息提供到操作者的視覺視野中的系統。
背景技術：
一般來說，以臨床現場的方式指導醫學手術或其它以手作業來執行的精密特殊技術時，操作者和指導者的視野方向和體位并不相同，因此難以指導正確的使用器具等的手部技術，不僅導致手術時間增加，由于指導者妨礙操作者的視覺而導致需要暫時中斷作業，而且如果在涉及下意識的手術現場中，恐怕會成為使患者產生不安而造成心因性的休克等的原因。
反過來說，當指導者對受講者指導進行的醫學手術等精密技術時，從和指導操作者(講師)相同的理想視野，對閉鎖的部位的手術、以及欲實施技術觀摩時，不僅是在各施術階段中必須耗費長時間使多個的受講者(顧客)依序觀摩施術狀況，并且因為施術設備的物理限制，使得在可同時觀摩的人數上有所限制，因此僅能以少數人為其對象。再者，指導手術者(講師)和受講者(顧客)所使用的語言不同時，在施術現場必須要有翻譯同席，因此，造成每一位受講者(顧客)的教育課程學費高漲。
再者，當對操作者進行指導情況下，指導者對受講者進行指導情況下，實施手術者為了確認X光片、CT、MRI、心電圖等的信息，必須將視線從視野挪開而觀看，很難在遠程實時共享信息。
而且，在醫學手術的情況下，難以為了教育課程而將患者移動到遠程，其它以手作業執行的特殊技術時，若需要大型設施或無法移動的機械器具時，觀摩受講者(顧客)不僅需將日程調整到施術時間，還需面對大量的交通費和移動所需時間成本。使用各種通信方法傳送到遠程的情況下，以及將個人的醫學手術向第三者基本公開的情況下，基于隱私的問題，必須取得患者本人的同意，也必須對于信息在通信路徑中的泄露同樣地擔負責任。反過來說，實施要在遠程實施的精密作業的實技指導或醫學手術的指導時，因為指導者(講師組)必須移動到現場而需要大量的經費，所以不僅是指導的相關諸項費用(交通費和移動的時間成本)高漲，而且如果是在移動上耗費長時間的遠程，會使得難以應對緊急醫學手術，由多個指導者(導師組)進行指導時，各種費用會更為提高，應對緊急醫學手術也更加困難。再者，依據醫師執照的法律規定，禁止在海外實施醫療行為，因此，基本上，在諸外各國，指導者(講師組)無法親自直接操刀進行實況手術觀摩教育課程的授講以及手術的實技指導。
再者，操作者(顧客)希望實際進行醫學手術或其它以手作業執行的精密特殊技術的指導時，使散居各地的具有優秀技能或知識的人才的指導者(講師組)在指定時間齊聚一堂對手術進行監督或管理，可以說是不可能的。而且，能夠對于共享的三維圖像顯示三維指示圖像并進行討論的系統不存在。
專利文獻1日本國特許第3556829號發明內容然而，如前所述，一般而言，以臨床現場來指導醫學手術或其它以手作業來執行的特殊技術時，通過確保指導者與操作者同一視野，而進行確實的指導，以防止手術時間增加。而且，內容在于，即使在涉及下意識的手術現場，也使患者不會意識到指導者的存在，而使其不必懷有不必要的不安。
反過來說，指導者對受講者指導執行的醫學手術等精密手術時，從和指導者(講師)相同的理想視野中，對于閉鎖的部分的手術，以及欲實施技術觀摩時，可以同時讓多數人觀摩。再者，指導者(講師)和受講者(顧客)所使用的語言不同時，無須特別在施述現場安排翻譯同席，因此，使每一位受講者(顧客)的教育授課學費為定額。
再者，當指導操作者的情況下，或指導者指導受講者的情況下，當實施手術者確認X光片、CT、MRI、心電圖等的信息時，可以無須將視線從視野挪開而觀看，并能夠在遠程實時共享信息。
而且，在醫學手術的情況下，無須為了教育課程而將患者移動到遠程，反之，減輕觀摩受講者(顧客)的交通費和移動所需的時間成本。在上述使用各種通信方法傳送到遠程的情況下，也能防止個人信息的泄露。反過來說，實施在遠程實施的精密作業的實技指導或醫學手術的指導時，可以減少指導者(講師組)的各項費用(交通費和移動的時間成本)，如果是在需要長時間移動的遠程，也能夠應對緊急醫學手術，并且，能夠由多個指導者(導師組)來進行指導。再者，規避了醫師執照的法律規定，在諸外各國中，指導者(講師組)能夠親自直接操刀進行實況手術觀摩教育課程的授講以及手術的實技指導。
再者，操作者(顧客)希望實際進行醫學手術或其它以手作業執行的精密特殊技術的指導時，能夠使散居各地的具有優秀技能或知識的人才的指導者(講師組)在指定時間齊聚一堂對手術進行監督或管理，并且，能夠對于共享三維圖像實時進行討論。
本發明以國際互聯網或內部網為通信手段，將多個附加功能加入用于實施基于人的直視來進行醫學手術或其它以手作業來執行的精密技術的支援、支援及指導教育課程的三維立體數字放大鏡的系統，具有三維視覺指示功能的三維立體數字放大鏡系統，其特征在于當實施該醫學手術或其它精密技術支援、支援以及指導教育課程時，最小的構成為，所述三維立體數字放大鏡系統由操作者及指導者所佩戴的同步的同一標準、且設于兩眼正前方的一對LCD所構成，從該三維立體數字放大鏡前面對應于佩戴作業者左右瞳孔中央部位的位置，使用包含向著裸眼視野方向裝設的一對變焦鏡頭的三維立體數字放大鏡構成的裝置，在操作者及指導者雙方的三維立體數字放大鏡LCD監視器所共享顯示的操作者佩戴著的三維立體數字放大鏡的CCD攝影機所捕捉的操作者視野立體圖像上，通過浮動圖像處理裝置，將指導者端的CCD攝影機所捕捉的指導者端的三維立體數字放大鏡CCD攝影機前方視野所有區域覆蓋的已設的RGB顏色中，考慮對應視野圖像背景色的補色關系，在紅、綠、藍的單一色底色(針對在口腔內的血液及肉的紅色的補色的紅色為佳)的背景前面，指導者在三維立體數字放大鏡的LCD監視器上辨識的同時，僅將為了執行視覺指示所操作的在指導者視野內維持的可自由移動的立體標示裝置，或者與操作者使用的器具相同的各種器具(虛擬物)的三維圖像抽出，并通過圖像色度鍵合成圖像處理裝置，將浮動的三維視覺指示圖像以0％～100％的比例變更其透明度，或為了使色彩上容易辨別而變換后，合成顯示，并在操作者、指導者雙方的LCD上合成顯示。通過該三維立體數字放大鏡系統，操作者或指導操作者無須將視線離開施術范圍，在攝影觀察視野時，操作者的頭等不會造成阻擋，而能夠得到理想的攝影角度，因此操作者無須顧慮攝影機位置，能夠專注在手術施行。
當然，該指導行為是可能為指導者在離開施術環境的場所進行指導，因此，是在患者完全不知情的情況下實行，所以不僅是不會對患者造成不必要的心理影響，相對操作者通過操作者戴著的三維立體數字放大鏡視野圖像所捕捉到的眼前的實體(患者)，而將指導者在指導三維立體數字放大鏡的操作者視野圖像虛擬空間上操作的、與操作者實際使用的器具相同的器具立體圖像，在操作者LCD上的立體圖像上的作業空間中，同時表現三維的深度，不僅能夠接受指導者所施行的具有真實感的模擬的指導，而且對于操作者，操作者自身可以容易地在視覺上做出使用相同器具施術的狀況，因此，即使在操作者和指導者由言語造成意思溝通不足的情況下，也可以在視覺上充分彌補。
通過執行視覺指示的實技的教育指導服務，無須一個或多個的指導者(講師組)的移動相關的時間和金錢的花費，在醫學手術中，即使在遠程也能夠緊急應對。
而且，在醫學手術中，無須將患者從任意的手術設施移動，即使當教育課程的指導操作者(講師)和受講者(顧客)的醫師執照頒發國家不同的情況下，也無須受到醫師執照的限制，而可以超越國境指導受講者(顧客)。將該三維立體數字放大鏡裝置進一步發展，在操作者和指導者共享的操作者視野圖像中，以施術患者的事前CT或MRI等的斷層攝影信息為基礎所制作的任意的骨、血管、神經組織等的解剖學的三維圖像，或所述解剖學的三維透視圖像上，更以立體方式合成顯示切開或骨切削等的位置的外科手術定位板圖像，同樣以0％～100％的比例，尤其是變更表示解剖學的指標的部位或組織的透明度或色調，或者通過以線條框來表示對于所述操作者三維立體數字放大鏡CCD圖像信息提供視覺的差異，合成顯示可以圖像處理變換成容易判別的三維圖像信息，由此可以使操作者猶如可以透視皮膚或軟組織，而可以視覺掌握血管或骨的形狀，或是進一步透視骨，而可以視覺掌握骨中分布的神經的樣子，因此可以實施安全且確實的手術。但是，必須考慮到佩戴著HMD的操作者和手術區域的對象的三維的位置常會有變化。為了解決此問題，必須將該解剖學的三維圖像或外科手術定位板圖像，正確地疊合于顯示在操作者HMD的手術區域圖像上，對應于操作者頭部的位置變化和患者的體位變化，解剖學的三維透視圖像或外科手術定位板圖像追蹤操作者CCD攝影機所捕捉的手術區域圖像。為使如上所述的構成可以應用于臨床，從操作者三維立體數字放大鏡的左右各個同步的兩個CCD攝影機的攝影操作者視野圖像中擷取靜止畫面，在上述各個圖像上的如牙齒或骨這樣的解剖上普遍的硬組織上的三點設置基準點，記錄上述各三點共計六點的位置信息。通過該左右兩個CCD攝影機的三點位置測量，記錄三維的操作者和患者的位置關系，通過追蹤作為操作者視野圖像中(動畫)基準的三點的位置移動，可以總是掌握到三維的操作者三維立體數字放大鏡和患者的體位的位置變化。同時，將與解剖學的三維圖像或外科手術定位板圖像上的上述硬組織上的基準的三點相同的三點，正確描繪到從上述的操作者三維立體數字放大鏡的兩個CCD攝影機信息分別擷取出的靜止畫面上的解剖學普遍的硬組織上的三點，使手術區域圖像中的解剖學的三維圖像或外科手術定位板圖像位置正確疊合，記錄手術區域三維圖像中的解剖學的三維圖像或外科手術定位板圖像在操作者三維立體數字放大鏡所捕捉的視野空間中的三維的位置。由此，可以依據操作者三維立體數字放大鏡和患者的體位的三維位置移動，以三維追蹤解剖學的三維圖像或外科手術定位板圖像。
這些解剖學的三維圖像或外科手術定位板圖像，可以在遠程統一管理運作。舉例而言，當離主治醫生很遠的地區需要緊急手術等情況下，操作者利用各種通信手段，傳送正要施行手術的患者的可以從三維立體數字放大鏡得到的左右CCD攝影機信息，在遠程，從該接收信息(從操作者的三維立體數字放大鏡得到的左右CCD攝影機信息)中擷取任意的靜止畫面，通過將解剖學的三維圖像或外科手術定位板圖像重疊以校正其位置，執行手術區域圖像信息的位置的變化的電子運算處理，依據該三維的移動量，在追蹤上述解剖學的三維圖像或外科手術定位板圖像的基礎上，傳送疊合的合成圖像，并可將其以立體圖像顯示于操作者佩戴著的三維立體數字放大鏡LCD上。
再者，像上述的解剖學的三維圖像或外科手術定位板圖像的顯示或三維視覺的指導，本系統并不限于是操作者和指導者1對1的狀況，多個的指導者可以同時參加指導。在這種指導狀況中，將操作者視野圖像當作一個桌面，在該桌面上，操作者和多個的指導者可以就各個專門領域進行意見交換，此時，桌面的管理實權可以依據預先決定的順序來運作，由此可以容易地管理操作共享的桌面(顯示畫面)而不會造成混亂。
同樣地，通過將從操作者佩戴著的三維立體數字放大鏡的CCD攝影機得到的三維圖像信息，以國際互聯網或內部網等的通信裝置傳送，并儲存在服務器內，可以使多個同時佩戴了同步的三維立體數字放大鏡的人，通過國際互聯網或內部網來分享該圖像信息。該圖像雖為儲存動畫圖像，但是操作者實際施術時的手術區域視野圖像，因此，能夠非常具有臨場感且高真實度。而且，與該多個視聽者所共享的手術區域圖像信息一樣儲存于服務器中，使得以施術患者的事前有的CT或MRI等的斷層攝影信息為基礎所制作的任意的骨、血管、神經組織等的解剖學的三維圖像，或該解剖學的三維透視圖像上，更通過圖像位置校正追蹤裝置，將切開或骨切削等的位置正確地立體圖像合成的外科手術定位板圖像，能夠由各個視聽者隨時可以切換顯示/不顯示，由此，可以得到信息量更多的手術示范。再者，在各個作為視聽裝置而佩戴著的三維立體數字放大鏡的圖像中，從利用上述三維立體數字放大鏡的CCD攝影機所得到的視聽者視野圖像中，通過浮動圖像處理裝置去除背景圖像，僅抽出使聽者操作的立體標示裝置，或與操作者所使用器具相同的各種器具(虛擬物)的圖像，以0％～100％的比例變更其透明度，并且，將各個視聽者變更色彩的浮動圖像，在以可以讓各個視聽者隨時切換顯示/不顯示的狀況下的儲存圖像上進行色度鍵合成，利用國際互聯網等通信線路，對于三維動畫或靜止畫面，通過雙向通信，使得能夠討論或手術模擬。
再者，使用各種通信裝置，將在遠程的醫學手術向第三者公開傳播時，關于患者的隱私權的問題，通過認證密碼等限制存取，以及在提供三維圖像的兩通道施以不同的圖像重組處理(編碼化)，在用作通信設備的計算機上執行軟件解碼，或在三維立體數字放大鏡的硬件內設有具有解碼功能的積成電路，或者，通過在三維立體數字放大鏡(終端)辨識分割碼，以實現更高的安全性。而且，依據這些信息的一定規定的公開，不僅有利于各種技術的發展，而且有能力的技術者(醫師等)的發掘，或最新的優良技術，可以很快地以世界規模進行普及。
此外，使用可以閱覽、指導、及記錄非常多信息的三維立體數字放大鏡，而虛擬體驗操作者的施術狀況時，選定指導者或照護者時，不受到地區或時間的限制，可以在網上提供信息交換場所。而且，因為可以客觀核定技量，所以操作者購買支援及指導教育課程時，不僅是指導操作者(講師)單方面的宣傳廣告內容，或者已接受教育課程的熟識者的主觀評價，而可以提供第三者機關的高可信度的客觀評價基準，不僅可以容易地對于指導的技術評價及技術指導費加上其正當性，并且當選定指導者(照顧者)時，通過各個專門領域提示其技能，經驗或指導語言等條件以及報酬金額，使得能夠容易地依據施術內容選定最適合的人才。
在網上與該注冊醫師或技術者締結金錢契約，當操作者或指導者單方不履行該施術指導或照護行為的契約時，依據預先約定的內容對損害進行罰款，通過該系統，未曾謀面的操作者和指導者間的契約事項是在申請時成立其契約，所以不僅是在遠程待命的上述人才(指導者)或操作者可以安心接受人才派遣，在網上主掌該申請方法的網絡管理者，通過使操作者事先選取對于指導者(照護者)的第二、第三希望人選，而可以彌補操作者的實質損害，依據實際狀況，依據指導者的技量而給予折扣，可以避免問題的發生。
而且，在指導者(照護者)使用三維立體數字放大鏡系統的施術行為中，當發生醫療過失等不滿意的狀況時，依據三維立體數字放大鏡系統信息的記錄，當然可以容易地確認過失的所在，并依據各施術內容的難易度和指導者或照護者的各專門領域的對應相關程度，預先在契約內容中設定責任范圍和指導費用的變化，明確對應于依據契約內容的提示操作者的指導費用的責任范圍，不僅可以分散醫療過失及瑕疵的賠償風險，作為一般中途體制交納保險的保險費判斷基準的操作者的技量，而可以對每一施術行為，將病例難易度、指導者(照護者)的技量、及體制(人數)等的因素加入考慮，可以設定更實際而合理的保險費用，該保險費的計算基礎為，將該系統的操作者及指導者(照護者)的使用經驗和實績(成功率或預后生存率)進行累計，而可以提升其正確性。
如前所述，該三維立體數字放大鏡，是可以虛擬體驗操作者的施術狀況，關于指導者的技量，將指導者的施術狀況，信息量非常大且實時地，能夠僅以同一標準的三維立體數字放大鏡同時傳送的系統，其可靠度極高，可以虛擬體驗觀察施術狀況的三維立體數字放大鏡系統，而且，錄像于記錄介質中，可以客觀評估技量。因此，在過去醫療領域中實施醫療行為的監督時，將在診斷內容與醫療行為的整合性的監督的始終相同的監督內容更進一步擴大，因為可以客觀評估外科的領域(醫師個人的技量)，不僅可以促進醫師個人的技量的提升，也可以提升整體的技術水準。
當然，操作者實際下刀施術時，在操作者視野圖像中合成顯示的解剖學的三維圖像、或外科手術定位板圖像，或者，多個指導者指導圖像，插入操作者和指導者共享的視野圖像中，所以上述合成顯示圖像，其各個或全部，依據操作者或指導者的意思，通過不妨礙操作者或指導者的施術行為相關的使用手或腳的操作的開關，可以進行顯示或不顯示的操作，由此，三維立體數字放大鏡的功能作為純粹數字式的放大鏡，并不會妨礙操作者視野，而可以實施安全的手術。


圖1是表示三維立體數字放大鏡構成的圖。
圖2是表示利用同一標準的三維立體數字放大鏡，進行由浮動圖像的色度鍵合成生成的三維指示的概念圖。
圖3是表示在圖1的三維立體數字放大鏡利用國際互聯網執行通信的概念圖。
圖4是表示多個指導者實行圖3的構成的概念圖。
圖5是表示以固定基準平面圖像產生的測量三維位置的概念圖。
圖6是表示解剖學圖像的圖像合成顯示狀態的圖。
圖7是表示本系統中圖像信息的流向。
符號說明1、三維立體數字放大鏡1a、耳機1b、麥克風1c-R右側CCD攝影機1c-L、左側CCD攝影機1c、CCD攝影機2、圖像、聲音、輸入輸出線、3、操作者4圖像、聲音譯碼器5生命跡象測量設備(精密技術環境測量儀)6.6a-1～6a-n個人計算機7.(7a-1～7a-n)指導者(視聽者)8、服務器9、W.W.W(國際互聯網或內部網)10、國際互聯網通信線路11、指示鼠標12、指導者13、聲音輸入麥克風14、受講者聲音發問等的信息/技術指導計劃接收費、教育課程受講申請、受講費結清15、受講者聲音發問(翻譯成為指導操作者使用的語言)等信息、技術指導講師費、教育課程指導費的支付16、指導手術者(講師)放大手術區域圖像、生命跡象、技術施術狀況、指導手術者聲音指導等信息的傳送、教育課程的宣傳廣告17、指導手術者(講師)放大手術區域圖像、生命跡象、技術施術狀況、指導手術者聲音指導(翻譯成受講者使用的語言)等信息的收費傳送/募集教育課程的受講者18、操作者(顧客)放大手術區域圖像、生命跡象、技術施術狀況/個別技術教育指導計劃的購買19、操作者(顧客)放大手術區域圖像、生命跡象、技術施術狀況/個別技術教育指導費的支付20、指導者聲音指導、視覺指示/應征指導者(講師組)21、指導者聲音指導(翻譯成操作者的使用的語言)、視覺指示/指導者(講師組)的公開30、立體指示記號30a、虛擬立體指示記號(虛像)31、單色背景板32、患者33、齒列34a～34c硬組織基準點35、三維位置測量基準平面36、LCD監視器36R，右側LCD36L、左側LCD37、頭盔40、操作者CCD攝影機圖像信息41、指導者CCD攝影機圖像信息42、色度鍵合成圖像信息43、指導者CCD攝影機浮動圖像44、位置校正外科手術定位板浮動圖像具體實施方式
以下，結合

本發明的實施的方式。
在各圖中，賦予同一符號的部分是表示為同一物。圖1是表示三維立體數字放大鏡1的硬件的基本構成的圖。如圖1所示，三維立體數字放大鏡1內部所設置的左側LCD36L及右側LCD36R(監視器)，具有可以涵蓋作為指導者或被指導者的操作者3左右各眼的寬度，并由頭盔37固定在頭(臉)上。而且，在該三維立體數字放大鏡1是戴在臉上的狀態下，左側CCD攝影機1c-L和右側CCD攝影機1c-R是在對應于左右各瞳孔的大約中央的位置，并和三維立體數字放大鏡1設置為一體。而且，這兩個CCD攝影機1c的圖像信息通過在左右各LCD上顯示同步的各個的圖像，提供給佩戴者的三維圖像較少具有像使用光學放大鏡時的那種相同的不愉快感。
CCD攝影機1c以具有變焦鏡頭的自動聚焦CCD攝影機為佳。若為該種攝影機，則對于任意的設定倍率，與操作者頭部和操作部位之間的距離無關，自動調整以自動得到適當的焦點，因此，可以將操作者使帶著頭盔的頭部的位置固定而造成的頸部肌肉疲勞降至最低。
而且，如圖2所示，利用此種三維立體數字放大鏡1系統，將操作者3的左右兩個CCD攝影機1c的圖像信息，分別投影于同一標準的操作者3以及指導者12所佩戴的三維立體數字放大鏡1的LCD，而共享三維視野圖像(患者32的口腔內圖像)。在該共享的操作者視野圖像上，利用指導者12所佩戴的三維立體數字放大鏡1的左右CCD攝影機1c，在單色背景板31前面拍攝立體指示記號30，將浮動虛擬立體指示記號(虛像)30a進行色度鍵合成顯示。關于該立體指示記號30的顯示，可以通過顯示一定時間軌跡，而以線條畫顯示在操作者3視野圖像中，或以靜止畫面顯示。
由此，其為比較簡便的系統，因為使用同一標準的CCD攝影機和LCD監視器，所以無須進行復雜的一個校正，指導者12可以對操作者3提供正確的三維圖像指示。亦即，操作者3使用其雙手，以和實際手術執行情況下相同的姿態，而不是像過去在計算機監視器上執行指示的不自然的動作，而可以以非常自然的體位來指導。將該立體指示記號30換成實際的手術器具等時，指導者12可以對在佩戴的三維立體數字放大鏡1LCD畫面上進行展開的手術區域，在操作者視野虛擬空間執行與實際執行手術時相同的手技動作。相同地，操作者3可以在猶如親自執行手術一樣的狀況下，體驗具有三維深度的器具操作。而且，若使用色度鍵合成圖像處理裝置，能將合成顯示于操作者3視野圖像中的指導者12的三維視覺指示浮動圖像，以0％～100％的比例變更其透明度，或者變更其色調，則實像和虛像可以容易地判別，所以在操作者3和指導者12使用相同器具的情況下，也不會在監視器畫面上造成混亂。
與該指示圖像的色度鍵合成相同，在圖4中，可以將儲存于個人計算機6.6a-1～6a-n或服務器8等中的解剖學的三維圖像、或外科手術定位板圖像，色度鍵合成顯示在操作者視野圖像上。此時，解剖學的三維圖像、或外科手術定位板圖像，通過以0％～100％的比例進行圖像處理變換、或變更其透明度或色調，或線框處理，對于操作者三維立體數字放大鏡CCD圖像信息容易地提供視覺差異。像這種解剖學的三維圖像、或外科手術定位板圖像層，如圖5所示的操作者三維立體數字放大鏡CCD圖像信息中的靜止畫面中選定以患者齒列33牙齒上的硬組織基準點34a～34c的三點為基準點，以及該患者的解剖學的三維圖像、或三維外科手術定位板圖像上的齒列7牙齒上的硬組織同一點為基準點，在圖4所示個人計算機6.6a-1～6a-n或服務器8上進行描繪，在操作者3視野圖像中作為如圖6所示的透視圖像，在圖1操作者3及指導者12佩戴著的三維立體數字放大鏡1的LCD上進行正確疊合使得三維等縮的同時執行三維的位置校正。執行該縮尺校正和位置校正時，根據部位難以直接求得硬組織基準點時，在CT或MRI攝影的情況下，在手術時，通過在可以從三維立體數字放大鏡1的CCD攝影機清楚看到的相異三點的皮膚上不動點，貼上鉛等標示記號，并且在三維外科手術定位板顯示鉛等的標示記號，使其與在顯示三維立體數字放大鏡1的手術區域圖像的右側CCD攝影機1-和左側CCD攝影機1c-L的各個靜止圖像上的相異三點的標示記號，皮膚上的同一(相同)點相一致，以正確進行位置校正。此時，雖是難以在左右LCD上同時進行位置校正和等縮校正，但本發明的三維立體數字放大鏡1的左右LCD監視器和CCD攝影機是同一標準，因此，在左右任一者的LCD畫面上執行等縮操作，在一個LCD監視器上從相異的兩方向進行位置校正(疊合)，由此，可以簡單地記錄位置信息。而且，手術部位為頭部時，尤其是跨越上顎下顎時，在各個部位分別求取其三點的基準點，并準備兩個獨立的外科手術定位板，自動追蹤各個浮動外科手術定位板圖像。
若縮尺校正和位置校正后的解剖學的三維圖像層、或三維外科手術定位板層圖像為，患者齒列33牙齒上的硬組織基準點34a～34c的三點所構成的三維位置測量基準平面35的變位捕捉為操作者3三維立體放大鏡1的左右兩個CCD1c的圖像信息，以個人計算機6.6a-1～6a-n或服務器8測量三維位置，針對操作者CCD攝影機位置變化及患者的姿態變化，追蹤鉛等標示記號或圖像上的基準點，自動且實時進行三維的位置校正，而且，將解剖學的三維圖像層、或三維外科手術定位板層圖像合成顯示于操作者視野圖像中。此時，也可以如上述那樣利用圖像作為捕捉患者體位變化的手段，進而，也可以以在圖像上更明確顯示基準點的目的，在患者頭部的普遍的硬組織上取得的相異三點上，設置如LED等的發光體。或者，患者的硬組織等的不動點和操作者佩戴著的三維立體放大鏡上，分別裝設羅盤結構，記錄患者及操作者三維立體放大鏡相對于定點(基準點)的三維的位置變化，與從操作者三維立體放大鏡得到的左右CCD攝影機信息的靜止畫面上的基準點正確疊合，使得執行初期校正的解剖學的三維圖像、或三維外科手術定位板圖像層，能夠依據患者體位的變化或者操作者頭部的移動進行三維的追蹤。
若發展該系統，則如圖4所示，可以讓多個指導者共享操作者圖像，各科的專科醫師給予適當的建議。該建議為，將來自生命跡象測量設備5的信號在三維立體放大鏡1的LCD監視器邊緣顯示為字幕，使得不損害手術區域圖像，由此，操作者3和全體指導者12可以進行共享，不僅可以更確切地掌握現場狀況的同時進行指示，而且操作者3可以無須將視線從手術區域移動到監視器等，而可以集中在手術上。
而且，能夠在上述三維立體放大鏡1相同的圖像上，將加上了由其它的指導者等以立體指示記號30或線條畫等寫入，或者通過三維標示指示提供的指導解說的圖像信息，通過國際互聯網等通信網傳送時，通過該立體指示記號30提供指導解說時，使動畫圖像暫時成為靜止圖像，在該靜止圖像的狀態，執行上述寫入或標示指示，將該附有寫入或標示指示的靜止畫面的合成圖像，傳送到接受指導的多個人的終端。或者，相反地，操作者在操作者監視器上接收來自遠程的指導者的寫入或標示指示以支援施術時，使由指導者端傳送的動畫圖像暫時成為靜止圖像，該靜止圖像上進行寫入或標示指示等，該合成靜止圖像也可以傳送到該操作者的監視器。
如上所述的寫入或標示指示也可以實施于動畫，并不將其排除，但是使動畫為靜止畫面時，將三維立體放大鏡1的LCD畫面劃分，在視野圖像中另行顯示，之后再回到動畫是有效的。而且，如上所述的以標示來指示或寫入，在操作者等為指導端時，一般是將操作者的施術圖像實況表示的第三者、或具有服務器8的教育系統的服務公司的負責指導者來執行。如上所述，使動畫暫時成為靜止畫面執行標示指示后，再回到動畫的手法，是周知的技術，因此不加贅述，亦即，將CCD攝影機等的圖像信息的某一瞬間儲存在圖像存儲器中，將其讀出的同時，擷取從輸入裝置輸入的標示指示等的圖像(此可以為靜止，也可以為動畫，移動標示指示來說明指導時，標示圖像等為動畫較佳)，可以將其進行層處理或在存儲器上的合成等周知的方法進行合成。由此，將服務器8中儲存的三維立體放大鏡操作者三維圖像信息、和手術區域圖像中對三維的正確等比例尺三維透視圖像合成顯示的外科手術定位板圖像信息，利用國際互聯網等的通信線路，使多個佩戴著同步的三維立體放大鏡的視聽者7a-1～7a-n進行共享，可以通過雙向通信，針對三維動畫或靜止圖像進行討論。
通過這些全部圖像的通信，從保護患者的隱私權的觀點而言，全部的通信數字信號數據，通過圖像、聲音譯碼器4顯示于三維立體放大鏡1上，以不具有硬件解碼裝置的一般個人計算機裝置竊取時，信息泄露的危險性較低。
而且，將從該立體數字放大鏡裝置1得到的圖像信息，及施加于該圖像信息上的、在醫學手術時表示患者的生命跡象的狀況、而在其它的精密技術的情況下表示各個技術施術狀況的環境的照度、溫度、濕度、壓力、速度等的數值或圖表的圖像信息，從操作者佩戴著的聲音麥克風聽到的聲音信息，及以立體指示記號30等表示的視覺指示信息，從和國際互聯網9連接的終端個人計算機6，傳送到教育課程傳播公司服務器8。
教育課程傳播公司服務器8所接收的信息，通過國際互聯網9直接傳送到終端個人計算機6a，或由教育課程傳播公司服務器8施以對應各種語言的翻譯或圖像處理再傳送。相同地，從終端個人計算機6的聲音麥克風1b得到的聲音信息，及立體指示記號30等的視覺指示信息，從和國際互聯網9連接的終端個人計算機6，可傳送到教育課程傳播公司服務器8。
教育課程傳播公司服務器8所接收的信息，通過國際互聯網9直接傳送到終端個人計算機6a-1～n，或由教育課程傳播公司服務器8施以對應各種語言的翻譯或圖像處理再傳送。
接著，在上述圖1所示的傳播系統中，如圖3所示，將實施方法分為操作者3(指導者)對聽講者(顧客)執行指導的情況以及如圖4的專門指導者(講師組)對操作者(顧客)執行指導的情況，并根據附圖進行說明。
這樣，如圖3所示，操作者(指導者)3對聽講者(顧客)實施基于人的直視執行的醫學手術或其它精密技術的支援及指導教育課程時，針對從操作者3佩戴著的圖1的三維立體數字放大鏡1的三維CCD攝影機1c得到的放大手術區域圖像，利用終端個人計算機6，將生命跡象監視器5或精密技術環境測量儀5的數據和圖像、聲音譯碼器4的信息進行合成，通過圖像、聲音譯碼器4，投影在戴在指導操作者(講師)頭部的眼鏡型LCD監視器1d上，并施加在放大手術區域圖像上。
上述投影在LCD監視器1d的圖像信息，及麥克風1b的聲音指導信息，從終端個人計算機6，利用國際互聯網9，直接傳送到特定契約受講者(顧客)的終端計算機7a-1～7a-N，或傳送到技術支援、支援及指導教育傳播系統傳播公司服務器8。當操作者(指導者)和受講者(顧客)所使用的語言不同時，該信息在技術支援、支援及指導教育傳播系統傳播公司服務器8中，教育課程傳播中逐一或同時翻譯成受講者(顧客)的語言，并傳送給受講者。由此，多數的特定契約受講者(顧客)能夠以如同在現場一般的臨場感，來虛擬體驗傳送到終端計算機7a-1～7a-N的醫學手術或其它精密技術的相關施術狀況。
上述通信構成是可以雙向利用，因此，受講者(顧客)的發問事項等，通過終端計算機7a-1～7a-N的麥克風1b輸入聲音，通過國際互聯網9反方向地傳送到服務器8，將發問內容整理為沒有重復，從技術支援、支援及指導教育傳播系統傳播公司服務器8，利用國際互聯網9，同樣地傳送到指導操作者(講師)的耳機1a。
指導操作者(講師)3a，對于特定受講者(顧客)的發問，以麥克風1b將聲音輸入終端個人計算機6a，通過國際互聯網9，傳送到技術支援、支援及指導教育傳播系統傳播公司服務器8。再者，受講者(顧客)和操作者(指導者)使用的語言不同時，在教育課程傳播公司服務器8逐一或同時翻譯成受講者(顧客)的語言，通過國際互聯網9，傳送到受講者(顧客)的終端計算機7a-1～7a-N。
相反地，如圖4所示，專門指導者(講師組)從遠程指導操作者(顧客)3b時，從操作者(顧客)3佩戴著的圖1的數字放大鏡的二維或三維CCD攝影機1c取得的放大手術區域圖像信息A及加在放大手術區域圖像上的生命跡象信息B或精密技術環境測量儀的圖像信息B，及由麥克風1b輸入的顧客操作者的發問內容C，以圖像、聲音譯碼器4輸入到終端個人計算機6，從終端個人計算機6通過國際互聯網9，傳送到技術支援、及指導教育傳播系統傳播公司服務器8。
操作者(顧客)3b和專門指導者(講師組)7使用的語言不同時，這些信息在教育課程傳播公司服務器8逐一或同時翻譯成專門指導者(講師組)的語言，并傳送到專門指導者(講師組)7。在此通過教育傳播系統傳播公司服務器8，通過國際互聯網9，傳送到一人，或跨越多個技術內容的領域時傳送到多個專門指導者(講師組)的終端計算機7b-1～7b-N。
專門指導者(講師組)7，為了觀察終端計算機7b-1～7b-N上顯示的操作者(顧客)3的放大手術區域圖像信息A及加在放大手術區域圖像上的生命跡象信息B或精密技術環境測量儀的圖像信息B，同時進行技術指導及疑問回答，利用終端計算機7b-1～7a-N，輸入以虛擬立體指示記號30a進行圖像指示指導，或以麥克風1進行的聲音指導，該輸入信息通過國際互聯網9反方向傳送到技術支援及指導教育傳播系統傳播公司服務器8，并通過國際互聯網9傳送到操作者(顧客)3端。
在此，專門指導者(講師組)12和操作者(顧客)3的使用語言不同時，在教育課程傳播公司服務器8，逐一或同時翻譯成操作者(顧客)3的語言，直接將虛擬立體指示記號30a信息傳送到操作者(顧客)3佩戴著的圖1的三維立體數字放大鏡LCD監視器36上，將聲音指導信息傳送到耳機1a。如此一來，通過對特定契約者的操作者(顧客)3實行雙向通信，可以提供實技的指導服務。
再者，在圖1中連接于國際互聯網9的終端個人計算機6及終端個人計算機7，因為與國際互聯網9連接，所以當然具有可以存取教育課程傳播系統傳播公司服務器8的主頁的功能。
由此，利用教育課程傳播系統傳播公司服務器8的主頁，聽講者(顧客)購買技術支援及指導教育課程時，教育課程傳播系統傳播公司服務器8的主頁上，可以看到各計劃的指導操作者(講師)的經歷、技術內容或專門領域、使用語言、指導時間、受講費等一般廣告內容，此外還可以看到實時的各課程的人氣指標、已聽講過的受講者(顧客)的評價，由此，可以得到指導操作者(講師)方面的宣傳廣告內容，或已經聽講過同一教育課程的熟識者的主觀評價之外的客觀判斷基準。相同地，當受講者(顧客)申請參加教育課程時，可以在教育課程傳播系統傳播公司服務器8的主頁上進行事務處理受講費的結清。
再者，授講教育課程的指導操作者(講師)，利用教育課程傳播系統傳播公司服務器8的主頁，可以執行宣傳廣告及參加受講申請接收作業及用于正式接收受理的受講費收款確認作業。
相反地，希望受講操作者(顧客)在購買多個的各領域的專門指導者(講師組)的個別技術教育支援及指導教育課程時，可以閱覽教育課程傳播公司的網絡主頁網址所公開的指導者(講師組)的技術內容或專門領域、使用語言及指導時間或、依據施術單位的個別技術指導教育指導的各費用，希望受講操作者(顧客)，不僅可以依據指導者(講師組)方面的宣傳廣告內容，或已經在同一教育課程中聽講過的熟識者的主觀評價的價值判斷基準，也可以以客觀的評價基準進行逆指名。
而且，依據該教育課程傳播公司的網絡主頁網址上公開的明確的指導費，無須進行指導費用的直接交涉，而且，各專門領域的指導者(講師組)可以由教育課程傳播公司編成適當的團隊以進行高度指導的。而且，操作者(顧客)可以在教育課程傳播公司的網絡主頁網址上，結清教育指導服務費。
而且，與醫學手術或其它精密技術相關，關于以施術內容單位或時間單位收費的實技的教育指導服務講師費，指導者(講師組)可以自動收取教育課程傳播公司依據指導者(講師組)的構成人數劃分的講師費，而可以免于事務手續的繁雜。
而且，以上的說明是以國際互聯網為前提，但本發明并不限于國際互聯網，操作者(或精密作業實施者)端以及從操作者端接收信息的端或接收信息并雙向發信端，也可以以內部網等的封閉的網絡，或利用其它專用線路的通信裝置來連接。而且就通信方法而言，可以適當選取通過通信衛星的通信等。
該系統，信息量多且安全，而且從操作者的視線完全記錄操作者的施術狀況，通過使用讓第三者可以虛擬體驗手術的三維立體數字放大鏡系統，在網上，對于施術照護者，與上述各種服務的技能或經驗或指導語言等的條件一起提示報酬金額，注冊醫師或技術者締結契約，接受在遠程待命的上述人才(指導者)的人才派遣，對于施術發生醫療過失等不滿的狀況時，依據三維立體數字放大鏡系統記錄的評價確認過失的所在，并對應于依據各施術內容和人才與各專門領域的對應相關程度預先訂立的契約內容，及依據契約內容的提示操作者的指導費用，使責任范圍明確，能分散醫療過失及瑕疵的賠償風險。
而且，因為是實時且同時僅可以是同一標準的三維立體數字放大鏡進行通信的系統，所以難以竄改信息，因此其可靠度非常高，因為可以虛擬體驗地觀察操作者的施術狀況，因而可以在遠程客觀查驗操作者技術及是否存在瑕疵。
將在操作者視野圖像中合成顯示的指導圖像，或者操作者視野圖像中合成顯示的解剖學的三維圖像，或外科手術定位板圖像，在操作者主導時依據操作者，而在指導者主導時依據指導者的意思，若使用視線接觸開關、或聲音指令開關等，不會對于操作者或指導者的施術行為相關的使用手或腳的操作造成妨礙。
圖7是表示利用如上述的三維立體數字放大鏡1，通過國際互聯網進行通信的狀況的示意圖的一例。如該圖所示，輸入到操作者個人計算機的操作者CCD攝影機的視野圖像信息40是利用國際互聯網傳送，且在操作者個人計算機中，將從指導者個人計算機通過國際互聯網傳送的指導者CCD攝影機浮動圖像43和色度鍵圖像進行合成，在操作者LCD上顯示色度鍵合成圖像信息42。
相同地，在指導者LCD上所顯示的通過國際互聯網傳送的操作者CCD攝影機的視野像信息40上，從指導者CCD攝影機信息41中將浮動圖像處理過的圖像在指導者個人計算機中進行色度鍵合成顯示，由此，通過在指導者LCD上以實技使用的醫療器具等，指導者能夠以猶如自己親自操刀一般的真實性來進行指導指示。利用同一標準的三維立體數字放大鏡1的該系統，該指導者CCD攝影機浮動圖像43，通過國際互聯網通信線路，若在操作者個人計算機上進行色度鍵合成處理，則操作者CCD攝影機的視野圖像信息40上無須將指導者CCD攝影機浮動圖像43進行位置校正，能夠在操作者LCD上反映和指導者相同的圖像。
再者，將從操作者CCD攝影機取得的信息置入服務器計算機，將經過位置校正及自動追蹤處理的位置校正外科手術定位板浮動圖像44傳送到操作者個人計算機以及指導者個人計算機，若在操作者CCD攝影機的視野圖像信息40上進行色度鍵合成圖像處理，則可以在操作者及指導者的LCD上反映外科手術定位板圖像。這些操作都是基于操作者CCD攝影機圖像信息40來執行，因此，無須執行位置校正，三者可以共享相同的圖像。如該模式圖所示，操作者三維立體數字放大鏡系統和指導者三維立體數字放大鏡系統都具有相同的功能，因此，指導者和操作者可以容易地替換。
而且，本發明的三維立體數字放大鏡系統的構成及通信的主體，并不限于上述的實施形態，在不脫離本發明的要旨的范圍內，當然可以進行各種的變更。
產業上的可利用性本發明的具有圖像合成三維視覺指示功能的三維立體數字放大鏡技術支援及指導教育傳播系統，是關于利用國際互聯網等通信網來執行技術指導的三維立體數字放大鏡裝置。更詳細而言，其是涉及基于人的直視進行醫學手術或其它以手作業來執行的精密特殊技術教育課程的傳送，或特定的顧客執行的醫學手術或其它以手作業來執行的精密特殊技術的教育指導(把不具有專門知識的人當作機器人，從遠程依據從該比作是機器人的人的視野觀察得到的信息，以視覺指示、聲音指示等控制)的三維立體數字放大鏡裝置，而且，通過操作者和指導者使用同一標準的三維立體數字放大鏡，可以構筑一個即使在遠程也無須使用大型設備而可以進行色度鍵合成的工作系統，同時，提供各種教育課程的受講者和指導者的募集方法，以及更便宜的技術指導的指導費用或受講者產生的受講費用的網絡結清方法。一般而言，在將醫學手術或其它以手作業來執行的特殊技術以實況提供觀看的教育課程中，從和指導操作者(講師)相同的理想視野實施對閉鎖的部位的手術以及技術觀摩時，不僅是在各施術階段中必須耗費長時間使多個的受講者(顧客)依序觀摩施術狀況，并且因為施術設備的物理限制，使得可能同時觀摩的人數有所限制，因此僅能以少數人為實施對象。再者，指導操作者(講師)和受講者(顧客)所使用的語言不同時，在施術現場必須要有翻譯同席，因此，造成每一位受講者(顧客)的教育課程學費高漲。
而且，在醫學手術的情況下，難以為了教育課程而將患者移動到遠程，其它以手作業執行特殊技術時，若需要大型設施或無法移動的機械器具時，觀摩受講者(顧客)需將時程調整到施術時間，還需面對大量的交通費和移動所需的時間成本。此外，在希望受講者購買教育課程時，僅能依據指導操作者(講師)方面的宣傳廣告內容，或已經在同一教育課程中聽講過的熟識者的主觀評價的價值判斷基準進行購買考慮，而且，受講費的支付必須依照各講師指定的支付方法分別支付。反之，授講教育課程的指導操作者(講師)，利用各種媒體進行宣傳廣告，無論受講者(顧客)的多寡，接受受講申請之后，為了再度正式受理而必須執行受講費用的收款確認作業。
相反地，實施在遠程執行的精密作業的實技指導或醫學手術的指導時，指導者(講師組)必須移動到現場，由于必須花費大量經費，因此，不僅指導相關的各項費用(交通費和移動的時間成本)提高，且需要耗費長時間在移動，而使得在遠程難以應對緊急醫學手術，由多個的指導者(講師組)進行指導時，各種費用會更為提高，緊急醫學手術的應對也更加困難。再者，當操作者(顧客)和指導者(講師組)使用的語言不同時，必須在施術現場與翻譯同席。
而且，依據醫師執照的法律規定，禁止在海外實施醫療行為，因此，基本上，在該諸外各國中，指導者(講師組)無法親自直接操刀進行實況手術觀摩教育課程的授講及手術的實技指導。
再者，操作者(顧客)希望實際進行醫學手術或其它以手作業執行的精密特殊技術的指導時，指導者(講師組)的選擇，不得不限定在人脈的范圍內，也沒有對各個指導者(講師組)的指導費用的明確計算基準，不得不直接交涉，因此，不僅在指導者(講師組)的選擇上大為苦惱，且各指導費用的支付必須根據指導時間或指導內容，以不同的支付手段分別支付，事務手續很繁雜。
不僅是如此，在以往實施醫療領域中的醫療行為的監督時，在診斷內容和醫療行為的整合性的監督是有用的，即不僅在醫療失誤的判斷有效，在醫療保險領域中，可以作為對醫療行為的成本計算基準。相同地，因為在學術上可以客觀評價外科領域(醫師的個人技量)，所以可以通過在國際互聯網上的實時發表，來舉辦醫學學會等，這對于醫師的直接能力評價，亦即學會認定醫師的選定基準非常有用。
在解決這樣的各問題的基礎上，能夠建構一個實施有效率的技術教育的適當的商業系統。
權利要求
1.一種三維立體數字放大鏡系統，具有三維視覺指示功能，其特征在于所述三維立體數字放大鏡由操作者及指導者所佩戴的、設于兩眼正前方的一對LCD所構成，該系統是利用同一標準的三維立體數字放大鏡，將從該三維立體數字放大鏡前面對應于佩戴作業者左右瞳孔中央部位的位置的、向著裸眼視野方向裝設的一對同步的變焦鏡頭的自動聚焦CCD攝影機的左側CCD攝影機圖像信息，顯示于該三維立體數字放大鏡的左側LCD，并將右側CCD攝影機的圖像信息顯示在該三維立體數字放大鏡的右側LCD，通過國際互聯網或內部網等的通信手段進行通信，使指導者觀看操作者及指導者所共享的操作者手術區域圖像的同時，對操作者基于直視執行的醫學手術或其它精密技術的支援以及指導教育所使用的系統，其包含浮動圖像處理裝置，其在所述指導者端的三維立體數字放大鏡裝置的CCD攝影機前方視野前面，從所述指導者端的CCD攝影機所捕捉的指導者視野圖像中，僅抽出用于指導者進行視覺指示所操作的立體標示裝置或者與操作者使用的器具相同的各種器具(虛擬物)的圖像，而去除背景圖像；以及圖像色度鍵合成圖像處理裝置，在操作者及指導者所共享的操作者三維立體數字放大鏡裝置的CCD攝影機取得的操作者視野圖像上，將從該圖像處理裝置輸出的無背景的浮動三維視覺指示圖像合成顯示，最小的構成為，利用操作者及指導者所佩戴的一對以相同標準同步的三維立體數字放大鏡，指導者利用指導者所佩戴的三維立體數字放大鏡的LCD監視器上投影的操作者的CCD攝影機所捕捉的操作者視野立體圖像(對指導者來說是虛擬的立體圖像)中進行色度鍵合成顯示的、指導者CCD攝影機所捕捉的指導者視野圖像中通過浮動圖像處理抽出的、指導者操作的立體標示裝置或與操作者所使用的器具相同的各種器具(虛擬物)的圖像，在操作者視野立體圖像中以立體方式執行具有臨場感的視覺指示。
2.一種三維立體數字放大鏡系統，具有三維視覺指示功能，其特征在于具有合成顯示的色度鍵合成圖像處理裝置，所述色度鍵合成圖像處理裝置將從如權利要求1所述的該圖像處理裝置輸出的指導者所操作的無背景的浮動的立體標示裝置或與操作者所使用的器具相同的各種器具(虛擬物)的三維視覺指示圖像，在該操作者佩戴的立體數字放大鏡的CCD攝影機的操作者視野圖像信息上進行色度鍵合成顯示時，使操作者的作業狀況視野圖像和該指導者的三維視覺指示圖像重疊，為了防止對操作者視野和施術行為產生視覺妨礙，并且，使操作者容易地判別指導圖像，將所述指導者的三維視覺指示圖像以0％～100％的比例變更其透明度，或者變更其色調的基礎上進行合成顯示。
3.一種三維立體數字放大鏡系統，具有三維視覺指示功能，其特征在于具有圖像位置校正追蹤裝置，在將如權利要求1及2所述的操作者指導者雙方的LCD上顯示的操作者三維立體數字放大鏡CCD圖像信息以0％～100％的比例變更其透明度的圖像上，對在以施術患者的事前有的CT或MRI等的斷層攝影信息為基礎所制作的任意的骨、血管、神經組織等的解剖學的三維圖像，或該解剖學的三維透視圖像上，更以立體方式合成顯示切開或骨切削等的位置的外科手術定位板圖像，同樣以0％～100％的比例，尤其是變更表示解剖學的指標的部位或組織的透明度或色調，或者通過以線框顯示等來對于所述操作者三維立體數字放大鏡CCD圖像信息提供視覺的差異，由此，將能夠容易判別圖像處理變換后的三維圖像信息，以操作者三維立體數字放大鏡CCD圖像信息中的任意指定的如牙齒，或者骨這樣的不會變形的硬組織上的三點為基準點，以利用所述三維立體數字放大鏡的左右CCD的三維位置測量作為基準三角平面，將解剖學的三維圖像，以三維等縮重疊于該操作者三維立體數字放大鏡CCD圖像上，針對由操作者CCD攝影機位置變化及患者姿態的變化所造成的三維立體數字放大鏡CCD圖像信息的基準點的位置變化，所述解剖學的三維圖像自動且實時地執行位置校正，針對操作者對應于患者的視野角度的變化，或者患者姿態的變化，總是自動執行位置校正而顯示在三維立體數字放大鏡的LCD的操作者視野圖像中以三維的方式，合成顯示正確的等比例尺三維透視圖像。
4.一種三維立體數字放大鏡系統，具有三維視覺指示功能，其特征在于利用國際互聯網或內部網等的通信手段，在遠程，以預先在遠程保存的施術患者的CT或MRI等的斷層攝影信息為基礎所制作的任意的骨、血管、神經組織等的解剖學的三維圖像，或以該解剖學的三維透視圖像為基礎，操作者或第三者(其它的醫生)將切開或骨切削等的位置預先設計了的外科手術定位板圖像，在遠程執行與如權利要求1～3所述的該操作者三維立體數字放大鏡CCD圖像信息進行合成處理，正確進行疊合，將顯示如透視實體狀況的各個合成顯示圖像，通過圖像位置校正追蹤裝置，針對操作者CCD攝影機位置變化及患者姿態的變化實時自動地執行位置校正，并能夠將合成顯示于三維的正確位置的圖像傳送給該操作者及指導者。
5.一種三維立體數字放大鏡系統，具有三維視覺指示功能，其特征在于將權利要求1所述的操作者三維立體數字放大鏡操作者三維圖像信息，以及在權利要求3所述的手術區域圖像中的三維合成顯示正確的等比例尺三維透視圖像的外科手術定位板圖像信息，儲存于服務器，佩戴了共享該服務器中儲存的圖像信息的多個的同步的三維數字放大鏡的人，可以在各個該操作者三維立體數字放大鏡操作者三維圖像信息中隨時切換顯示或不顯示所述外科手術定位板圖像信息，而且將利用如權利要求1及2所述的各個佩戴著的三維立體數字放大鏡CCD攝影機所得到的三維視覺指示圖像傳送到服務器，并與儲存于服務器的操作者三維圖像合成顯示，利用如國際互聯網等的通信線路，對于三維動畫或靜止畫面，進行雙向通信，由此能夠進行討論。
6.一種三維立體數字放大鏡系統，具有三維視覺指示功能，其特征在于該系統具備多臺如權利要求1～4所述的各個同步的操作者及指導者佩戴著的三維立體數字放大鏡裝置及浮動圖像處理裝置，通過使操作者及指導者共享圖像，多個指導者同時對單一操作者，以三維視覺表示顯示圖像進行指導，或者，依據需要切換顯示操作者的多個視野圖像，由此，通過國際互聯網或內部網等的各種通信裝置，實現單一指導者對多個操作者的三維視覺指示指導。
7.一種三維立體數字放大鏡系統，具有三維視覺指示功能，其特征在于將如權利要求1～2所述的以三維的視覺表示指示圖像的指導狀況，通過國際互聯網等各種通信裝置進行實況轉播或錄像轉播，對操作者及指導者以外的多個受講者或第三者機關傳播公開時，將從一端的三維立體數字放大鏡的CCD攝影機輸出的左右兩通道的輸出信號，在所述三維立體數字放大鏡硬件中加密，通過在另一端的三維立體數字放大鏡硬件內進行編碼，不利用具有規定的三維立體數字放大鏡硬件結構的終端，就無法顯示正常的圖像，由此達到更高的安全性，而可以保護患者隱私。
8.一種三維立體數字放大鏡系統，具有三維視覺指示功能，其特征在于使用如權利要求1～5所述的信息非常多、可以虛擬體驗操作者的施術狀況的三維立體數字放大鏡系統，在網上，對施術照護者，與技能、經驗、或指導言語等條件一起提示報酬金額，和注冊醫生或技術者締結契約，接受在遠程待命的該人才(指導者)的人才派遣，對于施術發生醫療失誤等情況下，依據三維立體數字放大鏡系統的信息的記錄，確定過失的所在，并依據各施術內容和人才的各專門領域的對應相關程度，根據預先訂立的契約內容和依據契約內容的提示操作者的指導費用，明確責任范圍，可以分散對于醫療過失及瑕疵的賠償風險。
9.一種三維立體數字放大鏡系統，具有三維視覺指示功能，其特征在于該系統為如權利要求1～5所述的信息量非常多，而且是實時的、同時僅用相同標準的三維立體數字放大鏡進行通信的系統，因此其可靠性極高，使用可以進行虛擬體驗并能進行觀察操作者的施術狀況的三維立體數字放大鏡系統，可以在遠程客觀查驗操作者技量。
10.一種三維立體數字放大鏡系統，其特征在于在操作者主導的情況下，是根據操作者，在指導者主導的情況下，是根據指導者的意思，通過不妨礙操作者或指導者的施術行為相關的使用手或腳的操作的開關，可以對如權利要求1～5所述的在操作者視野圖像中合成顯示的指導圖像，或者操作者視野圖像中合成顯示的解剖學的三維圖像，或外科手術定位板圖像，進行顯示或不顯示的操作。
全文摘要
提供三維立體數字放大鏡技術支援及指導教育傳播系統，具有在操作者佩戴的HMD上提供視覺支援時，通過可以進行包含深度的三維圖像指示的圖像合成的三維視覺指示功能。具有三維視覺指示功能的三維立體數字放大鏡技術支援及指導教育傳送系統，其利用操作者及指導者佩戴著的相同的立體數字放大鏡，在指導者CCD攝影機圖像信息中，僅顯示標示裝置或各種器具的圖像，并且，通過將使所述圖像的殘像可以在任意的設定時間顯示而從圖像處理裝置輸出的三維視覺指示圖像，同步合成顯示于該操作者佩戴著的立體數字放大鏡的CCD攝影機圖像信息中，由此，將加入了三維的視覺顯示指示圖像的指導解說的圖像信息，與指導者(講師組)實際使用的器具等比例尺地顯示于操作者的三維HMD上進行圖像合成。
文檔編號G06T3/00GK1973311SQ20058001298
公開日2007年5月30日 申請日期2005年3月17日 優先權日2004年3月26日
發明者高橋淳 申請人:高橋淳