本發明屬于內窺鏡技術領域,更為具體地講,涉及一種膠囊式內窺鏡系統。
背景技術:
隨著生活水平的不斷提高,人們的飲食結構發生改變,工作壓力驟增,消化道疾病也越來越多,已成為最常見最多發的疾病之一。醫生通常用傳統的插入式內窺鏡進入人體消化道,探測消化道圖像信息,然而這種傳統的內窺鏡尺寸較大、帶有外部操作裝置,插入人體腸道深處時很容易對腸壁組織造成損傷,給患者帶來巨大的不適和痛苦,隨著MEMS技術的快速發展,外形如吞服膠囊大小的膠囊內窺鏡應運而生。膠囊內窺鏡在消化道中的一個重要應用是對消化道進行拍攝成像,為醫生對消化道疾病的診斷提供直觀的依據,膠囊內窺鏡的成像技術包括了體腔內圖像的采集、通信和處理三個主要部分。
由于胃腸道內壁結構復雜,無法觀察褶皺里或彎曲處等盲區,且膠囊內窺鏡拍攝的視野角度有限,不夠寬闊,視距比較短,難以診查到較遠較大的病灶部位以及擴張的腸壁全周,導致漏檢率升高。對膠囊內窺鏡的圖像進行三維重建是有效利用內鏡圖像信息的一個有力的方法,如果能夠利用內鏡圖像的全部信息,不僅可以提高腔道尋徑的準確度,還可以針對病變部位以及特定位置進行著重觀察和精確定位,縮短診查時間,進而為下一步開展活體取樣等功能打下基礎,獲得內鏡圖像的三維信息為醫生診斷提供了非常重要的參考。
現有的三維重建的主要方法有:測量矩陣估計算法,該算法利用匹配好的2D特征點對組成一個測量矩陣,然后對測量矩陣進行奇異值分解直到得到3D特征點的坐標和攝像機的運動參數,該算法的問題是對基本矩陣的估計導致速度減慢,操作量大、計算較復雜,且誤差積累比較大。
還有基于明暗度(SFS)信息進行3D重建,該算法通過分析圖像中的明暗度信息,運用反射光照模型,恢復出物體表面法向量信息進行三維重建,該方法要基于三個假設:(1)反射模型為朗伯特模型,即從各個角度觀察,同一點的明暗度都相同的;(2)光源為無限遠處點光源;(3)成像關系為正交投影。由于該方法對光照條件要求比較嚴苛,需要精確知道光源的位置及方向等信息,而膠囊內窺鏡中光源與目標位置很近,所以此方法不適用。
技術實現要素:
本發明的目的在于克服現有技術的不足,提供一種膠囊式內窺鏡系統,基于錐形鏡成像以及相似三角形原理的三維重建,具有操作簡便、結構簡單,并可以獲得準確的三維圖像。
為實現上述發明目的,本發明一種膠囊式內窺鏡系統,其特征在于,包括:膠囊內窺鏡、USB無線收發器和帶有圖像拼接及三維重建軟件的PC機;
所述的膠囊內窺鏡包括透明外殼、照明及成像模塊、圖像獲取傳輸及處理模塊;
其中,透明外殼采用密封性能良好的材料,能很好的將照明及成像模塊和圖像獲取傳輸及處理模塊與外部隔絕,避免體液污染;
照明及成像模塊,包括六個均勻分布的LED燈、一個圓心角為90°的錐形鏡、光學透鏡和CCD圖像傳感器;
其中,六個LED燈均勻分布在圖像傳感器周圍,錐形鏡位于光學透鏡的正前方,且錐形鏡為90°的圓心角正對著光學透鏡的中心;
圖像獲取傳輸及處理模塊,包括圖像處理芯片,邏輯控制電路,信號調制發射芯片和射頻單元;
當患者需要內窺檢查時,開啟PC機并打開三維重建軟件,同時取出膠囊內窺鏡,并啟動膠囊內窺鏡的電源開關,使其各元件正常工作,再通過患者吞服膠囊本體,使膠囊內窺鏡經過食道后,進入其胃部;
此時,LED燈將胃內壁充分照亮,照明及成像模塊中的錐形鏡和光學透鏡配合使用,以t幀/秒的速度對胃內壁進行清晰拍攝,得到徑向圖像,CCD圖像傳感器同時以t幀/秒的速度將拍攝的徑向圖像傳輸給圖像處理芯片,圖像處理芯片對徑向圖像進行編碼、數據打包壓縮處理后傳輸到信號調制發射芯片,調制發射芯片再以調制頻率為2.4GHZ ISM頻段的模擬信號進行信號調制,最終由射頻單元中的發射天線將調制后的徑向圖像發送至體外;
USB無線收發器接收到膠囊內窺鏡發射的徑向圖像后,將徑向圖像及時傳輸給PC機,PC機先利用圖像拼接軟件對徑向圖像進行圖像拼接,然后利用三維重建軟件對拼接后的徑向圖像進行三維重構,再將重構后的三維圖像在顯示器上實時顯示,醫生通過觀察重建后的三維圖像,能夠對患者的病灶進行準確、深入地分析。
其中,所述的PC機利用三維重建軟件對無線圖像信息進行三維重構的方法為:
(1.1)、采用極坐標轉換為平面坐標的方法,將每一幅徑向圖像都轉換為平面圖像;
其中,(x,y)表示徑向圖像的像素點的坐標,(x0,y0)表示徑向圖像的圓心點的坐標,(θ,z)表示平面圖像的像素點的坐標;
(1.2)、對每幅平面圖像進行基于Harris角點的特征點提取;
對于平面圖像上的像素點定義能量函數E(u,v)為
其中,u,v分別為和方向上的平移量;I為圖像灰度函數;為窗口函數,δ為圖像灰度函數的標準差;
對于關于作泰勒展開,并去掉高階項,可以將E(u,v)記作:
其中,為函數I對的二次偏導數,為函數I依次對和求偏導數;
記λ1,λ2為M的兩個特征值,那么在窗口平移時出現如下三種情況:
(a)、在平坦區域,λ1,λ2均較小,在各個方向平移E(u,v)變化都不大;
(b)、在邊緣處,λ1>>λ2或者λ1<<λ2;
(c)、角點位置λ1,λ2的值都比較大,在任何方向平移E(u,v)都會增加;
根據上述三種情況,定義角點的相關函數:
其中,det(M)=λ1λ2,trace(M)=λ1+λ2,K為常數;
計算Harris角點時,當取局部極大值且大于給定閾值時的位置就是角點,即該幅平面圖上提取的特征點;
(1.3)、將提取出來的特征點采用相似性度量進行特征點匹配
采用相似性度量法對相鄰兩幅平面圖中的特征點進行匹配,再利用圖像拼接軟件將匹配好的圖像進行圖像拼接;
相似性度量算法:
其中,Pi、Pi-1表示相鄰兩幅平面圖,m×n是圖像像素大小,是相鄰兩幅平面圖進行匹配的像素點,分別表示相鄰兩幅平面圖的像素均值;的絕對值越大,則表明的相關度越高,即兩個點越匹配;
(1.4)、設目標特征點的坐標為P(r1,θ1,z1),s1為目標經透鏡所成像與透鏡之間的距離;z1和z2分別為t1和t2時刻目標經錐形鏡所成像的高度;H1和H2分別為t1和t2時刻目標經透鏡所成像的高度;d為透鏡與錐形鏡之間的距離;L為t1到t2時刻膠囊內窺鏡向前移動的距離,且z2=z1-L;r 1為特征點的深度信息;θ1為平面圖像上的特征點的橫坐標;
根據錐形鏡成像原理,利用相似三角形求出匹配特征點的三維坐標,三維重建軟件根據所求特征點的三維坐標對圖像進行三維重建;
本發明的發明目的是這樣實現的:
本發明一種膠囊式內窺鏡系統,在傳統膠囊內窺鏡的光學透鏡上添加了一個錐形鏡,當患者吞服膠囊內窺鏡本體,錐形鏡和光學透鏡配合使用,對病灶處進行成像,然后通過USB傳感器將圖像傳輸給PC機,PC機對圖像進行拼接及三維重建,獲得精度較高的三維圖像,具有結構簡單、易實現,且計算量小等特點,能夠符合當前醫學發展的應用。
附圖說明
圖1是本發明膠囊式內窺鏡系統的結構示意圖;
圖2是三維重建的流程圖;
圖3是徑向圖像由極坐標轉換為平面坐標的示意圖;
圖4是求取特征點三維坐標示意圖。
具體實施方式
下面結合附圖對本發明的具體實施方式進行描述,以便本領域的技術人員更好地理解本發明。需要特別提醒注意的是,在以下的描述中,當已知功能和設計的詳細描述也許會淡化本發明的主要內容時,這些描述在這里將被忽略。
實施例
圖1是本發明膠囊式內窺鏡系統的結構示意圖。
在本實施例中,如圖1所示,本發明一種膠囊式內窺鏡系統,包括:膠囊內窺鏡1、USB無線收發器2和帶有圖像拼接及三維重建軟件的PC機3;
膠囊內窺鏡包括透明外殼101、照明及成像模塊、圖像獲取傳輸及處理模塊106;
其中,透明外殼101采用采用耐腐蝕醫用高分子材料,如:有機硅聚合物,其橢圓半徑為5mm,且能很好的將照明及成像模塊和圖像獲取傳輸及處理模塊106與外部隔絕,避免體液污染;
照明及成像模塊,包括六個均勻分布的LED燈103、一個圓心角為90°的錐形鏡102、光學透鏡104和CCD圖像傳感器105;
其中,六個LED燈103的發光角度120度,電壓3.5V,功率0.1W,且均勻分布在圖像傳感器105周圍,錐形鏡102位于光學透鏡104的正前方,且錐形鏡102為90°的圓心角正對著光學透鏡104的中心,錐形鏡102的半徑為3.35mm;
圖像獲取傳輸及處理模塊106,包括圖像處理芯片,邏輯控制電路,信號調制發射芯片和射頻單元;
當患者需要內窺檢查時,開啟PC機3并打開三維重建軟件,同時取出膠囊內窺鏡1,并啟動膠囊內窺鏡的電源開關,使其各元件正常工作,再通過患者吞服膠囊本體,使膠囊內窺鏡1經過食道后,進入其胃部;
此時,LED燈103將胃內壁充分照亮,照明及成像模塊中的錐形鏡102和光學透鏡104配合使用,以2幀/秒的速度對胃內壁進行清晰拍攝,得到徑向圖像,其中,錐形鏡成像原理如圖2所示;CCD圖像傳感器105同時以2幀/秒的速度將拍攝的徑向圖像傳輸給圖像處理芯片,圖像處理芯片對徑向圖像進行編碼、數據打包壓縮處理后傳輸到信號調制發射芯片,調制發射芯片再以調制頻率為2.4GHZ ISM頻段的模擬信號進行信號調制,最終由射頻單元中的發射天線將調制后的徑向圖像發送至體外;
USB無線收發器2接收到膠囊內窺鏡1發射的徑向圖像后,將徑向圖像及時傳輸給PC機3,PC機3先利用圖像拼接軟件對徑向圖像進行圖像拼接,然后利用三維重建軟件對拼接后的徑向圖像進行三維重構,再將重構后的三維圖像在顯示器上實時顯示,醫生通過觀察重建后的三維圖像,能夠對患者的病灶進行準確、深入地分析。
下面結合圖3,對PC機利用三維重建軟件對拼接后的徑向圖像進行三維重構的方法進行詳細說明,具體包括以下步驟:
(1)、采用極坐標轉換為平面坐標的方法,將每一幅徑向圖像都轉換為平面圖像;
其中,(x,y)表示徑向圖像的像素點的坐標,(x0,y0)表示徑向圖像的圓心點的坐標,(θ,z)表示平面圖像的像素點的坐標;
(2)、對每幅平面圖像進行基于Harris角點的特征點提取;
對于平面圖像上的像素點定義能量函數E(u,v)為
其中,u,v分別為和方向上的平移量,(u,v)經常取為的3×3鄰域;I為圖像灰度函數;為窗口函數,δ為圖像灰度函數的標準差;
對于關于作泰勒展開,并去掉高階項,可以將E(u,v)記作:
其中,為函數I對的二次偏導數,為函數I依次對和求偏導數;
記λ1,λ2為M的兩個特征值,那么在窗口平移時出現如下三種情況:
(a)、在平坦區域,λ1,λ2均較小,在各個方向平移E(u,v)變化都不大;
(b)、在邊緣處,λ1>>λ2或者λ1<<λ2;
(c)、角點位置λ1,λ2的值都比較大,在任何方向平移E(u,v)都會增加;
根據上述三種情況,定義角點的相關函數:
其中,det(M)=λ1λ2,trace(M)=λ1+λ2,K為常數;
計算Harris角點時,當取局部極大值且大于給定閾值時的位置就是角點,即該幅平面圖上提取的特征點;
在本實施例中,在計算Harris角點時,由于選擇的是3×3的檢測窗口,所以只考慮其8鄰域內像素點的相似度;K為經驗值,一般取值為0.04;特征點數目最多取300個,如果數量太大,可能會造成特征點的誤匹配,取λ2>0.10λmax,以及在3×3的鄰域內對特征點進行極大值抑止;另外,取任意兩個特征點間的歐式距離閾值為5個像素,如果提高閾值,則提取的角點數目變少,降低閾值,則提取的角點數目變多;
(3)、將提取出來的特征點采用相似性度量進行特征點匹配
采用相似性度量法對相鄰兩幅平面圖中的特征點進行匹配,再利用圖像拼接軟件將匹配好的圖像進行圖像拼接;
相似性度量算法:
其中,Pi、Pi-1表示相鄰兩幅平面圖,m×n是圖像像素大小,是相鄰兩幅平面圖進行匹配的像素點,分別表示相鄰兩幅平面圖的像素均值;的絕對值越大,則表明的相關度越高,即兩個點越匹配;
(4)、設目標特征點的坐標為P(r1,θ1,z1),s1為目標經透鏡所成像與透鏡之間的距離;z1和z2分別為t1和t2時刻目標經錐形鏡所成像的高度;H1和H2分別為t1和t2時刻目標經透鏡所成像的高度;d為透鏡與錐形鏡之間的距離;L為t1到t2時刻膠囊內窺鏡向前移動的距離,且z2=z1-L;r1為特征點的深度信息;θ1為平面圖像上的特征點的橫坐標;
根據錐形鏡成像原理,如圖4所示,利用相似三角形求出匹配特征點的三維坐標,三維重建軟件根據所求特征點的三維坐標對圖像進行三維重建;
盡管上面對本發明說明性的具體實施方式進行了描述,以便于本技術領域的技術人員理解本發明,但應該清楚,本發明不限于具體實施方式的范圍,對本技術領域的普通技術人員來講,只要各種變化在所附的權利要求限定和確定的本發明的精神和范圍內,這些變化是顯而易見的,一切利用本發明構思的發明創造均在保護之列。