基于結構光的3d立體成像膠囊內窺鏡系統及方法
【專利摘要】本發明公開了一種基于結構光的3D立體成像膠囊內窺鏡系統，它包括膠囊殼體、控制器、發光子系統、照明裝置、成像子系統、膠囊定位子系統，控制器、發光子系統、照明裝置、成像子系統和膠囊定位子系統均設置在膠囊殼體內，控制器的發光子系統控制信號輸出端連接發光子系統的信號輸入端，控制器的照明光控制信號輸出端連接照明裝置的控制信號輸入端，成像子系統的成像信號輸出端連接控制器的成像信號輸入端，膠囊定位子系統的定位信息通信端連接控制器的定位信息通信端。本發明能對消化道內部信息進行全方位的顯示，方便醫生更加確切有效的進行診斷。
【專利說明】
基于結構光的3D立體成像膠囊內窺鏡系統及方法
技術領域
[0001] 本發明涉及醫療設備技術領域，具體地指一種基于結構光的3D立體成像膠囊內窺 鏡系統及方法。
【背景技術】
[0002] 現有無線膠囊內窺鏡，通過人口服進入消化道內，消化道蠕動為其提供動力使之 能夠在消化道內運動，從而完成對消化道圖像的拍攝，并通過無線傳輸系統傳輸到體外進 行顯示。
[0003] 現在市場上被廣泛使用的無線膠囊內窺鏡獲取到的圖像都只是二維靜止的，不能 全方位清晰地顯示消化道內三維圖像的真實情況。針對這個問題，專利公開號為 CN104720735A的中國專利《虛擬現實膠囊內窺鏡》，該專利設計了一種膠囊內窺鏡，該膠囊 內窺鏡在膠囊內使用了兩個圖像采集的攝像裝置，模擬人的左眼與右眼，無線傳輸模塊將 圖像數據傳輸到顯示模塊上，醫生佩戴專用眼鏡就能有3D的效果。該方案只是模擬了人眼 成像效果，并不是真正的3D顯示，不能全方位獲取消化道信息，并且該技術需要配備專用眼 鏡，成本較高；
[0004] 專利公開號為CN104939793A的中國專利《基于液體透鏡的可調焦3-D膠囊內窺鏡 系統》，該專利利用可調焦的膠囊內窺鏡系統，得到不同焦距下的清晰的序列圖像，然后利 用三維重建算法對序列圖像進行處理，計算得到被拍攝目標的三維信息，從而得到三維立 體成像。但是，該技術利用序列圖像進行三維重建，只能得到某個視角下的三維圖像，不能 獲取整個消化道的三維立體成像，并且該系統需要反復調焦，結構復雜且控制系統要求較 尚。
【發明內容】
[0005] 本發明的目的就是要提供一種基于結構光的3D立體成像膠囊內窺鏡系統及方法， 該系統和方法能對消化道內部信息進行全方位的顯示，方便醫生更加確切有效的進行診 斷。
[0006] 為實現此目的，本發明所設計的基于結構光的3D立體成像膠囊內窺鏡系統，其特 征在于:它包括膠囊殼體、控制器、用于發出3D成像結構光的發光子系統、用于對被檢者消 化道腔內部進行照明的照明裝置、用于拍攝被檢者消化道內部圖像的成像子系統、用于獲 取膠囊位置信息及膠囊姿態信息的膠囊定位子系統，其中，所述控制器、發光子系統、照明 裝置、成像子系統和膠囊定位子系統均設置在膠囊殼體內，所述控制器的發光子系統控制 信號輸出端連接發光子系統的信號輸入端，控制器的照明光控制信號輸出端連接照明裝置 的控制信號輸入端，成像子系統的成像信號輸出端連接控制器的成像信號輸入端，膠囊定 位子系統的定位信息通信端連接控制器的定位信息通信端。
[0007] -種利用上述系統的內窺鏡成像方法，其特征在于，它包括如下步驟：
[0008] 步驟1:將膠囊殼體置于消化道內；
[0009] 步驟2:利用上位機通過數據傳輸子系統對控制器進行控制，控制器控制照明裝置 點殼；
[0010] 步驟3:控制器控制光源發出白光，光源發出的白光照射到結構光產生模塊上，結 構光產生模塊對所述白光進行濾光處理，形成所需的3D成像結構光，該3D成像結構光照射 在消化道內部目標物體表面形成一個3D成像光帶；
[0011] 步驟4:成像子系統對消化道內部目標物體表面的3D成像光帶進行成像，并將成像 信息傳輸給控制器，控制器將成像信息通過數據傳輸子系統傳輸給上位機，上位機利用結 構光產生模塊中濾光片和遮光擋板排列順序所對應的編碼信息對成像信息進行成像解碼 處理，根據成像解碼信息計算出目標物體表面在3D成像中的空間坐標；
[0012] 步驟5:膠囊定位子系統將得到的膠囊殼體此時姿態和位置信息傳輸給控制器，控 制器將膠囊殼體此時的姿態和位置信息通過數據傳輸子系統傳輸給上位機，上位機根據目 標物體表面在3D成像中的空間坐標以及膠囊殼體此時的姿態和位置信息，將目標物體在3D 成像中的空間坐標轉換成世界坐標，形成點云數據；
[0013] 步驟6:膠囊殼體在消化道內的不同位置均通過上述步驟2~5的方法得到對應的 點云數據；
[0014] 步驟7:上位機對消化道內不同位置得到的點云數據，進行配準融合，得到完整的 點云信息，對整個消化道的所有點云數據進行三維建模，并將三維建模圖案進行顯示。
[0015] 本發明的有益效果：
[0016] 1、本發明不需要額外的輔助設備即可觀察消化道內的三維信息；
[0017] 2、本發明可以獲取完整的消化道三維信息，并進行三維建模；
[0018] 3、本發明利用發光子系統和成像子系統取代一個攝像頭，利用結構光輔助計算， 提尚了 3D成像的精度；
[0019] 4、本發明可以得到距離信息，從而得到消化道內病變區域的實際大小，方便醫生 診斷；
[0020] 5、本發明利用基于結構光的3D成像，可以全方位、多角度觀察消化道內信息，提高 檢測率；
【附圖說明】
[0021] 圖1為本發明的側切面結構示意圖；
[0022]圖2為本發明的俯視結構不意圖；
[0023]圖3為本發明的原理框圖；
[0024]圖4為本發明基于結構光技術3D成像的建立過程示意圖；
[0025] 圖5為本發明中結構光產生模塊的結構示意圖。
[0026] 其中，1一膠囊殼體、1.1一透明半殼、1.2-非透明半殼、2-發光子系統、2.1-光 源、2.2-結構光產生模塊、2.3-濾光片、2.4-遮光擋板、3-成像子系統、3.1-圖像傳感 器、3.2-光學鏡頭、4一照明裝置、5-控制器、6-數據傳輸子系統、7-膠囊定位子系統、 8-電源、9一柔性電路安裝板、9.1 一上水平柔性電路安裝板、9.2-垂直柔性電路安裝板、 9.3-下水平柔性電路安裝板。
【具體實施方式】
[0027] 以下結合附圖和具體實施例對本發明作進一步的詳細說明：
[0028] 如圖1~3所述的基于結構光的3D立體成像膠囊內窺鏡系統，它包括膠囊殼體1、控 制器5、用于發出3D成像結構光的發光子系統2、用于對被檢者消化道腔內部進行照明的照 明裝置4、用于拍攝被檢者消化道內部圖像的成像子系統3、用于獲取膠囊位置信息及膠囊 姿態信息的膠囊定位子系統7,其中，所述控制器5、發光子系統2、照明裝置4、成像子系統3 和膠囊定位子系統7均設置在膠囊殼體1內，所述控制器5的發光子系統控制信號輸出端連 接發光子系統2的信號輸入端，控制器5的照明光控制信號輸出端連接照明裝置4的控制信 號輸入端，成像子系統3的成像信號輸出端連接控制器5的成像信號輸入端，膠囊定位子系 統7的定位信息通信端連接控制器5的定位信息通信端。
[0029] 上述技術方案中，發光子系統2和成像子系統3在膠囊殼體1兩端，朝向同一側，發 光子系統2和成像子系統3之間的距離范圍為15mm~25mm。為保證發光子系統2和成像子系 統3同時工作，避免消化道運動造成影響，兩者延遲不超過lms。
[0030] 上述技術方案中，發光子系統2將3D結構光照射在需要拍攝的消化道內部物體上， 成像子系統3對消化道內部物體進行成像，膠囊定位子系統7對膠囊的位置及姿態數據進行 記錄，數據傳輸子系統6接收成像子系統3及膠囊定位子系統7的數據后，進行處理并傳送給 體外的上位機，上位機解算出消化道內部物體的3D信息，然后進行3D顯示，方便全方位觀察 消化道內部物體。
[0031] 上述技術方案中，所述膠囊殼體1由上半部分的透明半殼1.1和下半部分的非透明 半殼1.2連接成一體構成。所述結構光產生模塊2.2的出光口面向透明半殼1.1，所述照明裝 置4的出光口面向透明半殼1.1。透明半殼1.1能使發光子系統2和成像子系統3的光通過。
[0032] 上述技術方案中，所述發光子系統2包括光源2.1和結構光產生模塊2.2,所述控制 器5的發光子系統控制信號輸出端連接光源2.1的信號輸入端，光源2.1的光軸軸心與結構 光產生模塊2.2的光信號輸入端的軸心同軸，所述結構光產生模塊2.2的出光面與膠囊殼體 1的軸線之間的夾角α為0°~45°。該夾角能成像子系統3拍攝的圖案更加清晰。
[0033] 上述技術方案中，所述結構光產生模塊2.2由多塊濾光片2.3和多塊遮光擋板2.4 交替布置形式（即相鄰兩塊濾光片之間設置遮光擋板），多塊濾光片2.3顏色排列順序根據 預設的3D成像結構光編碼順序確定。如圖5所示多塊濾光片2.3的顏色排列順序依次為綠、 藍、紅、黃、青。
[0034]上述技術方案中，每塊濾光片2.3和每塊遮光擋板2.4均對應一個光平面，為保證 系統精度，光平面在物體表面成像寬度小，每塊濾光片2.3和每塊遮光擋板2.4的寬度均相 等且寬度均小于lmm。
[0035] 上述技術方案中，它還包括用于連接上位機的數據傳輸子系統6,所述控制器5的 通信端連接數據傳輸子系統6。上述數據傳輸子系統6包含ASIC(專用集成電路)芯片和無線 傳輸模塊，ASIC芯片對圖像數據進行壓縮，然后通過無線傳輸模塊將數據傳送到上位機。
[0036] 上述技術方案中，所述膠囊殼體1內固定有柔性電路安裝板9,所述柔性電路安裝 板9包括上水平柔性電路安裝板9.1、垂直柔性電路安裝板9.2和下水平柔性電路安裝板 9.3，所述上水平柔性電路安裝板9.1和下水平柔性電路安裝板9.3通過垂直柔性電路安裝 板9.2連接，所述上水平柔性電路安裝板9.1和下水平柔性電路安裝板9.3與膠囊殼體1的軸 線平行;柔性電路安裝板9使膠囊盡量的柔軟，方便患者吞服。
[0037] 所述上水平柔性電路安裝板9.1上安裝有發光子系統2、照明裝置4和成像子系統 3,所述下水平柔性電路安裝板9.3上安裝有數據傳輸子系統6、膠囊定位子系統7、電源8和 控制器5,所述電源8分別向發光子系統2、成像子系統3、控制器5、數據傳輸子系統6和膠囊 定位子系統7供電。
[0038] 上述技術方案中，上述成像子系統3包括CMOS(Complementary Metal Oxide Semiconductor，互補金屬氧化物半導體），圖像傳感器3.1和光學鏡頭3.2,所述光學鏡頭 3.2安裝在CMOS圖像傳感器3.1的圖像感應端(CMOS圖像傳感器3.1具有尺寸小、功耗低的優 點，適合置于膠囊中），上述CMOS圖像傳感器3.1的信號輸出端連接控制器5的成像信號輸入 端。CMOS圖像傳感器3.1的對角直徑為5.658mm，CMOS圖像傳感器3.1采集圖像幀率為2幀/s。
[0039] -種利用上述系統的內窺鏡成像方法，它包括如下步驟：
[0040] 步驟1:將膠囊殼體1置于消化道內；
[0041] 步驟2:利用上位機通過數據傳輸子系統6對控制器5進行控制，控制器5控制照明 裝置4點亮，成像子系統對消化道內部成像，成像完成以后熄滅照明裝置；
[0042] 步驟3:控制器5控制光源2.1發出白光，光源2.1發出的白光照射到結構光產生模 塊2.2上，結構光產生模塊2.2對所述白光進行濾光處理，形成所需的3D成像結構光，該3D成 像結構光照射在消化道內部目標物體表面形成一個3D成像光帶；
[0043]步驟4:成像子系統3對消化道內部目標物體表面的3D成像光帶進行成像，如圖4所 示，并將成像信息傳輸給控制器5,控制器5將成像信息通過數據傳輸子系統6傳輸給上位 機，上位機利用結構光產生模塊2.2中濾光片2.3和遮光擋板2.4排列順序所對應的編碼信 息對成像信息進行成像解碼處理，根據成像解碼信息計算出目標物體表面在3D成像中的空 間坐標；
[0044] 步驟5:膠囊定位子系統7將得到的膠囊殼體1此時姿態和位置信息傳輸給控制器 5,控制器5將膠囊殼體1此時的姿態和位置信息通過數據傳輸子系統6傳輸給上位機，上位 機根據目標物體表面在3D成像中的空間坐標以及膠囊殼體1此時的姿態和位置信息，將目 標物體在3D成像中的空間坐標轉換成世界坐標，形成點云數據，上位機對點云數據進行濾 波去噪；
[0045] 步驟6:膠囊殼體1在消化道內的不同位置均通過上述步驟2~5的方法得到對應的 點云數據；
[0046] 步驟7:上位機對消化道內不同位置得到的點云數據，進行配準融合，得到完整的 點云信息，對整個消化道的所有點云數據進行三維建模，并將三維建模圖案進行顯示。
[0047] 上述技術方案的步驟1前，需要進行初始參數校準，初始參數校準包含CMOS圖像傳 感器3.1參數校準及系統參數校準。CMOS圖像傳感器3.1參數校準獲取鏡頭畸變及內部參 數，包括焦距;系統校準獲取發光子系統2畸變參數及發光子系統2產生的光平面的參數。 [0048] 上述技術方案的步驟3中，結構光產生模塊2.2形成的一個光平面六1+87+(^+0 = 0 在物體表面形成一個光帶(采用多個光平面同時照射物體，加快處理速度），成像子系統3對 包含物體表面形狀信息的光帶進行成像，利用式（1)，計算出目標表面在3D成像中的空間坐 標(x、y、z):
[0049]
(1)
[0050]
[0051] 其中，f為成像子系統3的焦距，x'、y'為目標在成像子系統3的像素坐標，x、y、z為 在3D成像中的空間坐標，光平面Ax+By+Cz+D = 0是以3D成像為參考系的，其系數A、B、C、D在 系統校正時可以得到。
[0052] 本說明書未作詳細描述的內容屬于本領域專業技術人員公知的現有技術。
【主權項】
1. 一種基于結構光的3D立體成像膠囊內窺鏡系統，其特征在于：它包括膠囊殼體（1)、 控制器(5)、用于發出3D成像結構光的發光子系統(2)、用于對被檢者消化道腔內部進行照 明的照明裝置(4)、用于拍攝被檢者消化道內部圖像的成像子系統（3)、用于獲取膠囊位置 信息及膠囊姿態信息的膠囊定位子系統(7)，其中，所述控制器(5)、發光子系統(2)、照明裝 置(4)、成像子系統(3)和膠囊定位子系統(7)均設置在膠囊殼體(1)內，所述控制器(5)的發 光子系統控制信號輸出端連接發光子系統(2)的信號輸入端，控制器(5)的照明光控制信號 輸出端連接照明裝置(4)的控制信號輸入端，成像子系統(3)的成像信號輸出端連接控制器 (5) 的成像信號輸入端，膠囊定位子系統(7)的定位信息通信端連接控制器(5)的定位信息 通信端。2. 根據權利要求1所述的基于結構光的3D立體成像膠囊內窺鏡系統，其特征在于:所述 膠囊殼體（1)由上半部分的透明半殼（1.1)和下半部分的非透明半殼（1.2)連接成一體構 成。3. 根據權利要求2所述的基于結構光的3D立體成像膠囊內窺鏡系統，其特征在于:所述 發光子系統(2)包括光源(2.1)和結構光產生模塊(2.2)，所述控制器(5)的發光子系統控制 信號輸出端連接光源(2.1)的信號輸入端，光源(2.1)的光軸軸心與結構光產生模塊(2.2) 的光信號輸入端的軸心同軸，所述結構光產生模塊(2.2)的出光面與膠囊殼體(1)的軸線之 間的夾角α為0°~45°。4. 根據權利要求3所述的基于結構光的3D立體成像膠囊內窺鏡系統，其特征在于:所述 結構光產生模塊(2.2)的出光口面向透明半殼（1.1)，所述照明裝置(4)的出光口面向透明 半殼(1.1)。5. 根據權利要求1所述的基于結構光的3D立體成像膠囊內窺鏡系統，其特征在于:所述 結構光產生模塊(2.2)由多塊濾光片（2.3)和多塊遮光擋板(2.4)交替布置形式，多塊濾光 片(2.3)顏色排列順序根據預設的3D成像結構光編碼順序確定。6. 根據權利要求4所述的基于結構光的3D立體成像膠囊內窺鏡系統，其特征在于:每塊 濾光片(2.3)和每塊遮光擋板(2.4)的寬度均相等且寬度均小于1mm。7. 根據權利要求1所述的基于結構光的3D立體成像膠囊內窺鏡系統，其特征在于:它還 包括用于連接上位機的數據傳輸子系統(6)，所述控制器(5)的通信端連接數據傳輸子系統 (6) 〇8. 根據權利要求1所述的基于結構光的3D立體成像膠囊內窺鏡系統，其特征在于:所述 膠囊殼體（1)內固定有柔性電路安裝板(9)，所述柔性電路安裝板(9)包括上水平柔性電路 安裝板(9.1)、垂直柔性電路安裝板(9.2)和下水平柔性電路安裝板(9.3)，所述上水平柔性 電路安裝板(9.1)和下水平柔性電路安裝板(9.3)通過垂直柔性電路安裝板(9.2)連接，所 述上水平柔性電路安裝板(9.1)和下水平柔性電路安裝板(9.3)與膠囊殼體（1)的軸線平 行； 所述上水平柔性電路安裝板(9.1)上安裝有發光子系統（2)、照明裝置(4)和成像子系 統（3)，所述下水平柔性電路安裝板(9.3)上安裝有數據傳輸子系統（6)、膠囊定位子系統 (7)、電源（8)和控制器（5)，所述電源（8)分別向發光子系統（2)、成像子系統（3)、控制器 (5 )、數據傳輸子系統(6)和膠囊定位子系統(7)供電。9. 根據權利要求1所述的基于結構光的3D立體成像膠囊內窺鏡系統，其特征在于:上述 成像子系統（3)包括CMOS圖像傳感器(3.1)和光學鏡頭（3.2)，所述光學鏡頭（3.2)安裝在 CMOS圖像傳感器(3.1)的圖像感應端，上述CMOS圖像傳感器(3.1)的信號輸出端連接控制器 (5)的成像信號輸入端。10. -種利用權利要求1所述系統的內窺鏡成像方法，其特征在于，它包括如下步驟： 步驟1:將膠囊殼體(1)置于消化道內； 步驟2:利用上位機通過數據傳輸子系統(6)對控制器(5)進行控制，控制器(5)控制照 明裝置(4)點亮； 步驟3:控制器(5)控制光源（2.1)發出白光，光源（2.1)發出的白光照射到結構光產生 模塊(2.2)上，結構光產生模塊(2.2)對所述白光進行濾光處理，形成所需的3D成像結構光， 該3D成像結構光照射在消化道內部目標物體表面形成一個3D成像光帶； 步驟4:成像子系統（3)對消化道內部目標物體表面的3D成像光帶進行成像，并將成像 信息傳輸給控制器(5)，控制器(5)將成像信息通過數據傳輸子系統(6)傳輸給上位機，上位 機利用結構光產生模塊(2.2)中濾光片(2.3)和遮光擋板(2.4)排列順序所對應的編碼信息 對成像信息進行成像解碼處理，根據成像解碼信息計算出目標物體表面在3D成像中的空間 坐標； 步驟5:膠囊定位子系統（7)將得到的膠囊殼體（1)此時姿態和位置信息傳輸給控制器 (5)，控制器(5)將膠囊殼體(1)此時的姿態和位置信息通過數據傳輸子系統(6)傳輸給上位 機，上位機根據目標物體表面在3D成像中的空間坐標以及膠囊殼體（1)此時的姿態和位置 信息，將目標物體在3D成像中的空間坐標轉換成世界坐標，形成點云數據； 步驟6:膠囊殼體（1)在消化道內的不同位置均通過上述步驟2~5的方法得到對應的點 云數據； 步驟7:上位機對消化道內不同位置得到的點云數據，進行配準融合，得到完整的點云 信息，對整個消化道的所有點云數據進行三維建模，并將三維建模圖案進行顯示。
【文檔編號】A61B1/00GK105996961SQ201610270301
【公開日】2016年10月12日
【申請日】2016年4月27日
【發明人】袁文金, 張皓, 劉浩
【申請人】安翰光電技術（武漢）有限公司