一種圖像采集裝置及電子設備的制作方法
本發明涉及圖像處理技術領域，尤其涉及一種圖像采集裝置及電子設備。
背景技術：
隨著虛擬現實(vr，virtualreality)技術、增強現實(ar，augmentedreality)技術的發展，vr設備及ar設備越來越受到用戶的熱愛，然而在這些設備中通常要設置至少兩個攝像頭來輔助相應的應用，致使設備的體積大、成本高、數據處理困難。
技術實現要素：
本發明實施例提供一種圖像采集裝置及電子設備，能夠僅采用一個圖像采集裝置實現圖像深度處理，實現簡單、成本低。
本發明實施例的技術方案是這樣實現的：
本發明實施例提供了一種圖像采集裝置，包括：
感光單元陣列層，設置有多個感光單元，每個所述感光單元包括以特定距離對稱設置的第一感光子單元和第二感光子單元；其中，所述感光單元陣列層中的第一感光子單元形成第一子陣列；所述感光單元陣列層中的第二感光子單元形成第二子陣列；
第一處理器，用于刷新所述感光單元陣列層的第一子陣列，得到所述第一子陣列感應環境中光線形成的第一圖像信號；
刷新所述感光單元陣列層的第二子陣列，得到所述第二子陣列感應環境中光線形成的第二圖像信號；
根據所述第一圖像信號、所述第二圖像信號中成像的視差計算深度，并融合所述第一圖像信號、所述第二圖像信號以及所述深度形成深度圖像信號。
上述方案中，所述第一處理器包括：
數字信號處理器，用于對所述感光單元陣列層輸出的所述第一圖像信號、所述第二圖像信號進行預處理并輸出；
所述深度計算單元，連接所述數字信號處理器，用于根據各像素點在所述第一圖像信號、所述第二圖像信號的成像位置差異、與到成像平面的距離的反比例關系計算相應像素點的深度，將各像素點的深度以及在第一圖像信號、第二圖像信號的顏色信息融合，形成所述深度圖像信號。
上述方案中，所述第一處理器，還用于同步刷新所述感光單元陣列層的第一子陣列和所述第二子陣列，得到所述感光單元陣列層的全部感光子單元感應環境中光線形成的原始圖像信號。
上述方案中，所述裝置還包括：
信號放大器，連接所述感光單元陣列層，用于對所述感光單元陣列層輸出的模擬信號類型的圖像信號進行放大；
增益控制器，連接所述信號放大器，用于對放大后的圖像信號進行增益控制；
模數轉換器，連接所述增益控制器，用于將所述感光單元陣列層輸出的圖像信號進行模數轉換，按照預定位寬輸出至所述第一處理器進行處理。
上述方案中，所述裝置還包括：
輸出接口，連接所述第一處理器，用于根據先入先出的方式，將傳輸至所述輸出接口的所述深度圖像信號和/或所述原始圖像信號輸出至所述圖像采集裝置外部的處理單元。
本發明實施例還提供了一種電子設備，所述電子設備包括：
一個圖像采集裝置，包括：設置有多個感光單元的感光單元陣列層，每個所述感光單元包括以特定距離對稱設置的第一感光子單元和第二感光子單元；其中，所述感光單元陣列層中的第一感光子單元形成第一子陣列；所述感光單元陣列層中的第二感光子單元形成第二子陣列；
所述圖像采集裝置，用于刷新所述感光單元陣列層的第一子陣列，得到所述第一子陣列感應環境中光線形成的第一圖像信號；
刷新所述感光單元陣列層的第二子陣列，得到所述第二子陣列感應環境中光線形成的第二圖像信號；
根據所述第一圖像信號、所述第二圖像信號中成像的視差計算深度，并融合所述第一圖像信號、所述第二圖像信號以及所述深度形成深度圖像信號；
輸出所述深度圖像信號及對應所述深度圖像信號的原始圖像信號；
第二處理器，用于基于所述深度圖像信號中目標對象的深度，對所述原始圖像信號進行處理；
或者，基于所述原始圖像信號控制輸出顯示原始圖像。
上述方案中，所述第二處理器，還用于識別出所述深度圖像信號中目標對象的深度；
對所述原始圖像信號中位于對應所述深度的焦平面以外的成像區域，進行模糊化處理。
上述方案中，所述圖像采集裝置，還用于對所述感光單元陣列層輸出的所述第一圖像信號、所述第二圖像信號進行預處理；
以及，根據各像素點在所述第一圖像信號、所述第二圖像信號的成像位置差異、與到成像平面的距離的反比例關系計算相應像素點的深度，將各像素點的深度以及在第一圖像信號、第二圖像信號的顏色信息融合，形成所述深度圖像信號。
上述方案中，所述圖像采集裝置，還用于同步刷新所述感光單元陣列層的第一子陣列和所述第二子陣列，得到所述感光單元陣列層的全部感光子單元感應環境中光線形成的所述原始圖像信號。
上述方案中，所述圖像采集裝置，還用于對所述感光單元陣列層輸出的模擬信號類型的圖像信號進行放大，對放大后的圖像信號進行增益控制，并將所述感光單元陣列層輸出的圖像信號進行模數轉換，得到預定位寬的數字圖像信號。
附圖說明
圖1為本發明實施例中圖像采集裝置的組成結構示意圖一；
圖2為現有技術中攝像頭內圖像傳感器的俯視圖；
圖3為本發明實施例圖像采集裝置中像素點的設計示意圖；
圖4為本發明實施例圖像采集裝置中感光單元感應環境中光線的示意圖；
圖5為本發明實施例分別基于第一圖像信號及第二圖像信號得到的圖像的示意圖；
圖6為本發明實施例中深度計算原理示意圖；
圖7為本發明實施例中輸出的深度圖像的一個示意圖；
圖8為本發明實施例中圖像采集裝置的組成結構示意圖二；
圖9為本發明實施例中圖像傳感器的電路結構示意圖；
圖10為本發明實施例中圖像傳感器的組成結構示意圖；
圖11為本發明實施例中電子設備的組成結構示意圖。
具體實施方式
下面結合附圖和具體實施例對本發明作進一步詳細說明。
需要說明的是，本發明實施例所涉及的術語“第一\第二\第三”僅僅是是區別類似的對象，不代表針對對象的特定排序，可以理解地，“第一\第二\第三”在允許的情況下可以互換特定的順序或先后次序。應該理解“第一\第二\第三”區分的對象在適當情況下可以互換，以使這里描述的本發明的實施例能夠以除了在這里圖示或描述的那些以外的順序實施。
本發明實施例提供了一種圖像采集裝置，如圖1所示，本發明實施例中圖像采集裝置的組成包括：
感光單元陣列層11，設置有多個感光單元，每個所述感光單元包括以特定距離對稱設置的第一感光子單元和第二感光子單元；其中，所述感光單元陣列層中的第一感光子單元形成第一子陣列；所述感光單元陣列中的第二感光子單元形成第二子陣列；
第一處理器12，用于刷新所述感光單元陣列層的第一子陣列，得到所述第一子陣列感應環境中光線形成的第一圖像信號；
刷新所述感光單元陣列層的第二子陣列，得到所述第二子陣列感應環境中光線形成的第二圖像信號；
根據所述第一圖像信號、所述第二圖像信號中成像的視差計算深度，并融合所述第一圖像信號、所述第二圖像信號以及所述深度形成深度圖像信號。
這里，現有技術中攝像頭內圖像傳感器的俯視圖如圖2所示，每個感光單元對應一個像素點，每個感光單元感應來自所處環境的光線而形成所處環境的一個像素點的信號。在本發明實施例中，將每個像素點被拆分成對稱的兩部分，如圖3所示為本發明實施例中像素點的設計示意圖，每個像素點由左右兩個像素構成，兩個像素相互之間不能透過光線，相應的，每個感光單元被拆分成了兩個子單元(第一感光子單元和第二感光子單元)，如圖4所示為本發明實施例圖像采集裝置中感光單元感應環境中的光線的示意圖；并依據實際需要設定第一感光子單元和第二感光子單元間的所述特定距離。
在實際實施時，第一處理器12對感光單元陣列的刷新為依據需要設置的定時刷新，如，在第一時間刷新感光單元陣列層的第一子陣列，間隔特定時間刷新感光單元陣列層的第二子陣列。這里可以理解成第一處理器12定時讀取基于感光單元陣列層得到的第一圖像信號及第二圖像信號，而在實際實施時，基于第一子陣列得到的第一圖像信號及基于第二子陣列得到的第二圖像信號可看作人的兩只眼睛分別得到的圖像信號，也可看作是由兩個攝像頭得到的圖像信號，因此，可采用雙目測距的原理根據所述第一圖像信號、所述第二圖像信號中成像的視差計算深度，即進行景深計算，其中，基于第一圖像信號得到的第一圖像及基于第二圖像信號得到的第二圖像的一種示意圖如圖5所示。
基于本發明上述實施例，在實際實施時，第一處理器12包括：
數字信號處理器121，用于對所述感光單元陣列層輸出的所述第一圖像信號、所述第二圖像信號進行預處理并輸出；
這里，對所述第一圖像信號、第二圖像信號進行的預處理可以包括：自動曝光控制(aec，automaticexposurecontrol)、自動增益控制(agc，automaticgaincontrol)、自動白平衡(awb，automaticwhitebalance)、色彩校正、gamma校正、祛除壞點等等。
深度計算單元122，用于根據各像素點在所述第一圖像信號、所述第二圖像信號的成像位置差異、與到成像平面的距離的反比例關系計算相應像素點的深度，將各像素點的深度以及在第一圖像信號、第二圖像信號的顏色信息融合，形成所述深度圖像信號。
這里，對本發明實施例中深度計算的原理進行簡單的介紹。如圖6所示為本發明實施例中深度計算原理示意圖，主要是利用了目標點在左右兩幅視圖上成像的橫向坐標之間存在的差異，即像素點在所述第一圖像信號、所述第二圖像信號的成像位置差異，即第一感光子單元和第二感光子單元之間的距離，d＝xl-xr與目標點到成像平面的距離z(像素點到成像平面的距離)存在著反比例的關系：
基于本發明上述實施例，在實際應用中，所述第一處理器12，還用于同步刷新所述感光單元陣列層的第一子陣列和所述第二子陣列，得到所述感光單元陣列層的全部感光子單元感應環境中光線形成的原始圖像信號。也就是說，將每個感光單元中的第一感光子單元和第二感光子單元結合，看作一個整體，輸出基于每個感光單感應環境中光線形成的原始圖像信號，也即，將第一圖像信號、第二圖像信號疊加得到的圖像信號。進而當圖像采集裝置設置于某電子設備上時，該電子設備中的處理器可以基于圖像采集裝置輸出的深度圖像信號對輸出的原始圖像信號進行處理，得到預設需求的圖像信息，例如把原始圖像信號中的前景信息作為主體突出出來，把背景信息虛化處理，形成虛實對比，虛實結合給人深刻的印象。
在實際實施時，本發明實施例的圖像采集裝置還可以包括：
信號放大器13，連接所述感光單元陣列層11，用于對所述感光單元陣列層11輸出的模擬信號類型的圖像信號進行放大；
這里包括兩種情況：一種對應景深模式，也即對第一處理器12分別刷新第一子陣列和第二子陣列得到的第一圖像信號及第二圖像信號進行放大；另一種對應常規圖像模式，也即對第一處理器12同步刷新第一子陣列和第二子陣列得到的原始圖像信號進行放大。
增益控制器14，連接所述信號放大器13，用于對放大后的圖像信號進行增益控制。
模數轉換器15，連接所述增益控制器14，用于將所述感光單元陣列層輸出的圖像信號進行模數轉換，按照預定位寬輸出至所述第一處理器12進行處理；
這里同樣包括兩種情況，一種對應景深模式，也即對第一處理器12分別刷新第一子陣列和第二子陣列得到的第一圖像信號及第二圖像信號，分別進行模數轉換，然后按照預定位寬輸出；另一種對應常規圖像模式，也即對第一處理器12同步刷新第一子陣列和第二子陣列得到的原始圖像信號進行模數轉換，然后按照預定位寬輸出；在一實施例中，所述預定位寬可以依據實際需要進行設定，如10bit。
基于本發明上述實施例，在實際應用中，本發明實施例中的圖像采集裝置還包括：
輸出接口16，連接所述第一處理器12，用于根據先入先出的方式，將傳輸至所述輸出接口16的深度圖像信號輸出至所述圖像傳感器的外部的處理單元；
和/或，將傳輸至所述輸出接口16的原始圖像信號輸出至所述圖像傳感器的外部的處理單元。
在實際應用中，本發明實施例圖像采集裝置中的上述感光單元陣列層11、第一處理器12、信號放大器13、增益控制器14、模數轉換器15、以及所述輸出接口16可集成到一個圖像傳感器中，相應的，圖像采集裝置還包括：鏡頭(lens)(相當于人眼中的晶狀體，利用透鏡的折射原理，景物光線透過鏡頭在聚焦平面上形成清晰的像)、紅外濾光片(irfilter，infraredrayfilter)(主要作用為過濾掉進入鏡頭的光線中的紅外光)，圖像采集裝置的一個示意圖如圖8所示，光線通過鏡頭進入圖像采集裝置內部，然后經過紅外濾光片過濾紅外光，最后到達圖像傳感器，圖像傳感器按照材質可以分為互補金屬氧化物半導體(cmos，complementarymetaloxidesemiconductor)和電荷耦合元件(ccd，charge-coupleddevice)兩種，圖8以圖像傳感器為cmos為例。
圖9為本發明實施例中圖像傳感器的電路結構示意圖，如圖9所示，當光線經紅外濾光片進入時首先由感光單元陣列層感應，將光信號轉變為電信號輸出，然后經信號放大器(amp，amplifier)對電信號進行放大、增益控制器對放大后的電信號進行增益控制，然后輸出給模數轉換器(adc，analogtodigitalconverter)將模擬電信號轉換成數字信號，然后輸出給數字信號處理器(dsp，digitalsignalprocessor)，dsp對傳輸過來的數字信號進行預處理(自動曝光控制、自動增益控制、自動白平衡、色彩校正、gamma校正、祛除壞點等)，然后輸出給深度計算單元進行像素點的深度計算，獲得深度圖像信號，經輸出接口輸出至圖像采集裝置外部的處理單元。當然，同時輸出的還可以包括第一圖像信號及第二圖像信號。
作為一種實現方式，圖像傳感器中部件的設置可以采用疊層技術，如圖10中的右側視圖(其中上部分為局部放大圖)，當然亦可不采用層疊技術，如圖10中的左側視圖(其中上部分為局部放大圖)，若采用層疊技術，上面一層是感光單元陣列層，下面一層是邏輯電路，作為本發明實施例的一個可實現方式，圖像傳感器可以為3d堆疊式(stacked)cmos，如此，上層得到的數據可直接傳送到下層進行景深計算，完全是硬件實現，可以按照每行的輸出直接計算，計算速度快，實時輸出，沒有延時。
基于上述實施例提供的圖像采集裝置，本發明實施例還提供了一種電子設備，圖11為本發明實施例中電子設備的組成結構示意圖，如圖11所示，本發明實施例中電子設備的組成包括：
一個圖像采集裝置21，包括：設置有多個感光單元的感光單元陣列層，每個所述感光單元包括以特定距離對稱設置的第一感光子單元和第二感光子單元；其中，所述感光單元陣列層中的第一感光子單元形成第一子陣列；所述感光單元陣列層中的第二感光子單元形成第二子陣列；
所述圖像采集裝置21，用于刷新所述感光單元陣列層的第一子陣列，得到所述第一子陣列感應環境中光線形成的第一圖像信號；
刷新所述感光單元陣列層的第二子陣列，得到所述第二子陣列感應環境中光線形成的第二圖像信號；
根據所述第一圖像信號、所述第二圖像信號中成像的視差計算深度，并融合所述第一圖像信號、所述第二圖像信號以及所述深度形成深度圖像信號；
輸出所述深度圖像信號及對應所述深度圖像信號的原始圖像信號；
第二處理器22，用于基于所述深度圖像信號中目標對象的深度，對所述原始圖像信號進行處理；
或者，基于所述原始圖像信號控制輸出顯示原始圖像。
在一實施例中，所述第二處理器22，還用于識別出所述深度圖像信號中目標對象的深度；
對所述原始圖像信號中位于對應所述深度的焦平面以外的成像區域，進行模糊化處理。如此，形成目標對象突出，其它部分模糊的圖像，提高用戶體驗。
這里，所述模糊化處理具體可以為與距離正相關的模糊化處理，即距離焦平面越遠越模糊。
在一實施例中，所述圖像采集裝置21，還用于對所述感光單元陣列層輸出的所述第一圖像信號、所述第二圖像信號進行預處理；這里的預處理可以包括：自動曝光控制、自動增益控制、自動白平衡、色彩校正、gamma校正、祛除壞點等等。
以及，根據各像素點在所述第一圖像信號、所述第二圖像信號的成像位置差異、與到成像平面的距離的反比例關系計算相應像素點的深度，將各像素點的深度以及在第一圖像信號、第二圖像信號的顏色信息融合，形成所述深度圖像信號。這里，對深度的計算原理參見圖像采集裝置中的原理介紹。
在一實施例中，所述圖像采集裝置21，還用于同步刷新所述感光單元陣列層的第一子陣列和所述第二子陣列，得到所述感光單元陣列層的全部感光子單元感應環境中光線形成的所述原始圖像信號。也就是說，將每個感光單元中的第一感光子單元和第二感光子單元結合，看作一個整體，輸出基于每個感光單感應環境中光線形成的原始圖像信號，也即，將第一圖像信號、第二圖像信號疊加得到的圖像信號。
在一實施例中，所述圖像采集裝置21，還用于對所述感光單元陣列層輸出的模擬信號類型的圖像信號進行放大，對放大后的圖像信號進行增益控制，并將所述感光單元陣列層輸出的圖像信號進行模數轉換，得到預定位寬的數字圖像信號。
在一實施例中，所述圖像采集裝置21，還用于根據先入先出的方式，將傳輸至所述輸出接口的所述深度圖像信號和/或所述原始圖像信號輸出至所述第二處理器。
應用本發明上述電子設備的實施例，所述電子設備僅采用一個圖像采集裝置便實現了原始圖像信號及深度圖像信號的獲取，無需光學校準，并可基于深度圖像信號中目標對象的深度，對原始圖像信號進行處理，得到預設需求的圖像；如此，減小了具備景深計算的電子設備的體積，降低了實現成本。
以上所述，僅為本發明的具體實施方式，但本發明的保護范圍并不局限于此，任何熟悉本技術領域的技術人員在本發明揭露的技術范圍內，可輕易想到變化或替換，都應涵蓋在本發明的保護范圍之內。因此，本發明的保護范圍應以所述權利要求的保護范圍為準。
- 還沒有人留言評論。精彩留言會獲得點贊！