暗場景下基于CCD傳感器實時獲取清晰圖像的裝置和方法與流程

本發明屬于圖像傳感器與圖像處理領域，具體涉及暗場景下基于CCD傳感器實時獲取清晰圖像的系統與方法。

技術背景

視覺是人類最主要的感覺器官，視覺信息是人們由客觀世界獲得信息的主要來源之一，占人們五官獲得信息量的70％以上，因此，獲得高質量的圖像就顯得至關重要。隨著攝像機的廣泛應用與普及，在各種復雜環境下如何獲取更加清晰的圖像不僅是相關科研人員研究的熱門課題，也是市場的強烈需求。圖像傳感器成像系統在遠程監控、輔助駕駛、安全防護、科學研究、安全刑偵、人機交互等領域獲得了越來越廣泛的應用。

一般來說，在獲取清晰幀圖像的方法上總的可以分為兩類：一類被稱為是圖像的前處理，它是用圖像傳感器在獲取圖像時采取一系列的技術，如：選擇合適的光圈大小，確定最佳的曝光時間以及放大增益等等，來得到高質量幀圖像；另一類被稱為是圖像的后處理，它是在獲取圖像之后，采用適當的技術來得到最終高質量圖像，如經常用到的圖像增強技術，通過提取光強度信號(諸如直方圖統計、像素灰度值的數學期望等)，確定閾值，從而獲得圖像的曝光信息以做進一步調整等。綜合來看，對于圖像傳感器成像技術，人們研究的最多的是基于外界光照沒有明顯不足的情況。只有在這種環境下，才有可能出現相應的算法去調節最佳的曝光時間、光圈大小等影響因素。換句話說，如果在光線明顯不足的環境下，無論怎樣去調節相應的影響因子，都不會獲得高質量的圖像。而這些光線較暗的場景時常會發生，如沒有光源的室內，晚間的野外，夜間駕駛、觀察和瞄準，甚至是醫療設備用于檢查人體內的組織等。

本發明主要是針對如何在像上面所說的光線較暗場景下獲得高質量的圖像。系統采用了近紅外光源作為黑暗條件下的補光光源。近紅外波段輻射工作有許多優點，其狹窄光束照明目標，使目標在視場中突出出來，造成與背景較大的反差，從而獲得較為清晰的圖像。而且，其價格便宜。

在補光源的基礎之上，本發明結合了圖像的前處理和后處理方法，在前處理中目標對紅外光進行反射，經紅外濾光片進行光學濾波，由圖像傳感器完成光信號到電信號的轉換，采集卡采集圖像傳感器輸出的電信號轉換為特定格式的數字視頻信號。同時也解決了外部光源與圖像傳感器的同步問題。經過前處理后得到的圖像傳送給后處理模塊，后處理模塊主要是算法模塊，通過歸一化的加權亮度直方圖來反饋外部補光源的每個周期的發光長度，從而控制每幀圖像曝光的多少，達到實時動態的高質量幀圖像。

技術實現要素：

本發明的目的是針對在光線不足的黑暗場景下，提出了實時獲取清晰圖像的系統與方法。重點在解決了：一是主動外部紅外光源和圖像傳感器的控制同步問題，使得圖像傳感器的曝光和外部紅外光源的發光同步，在此基礎之上，根據CCD電子快門的曝光原理，提出了新的高效的外部光源發光控制機制；二是針對較暗場景條件下，提出了一種自適應的基于亮度直方圖的光源發光反饋控制算法。

本發明的技術方案是：暗場景下基于CCD傳感器實時獲取清晰圖像的裝置，包括CCD傳感器單元，信號處理電路單元，圖像前處理單元和圖像后處理單元；所述圖像前處理單元包含同步信號提取與控制電路模塊和外部光源模塊；

所述CCD傳感器單元將采集的原始圖像信號送入信號處理電路單元的同時，還將原始圖像信號送入同步信號提取與控制電路模塊；

所述同步信號提取與控制電路模塊從原始圖像信號中提取同步時鐘信號，控制外部光源模塊，使得CCD傳感器單元曝光和外部光源模塊發光同步。

進一步的，所述外部光源模塊采用近紅外光源作為外部光源。

進一步的，所述信號處理電路單元接收來自CCD傳感器單元采集到的原始圖像信號，并對原始圖像信號進行加工處理，A/D轉化，去噪，圖像增強和格式轉換。

本發明還提供暗場景下基于CCD傳感器實時獲取清晰圖像的方法，已知VD是提取出的同步時鐘信號；Q是在每個像素點上積累的電荷量；CS代表外部光源的控制信號，高電平表示光源亮，低電平表示光源滅；

外部光源模塊中外部光源控制信號的具體控制方法如下：在每個周期內增加一個RP，RP代表復位脈沖序列，RP上升沿有兩個功能：一是Q的觸發信號，每個像素點從RP的上升沿開始積累電荷；二是清空每個像素點上之前積累的電荷；設一個周期內最后一個復位脈沖點為s，那么在點s之前CS保持低電平。

進一步的，定義外部光源在一個場周期內發光的長短為η：

其中，T_EE為一個場周期中有效的曝光時間，T_LO為一個場周期中外部光源的點亮時間，0≤η≤1；

η的理想值η₀的具體計算方法在圖像后處理單元中實現，所述圖像后處理單元包括直方圖統計模塊，亮度計算模塊和邏輯控制模塊；所述理想值η₀的具體計算方法如下：

步驟一、采用直方圖統計模塊計算每幀圖像的歸一化加權亮度直方圖；

步驟二、亮度計算模塊基于直方圖統計模塊，首先確定較暗區域的灰度值d和較亮區域的灰度值b(d值與b值的確定關系到圖像曝光情況的判定，本發明是經過大量的試驗而得到的一個相對較優的值)；然后用變量sum_d來表示從灰度值0到灰度值d之間的所有灰度的比重之和，所述從灰度值0到灰度值d之間包括包含0和d，用公式表示為：

其中，n_i表示灰度等級i加權歸一化后所占的比重；

用變量sum_b來表示從灰度值b到255之間的所有灰度的比重之和，所述從灰度值b到255之間包含d和255，用公式表示為：

同樣，n_i表示灰度等級i加權歸一化后所占的比重；

步驟三、采用邏輯控制模塊判斷當前幀是否曝光不足或是過曝光，并確定理想值η₀，具體如下：

(1)給η賦一個初始值initial_value；

(2)比較sum_d與事先設定好的閾值t_d的大小，如果sum_d＞t_d，則被認為曝光不足，下一幀的η值將以的方式獲取，B_n表示當前幀圖像的加權亮度均值，B_n+1表示下一幀圖像的加權亮度均值；如果某個時刻剛好達到了sum_d＜t_d，則此時被稱為曝光不足臨界點，相應的η值被記作：η_d；過了曝光不足臨界點后，則要比較sum_b與同樣是預先設定好的閾值t_b的大小；如果sum_b＜t_b，下一幀的η值將同樣以的方式獲取，若達到sum_b＞t_b，則標志著過曝光已經發生，此時被稱為是過曝光臨界點，相應的η值被記作：η_b，

閾值t_d與閾值t_b的設定是為了確定當前的曝光情況，同樣是經過大量試驗得出的一個較優值；

(3)將η_d和η_b取平均值得到η的理想值η₀。

進一步的，實時監測η_d和η_b兩個量的動態變化，如果不發生變化，則下一幀的η值將繼續以獲取；若是發生了變化，則理想值η₀也會跟著相應的變化，即重新計算變化后的η_d和η_b平均值，更新為新的η的理想值η₀，達到一個動態的平衡。

進一步的，步驟一所述采用直方圖統計模塊計算每幀圖像的歸一化加權亮度直方圖，具體如下：定義圖像的中心部分為圖像的感興趣區域和圖像的邊緣部分為非感興趣區域，并將感興趣區域和非感興趣區域分配不同的權重，之后計算每幀圖像的歸一化加權亮度直方圖。

進一步的，一張圖像被分為了九個區域，具體來說，試驗中選取的一種長度與高度的各部分比例分別為：

|OP|:|PQ|:|QR|＝1:2:1

|OM|:|MN|:|NK|＝1:2:1

即：圖像的寬度上以1∶2∶1的比例劃分為三段OP、PQ、QR，高度上也以1∶2∶1的比例劃分為三段OM、MN、NK，這樣形成的九個方形區域，最中間部位劃分為感興趣區域，四周8個部位劃分為非感興趣區域。

進一步的，所述最中間部位劃分為相同大小的九個區域，九個區域分配不同的權重。

有益效果：提出暗場景下基于CCD傳感器實時獲取清晰圖像的系統與方法，針對光線較暗的場景，具體采用的是圖像前處理和后處理相結合的混合方法。前處理主要包括創造性地加了一個外部補光紅外光源、結合CCD(電荷藕合器件圖像)電子快門原理解決了外部光源與圖像傳感器的同步問題；后處理提出了基于加權亮度直方圖的反饋算法，從而達到實時獲取高質量的圖像。

附圖說明

圖1系統功能結構圖；

圖2典型的CCD電荷積分模式與外部光源控制時序；

圖3改進的光源控制方案；

圖4感興趣區域與非感興趣區域的劃分；

圖5一張圖像中各個部分區域所占比重；

圖6一幀圖像的歸一化亮度直方圖與加權歸一化亮度直方圖；

圖7邏輯控制模塊功能流程圖；

圖8同步信號提取實施用例的系統功能結構圖；

圖9硬件系統實現；

圖10燈組的控制時序；

圖11 CCD圖像傳感器輸出時序；

圖12反饋調節電路系統框圖；

圖13實施用例2中的一組圖像；

圖14區域劃分模板。

具體實施方式

本發明圍繞較暗場景下要獲取清晰圖像的系統設計，相應地分為兩個環節：1)主動紅外光源和圖像傳感器的控制同步問題；2)基于算法的自適應光強控制問題。

本發明公開了一種高效率的自適應同步和光強控制的系統和算法。

圖1給出了本發明的系統功能結構圖。系統主要由CCD傳感器單元，信號處理電路單元，圖像前處理單元(圖中A部分)和圖像后處理單元(圖中B部分)組成。具體來說：

(1)CCD傳感器單元負責將采集的原始圖像信號送入信號處理電路的同時，還將原始圖像信號送入圖像前處理單元中。

(2)信號處理電路單元接收來自CCD傳感器單元的信號，并對信號進行加工處理，A/D轉化，去噪，圖像增強和格式轉換等。

(3)圖像前處理單元包含同步信號處理模塊和外部光源模塊。對于同步信號的處理，我們采用內同步方式，即從圖像傳感器的輸出信號中提取出同步時鐘，控制主動紅外光源。在獲取同步信號之后，本發明提出了高效的外部紅外光源控制機制。首先，我們來看典型的，也就是常見的外加光源的控制方法：

在圖2中，VD是提取出的CCD場同步信號，Q是在每個像素點上積累的電荷量，CS(ControlSignal)代表外部光源的控制信號，高電平表示光源亮，低電平表示光源滅。CS信號以場同步信號VD作為觸發信號，T_d是響應延遲時間，相比較于場周期T_VD而言，T_d是一個極小的量，可以忽略不計。

從圖2中可以看出，場同步信號VD從高電平轉變為低電平的同時，像素上的電荷開始積累直到一個周期的結束，像素上的電荷達到最大值，然后將積累的電荷輸出。這是常見的方式，即像素電荷Q和CS信號以場同步的起始位置作為觸發位置。而在本發明中，結合CCD電子快門的特點，做出了如下的改進：

相比較于圖2，圖3明顯的區別是增加了一個RP(Reset Pulses)。RP代表復位脈沖序列，其上升沿有兩個功能：一是像素電荷Q的觸發信號，每個像素從RP的上升沿開始積累電荷；二是清空每個像素上之前積累的電荷。事實上，我們發現CCD電子快門的機制正是由一系列這樣的RP復位脈沖組成的。由此可見，像素電荷的積累并不是在整個場周期內都是有效的，在本系統中正是采用了如圖3所示的方式。設一個周期內最后一個復位脈沖點為s(如圖3中所示)，那么在點s之前CS只需要保持低電平即可。這樣便能達到高效節能的目的。

另外在圖3中還定義了一個重要的變量η：

其中，T_EE為一個場周期中有效的曝光時間，T_LO為一個場周期中外部光源的點亮時間。η的大小表示外部紅外光源在一個場周期內發光的長短，顯然有0≤η≤1。

(4)圖像后處理單元包含直方圖統計模塊，亮度計算模塊和邏輯控制模塊。這個單元的內容主要體現在提出的算法上。

在直方圖統計模塊中，定義了圖像的感興趣區域和非感興趣區域。感興趣區域被賦予較高的權重，相應地，非感興趣區域則被賦予較低的權重。因為通常人們的注意力會放在一張圖像的中央部分，尤其是在光線較暗場景下，突出感興趣區域，忽略非感興趣區域將取到事半功倍的效果。所以本發明中將圖像的中心部分(圖4A₂₂區域)劃分為感興趣區域，邊緣部分劃分為非感興趣區域，各部分所占權重各不相同，具體如圖4所示。

在圖4中，一張圖像被分為了九個區域，具體來說，試驗中選取的一種長度與高度的各部分比例分別為：

|OP|:|PQ|:|QR|＝1:2:1

|OM|:|MN|:|NK|＝1:2:1

即：圖像的寬度上以1:2:1的比例劃分為三段OP、PQ、QR，高度上也以1:2:1的比例劃分為三段OM、MN、NK，這樣形成的九個區域即為圖4(a)中的劃分方式。為了達到更好的視覺效果，在中央的A₂₂區域，又細分為相同大小的九個區域，但其個部分的比重并不一樣，如圖5所示。圖5中不同符號代表不同位置所占的比重。

在確定了各個部分區域所占比重之后，就可以計算每幀圖像的歸一化加權亮度直方圖。圖6給出了一幀圖像的例子。(b)和(c)中橫軸表示各個灰度值，縱軸為相應灰度值歸一化后所占的比重。兩者所不同的是，(b)中的每個像素的權值都是一樣的，而在(c)中，不同的像素區域按照前文的方法被賦予了不同的權值。由于(a)中的中央位置較四周要稍稍亮一些，當其被賦予較高的權重時，直方圖就會整體稍向右移動，這樣就突出了我們所需的關注點。

亮度計算模塊是基于直方圖統計模塊的基礎之上的，在此模塊中，算法首先要確定較暗區域的灰度值d和較亮區域的灰度值b(如圖6中所示)。然后用變量sum_d來表示從灰度值0到灰度值d之間(包含0和d)的所有灰度的比重之和，用公式表示為：

其中，n_i表示灰度等級i加權歸一化后所占的比重。類似地，用變量sum_b來表示從灰度值b到255之間(包含d和255)的所有灰度的比重之和，用公式表示為：

同樣，n_i表示灰度等級i加權歸一化后所占的比重。

本發明中通過計算sum_d和sum_b的值來判斷當前幀是否曝光不足或是過曝光等情況，具體判斷方法在邏輯控制模塊中介紹。

邏輯控制模塊的功能如圖7中的流程圖所示。變量η的初始值為0，即開機時外部光源是默認為不發光的。首先要給η賦一個初始值initial_value以便啟動反饋調節機制。接著比較sum_d與事先設定好的閾值t_d的大小，如果sum_d＞t_d，則被認為曝光不足，下一幀的η值將以的方式獲取(B_n表示當前幀圖像的加權亮度均值，B_n+1表示下一幀圖像的加權亮度均值)。如果某個時刻剛好達到了sum_d＜t_d，則此時被稱為曝光不足臨界點，相應的η值被記作：η_d。過了曝光不足臨界點后，則要比較sum_b與同樣是預先設定好的閾值t_b的大小。如果sum_b＜t_b，下一幀的η值將同樣以的方式獲取。若達到sum_b＞t_b，則標志著過曝光已經發生，此時被稱為是過曝光臨界點，相應的η值被記作：η_b。當達到這樣的情況后，需要減小η值使其既不過曝光也不會曝光不足。本發明采取的取平均值法得到中間的理想η₀。

但是隨著周圍環境光照變化，曝光不足臨界點η_d和過曝光臨界點η_b會發生變化，本發明中會實時監測這兩個量的動態變化，如果不發生變化，則下一幀的η值將繼續以獲取。若是發生了變化，則我們所要獲取的理想值η₀也會跟著相應的變化，直到達到一個動態的平衡。

實施用例1：

原理：提取模擬攝像機輸出的模擬視頻信號的同步信號，進而控制主動紅外光源的發光時序。

本例中，圖像傳感器為普通的模擬攝像機，視頻輸出信號一般為復合視頻廣播信號(CVBS,Composite Video Broadcast Signal)或復合視頻消隱和同步(Composite Video Blanking and Sync)，復合視頻包含色差和亮度信息，并將它們同步在消隱脈沖中，以模擬波形來傳輸數據。CVBS信號是美國國家電視標準委員會電視信號的傳統圖像數據傳輸方法。

本實施用例的基本思想是從模擬攝像機的輸出信號中提取出用于控制圖像采集的同步信號，例如場同步、位同步信號等，再經過相應的時序電路處理，設計出主動光源的同步控制信號，進而控制主動光源的亮滅與圖像傳感器的信號采樣時刻吻合，確保獲得最佳曝光效果和圖像質量。

具體實現步驟如下：

(1)模擬攝像頭輸出符合視頻信號復合視頻廣播信號CVBS。

(2)以CVBS信號為參考基礎，從模擬形式的CVBS信號中提取出同步時鐘信號。

(3)步驟(2)中提取的同步信號為輸入，根據相應的時序控制電路處理后輸出控制信號，作為主動光源的控制信號。

(4)主動紅外光源根據輸入的同步控制信號，控制主動紅外光源的開啟和閉合。

其中，步驟2中的同步信號提取電路的設計依據是CVBS模擬視頻信號中包含有相應的時鐘信息分量，因此可以通過設計電路提取出來，這種同步時鐘分量的提取既可以采用專用芯片完成，也可采用分立電子器件電路實現。時序控制電路主要完成提取出來的幀同步信號VSYNC、行同步信號HREF、像素輸出信號PCLK，經過任務邏輯控制要求，轉換輸出為主動光源的同步控制信號。

以基于主動紅外光源的眼睛檢測和跟蹤為例，應用實例1被應用于基于主動紅外光源的眼睛檢測和跟蹤技術當中。利用所謂的亮瞳技術和紅外幀差圖像來輔助實現眼睛的檢測。其中，紅外幀差圖像的采集效果在提高眼睛的檢測的準確率中起到了至關重要的作用。根據本發明所提出的方法，我們可以設計出如下的硬件系統。整個系統的實現框圖如下圖9所示，

整個硬件系統由四個部分。第一個部分是采集的前端，由CCD攝像機和兩組紅外LED燈構成；第二部分是同步信號提取及光源同步控制電路，從模擬形式的CVBS信號中提取出同步時鐘信號，根據相應的時序控制電路處理后輸出控制信號；第三個部分是視頻圖像采集電路，利用一個PCI采集卡和V4L驅動實現對視頻的采集；第四部分是亮度的控制電路，通過調節外環光源和內環光源的光強度使獲取的亮瞳圖像和暗瞳圖像非瞳孔的臉部背景灰度近似相同。在圖10中，我們采用CCD攝像進行視頻數據的采集。在CCD攝像電路中，使用的CCD圖像傳感器為ICX405AL，這是一款支持CCIR黑白制式(CCIR是與PAL相對應的黑白電視格式)的CCD傳感器(有效像素點數為500(H)×582(V))，其相應的時序控制電路為CXD2463R，DSP處理芯片為CXA1310AQ。攝像采集的圖像數據以CVBS信號輸出。利用同步信號提取芯片LM1881，可以從CVBS信號提取出場同步信號和幀同步信號。對于CCIR黑白電視信號，每秒傳輸50場，25幀圖像信號。對于CCD攝像機而言，它使用一場的時間進行積分。如果需要獲得亮瞳圖像，只需要在一場內讓內圈紅外光源保持一段時間點亮，外圈紅外光源長滅，就可以在這一場中獲得一個亮瞳圖像。同樣的方法作用在外圈光源上可以獲得一個暗瞳的圖像。其中，使用的外圈光源為940nm波長的紅外光源，內圈光源為850nm波長的紅外光源。同步控制時序如下圖10所示：

在圖10中，T_oe為一幀時間，T為內圈或外圈燈亮的一個周期，點s即為周期內最后一個復位脈沖點。奇偶信號是由LM1881從CVBS信號當中解碼得到的奇偶場信號(高低電平分別對應著兩種不同的場信號)。內圈燈控是內圈led燈的控制信號，外圈燈控是外圈led燈的控制信號。我們可以假設亮燈脈沖的時間相同(脈沖寬度由程序設定)，所以有：

t_bc1＝t_bc2＝t_dc1＝t_dc2＝t_c

t_bc1，t_bc2，t_dc1，t_bc2分別是各亮燈脈沖的時間。

另外，由于已知為CCIR黑白制式視頻，所以有：

T＝2T_oe＝80ms

根據CCD傳感器的原理，為產生亮瞳效應，必須滿足如下約束：

其中，t_s是與CCD圖像傳感器相關的量，t_{b_dly1}，t_{b_dly2}，t_{d_dly1}，t_{d_dly2}分別為各自亮燈之前的時間延時。由圖11可知，由CCD圖像傳感器輸出的同步信號(output端的正脈沖)略超前于FLD(幀信號)，所以t_s的作用就是對這一小段差值進行補償。圖中v1是驅動信號。為了保證亮暗瞳非眼部背景圖像的低差異度，暗瞳光源點亮的占空比應該與亮瞳光源點亮占空比盡量一致對應。為解決奇偶場的圖像亮度差異問題，應該盡量均衡光源在奇偶場中的占空比。本系統設計光源的同步信號延時1ms，占空比為40％，奇偶場光源占空比分別為20％。

實施用例2

原理：通過圖像傳感器采集的圖像數據，提取出光強度信號(加權歸一化直方圖統計)，確定閾值，從而獲得調整主動光源的發光電路，如圖12所示。

具體實現步驟如下：

(1)圖像前處理部分與實施用例1相類似，提取出同步信號之后結合CCD電子快門原理得到高效節能的外部光源控制方式。與實施用例1中完全不同的是，不用分內圈和外圈，而是只有一組紅外燈用來作為外界光照不足時的補光源。

(2)圖像后處理部分運用前文所述的加權歸一化直方圖統計的算法來實時反饋控制信息。η值的大小會根據反饋的結果得到實時的更新以期達到獲取清晰圖像。

(3)本發明公開了試驗中用到的區域劃分模板，初始值initial_value，灰度值b和d，閾值T_d和T_b以及一組實驗獲取的圖像。圖13給出的是用例中測得的一組數據，圖13中左側的是所得幀圖像，右側是相應圖像的加權歸一化直方圖。第一幅圖是原始圖像，即所測數據的環境，第二幅圖是曝光不足的情況，第三幅圖是正常曝光的情況，最后一幅圖是過曝光的情況。本實施用例中會最終反饋調節到正常曝光的情況。

其中，灰度值b和d取值分別為38和231；初始值initial_value取0.25，T_d和T_b可以調節，在本例中所取的值分別為0.09和0.2。另外，區分模板劃分如圖14所示。

以上所述僅是本發明的優選實施方式，應當指出，對于本技術領域的普通技術人員來說，在不脫離本發明原理的前提下，還可以做出若干改進和潤飾，這些改進和潤飾也應視為本發明的保護范圍。