一種適用于空間探測成像的基于fpga的自動曝光控制方法及其裝置制造方法
【專利摘要】本發明涉及一種適用于空間探測成像的基于FPGA的自動曝光控制方法及其裝置，該方法由當前幀主體圖像平均亮度得到當前幀圖像平均亮度，根據當前幀圖像平均亮度與預期圖像平均亮度的差值的正負和大小來自適應選取曝光時間，采用連續幀不斷循環迭代使當前幀圖像平均亮度達到預期圖像平均亮度。一種為實施上述自動曝光控制方法的自動曝光控制裝置包括光學鏡頭、APS傳感器、曝光控制FPGA。本發明解決了現有空間探測成像技術中目標圖像曝光過度、目標圖像分割以及自動曝光速度和穩定性之間權衡的技術問題，提高了圖像的對比度，能夠實現在各種空間探測光照環境下進行更快速、更穩定、更準確的自動曝光控制，增加了空間探測環境成像時的自適應能力。
【專利說明】—種適用于空間探測成像的基于FPGA的自動曝光控制方法及其裝置
【技術領域】
[0001]本發明涉及深空探測技術中的自動曝光控制領域，特別是一種適用于空間探測成像的基于FPGA的自動曝光控制方法及其裝置。
【背景技術】
[0002]成像裝置的自動曝光控制對輸出圖像質量的影響非常大。自動曝光控制的目標是使拍攝主體的圖像暗部細節不丟失，亮部不過曝，同時平均亮度適合人眼觀看。
[0003]應用于空間探測的成像裝置在軌工作時，曝光時間是否合適非常重要，曝光時間過短會導致景物很暗，而過長又會導致景物亮度飽和，因此進行自動曝光控制是必需的，但自動曝光控制非常復雜，曝光控制不好可能會陷入曝光時間紊亂，出現時亮時暗的情況。因此自動曝光控制是否合適，對成像裝置是至關重要的，關系到任務的成敗。
[0004]目前民用相機在自動曝光控制技術上比較成熟，可以根據夜景、白天、人像等設定所需要的不同曝光控制模式，效果很好，也可以根據不同的拍攝主體采用光圈先決式、快門先決式和程序式自動曝光控制來獲得準確曝光。民用相機的自動曝光控制技術如果應用于空間探測等航天領域，就存在有局限性。
[0005]首先從自動曝光控制方法來說，①應用于空間探測的成像裝置，對拍攝主體進行成像時，由于無法預知拍攝主體的光照條件、位置、所占圖像區域大小等情況，無法根據現場情景設定自動曝光控制模式。②應用于空間探測的成像裝置如果采用現有的圖像整體亮度來控制曝光，如果拍攝主體與背景之間的亮度差太大，會使得拍攝主體出現曝光不足或者曝光過度的現象。③應用于空間探測的成像裝置如果采用民用相機的參照亮度值控制方法，將圖像分塊，每一塊子圖像的亮度被用于設置參照亮度值，該參照亮度值可以通過調整光圈大小獲得，當然同樣也可以通過設置快門速度獲得該參照亮度值，則應用于空間探測成像裝置是無人操作，無法設定光圈或快門。④民用相機有的通過研究不同光照條件下的亮度與曝光值之間的關系來進行曝光控制，應用空間探測的成像裝置無法預先進行亮度與曝光值之間的標定，所以不能采用這樣曝光控制方法。⑤民用的自動曝光控制方法均是基于整幅圖像進行自動曝光控制的，當拍攝主體相對背景很小時，會造成拍攝主體曝光過度。當拍攝主體很亮、背景較暗時，此時應該減小曝光時間；但由于是對整幅圖像進行計算的，亮度高的像素數目遠小于亮度低的像素數目，因此整幅圖像較暗，為了提高整幅圖像的亮度，繼續增加曝光時間，最終導致拍攝主體曝光過度。因此需要在現有的自動曝光算法中分割出拍攝主體圖像，對拍攝主體圖像進行有效的自動曝光控制。⑥現有的對拍攝主體圖像的自動曝光算法，為了分割出拍攝主體圖像，經常采用固定亮度閾值進行分割，但由于應用于空間探測成像裝置的溫度影響，固定亮度閾值分割不能適應各種情況，因此需要將自適應閾值分割的方法引入自動曝光控制方法中來。
[0006]其次從自動曝光步長選取來說，自動曝光搜索的步長會影響搜索速度和搜索穩定性之間的權衡關系。曝光時間調整步長過小會增加搜索次數，導致降低搜索速度；而如果曝光時間調整步長過長可能造成搜索無法收斂，在最佳曝光點左右搖擺不穩定的現象。現有的自動曝光方法多數不能根據不同場景的亮度情況動態的調整搜索步長。
[0007]最后從實現自動曝光控制方法的器件來說，民用相機一般采用的特定微處理器件來實現自動曝光控制方法，而這樣的特定微處理器件一般不能應用航天產品，不能在深空環境下保證航天成像裝置的可靠性。由此將采用適應于空間探測環境的器件來實現自動曝光控制方法，并對自動曝光控制方法進行優化。
[0008]目前，空間光學遙感相機調節曝光的方法并不多，大型對地遙感相機因為其地面目標的確定性，可以使用輻亮度分析軟件、相機光學和傳感器芯片特性得出精確的曝光時間，只需根據地面景物的不同設定幾檔曝光時間進行切換。
[0009]國內目前應用于空間探測成像裝置自動曝光控制方法由于成像裝置無法對拍攝主體進行識別，當視場內景物相對復雜時，無法進行有效曝光控制，受噪聲和非拍攝主體干擾大，使得圖像中拍攝主體亮度很難在一個合適的范圍內，增大了自動曝光控制的難度。
【發明內容】
[0010]有鑒于此，本發明的主要目的在于提供一種適用于空間探測成像的基于FPGA的自動曝光控制方法及其裝置。
[0011]為了達到上述目的，本發明的技術方案是這樣實現的:
[0012]本發明提供了一種適用于空間探測成像的基于FPGA的自動曝光控制方法，對當前幀圖像采用自適應閾值分割，識別出當前幀主體圖像，由當前幀主體圖像平均亮度得到當前幀圖像平均亮度，根據當前幀圖像平均亮度與預期圖像平均亮度的差值大小來自適應選取曝光時間，采用連續幀不斷循環迭代使當前幀圖像平均亮度達到預期圖像平均亮度，其中，自動曝光控制步驟為:
[0013]步驟(11):計算當前幀的圖像平均亮度，以當前幀圖像的所有像素的均值的一半作為自適應閾值，將大于等于閾值的像素分割為當前幀主體圖像，再將當前幀主體圖像亮度進行累加求平均得到當前幀的圖像平均亮度，包括以下步驟:
[0014]步驟(111):RGB三色合成圖像亮度，采用RGB色彩空間到YUV色彩空間變換關系將像素為MXN的整幅圖像的相鄰的四個分量R、G1、G2、B加權平均得到一個圖像亮度數據，將M X N個彩色值轉換為M/2 X N/2個亮度值。
[0015]步驟(112):圖像亮度抽樣提取，將RGB三色合成的M/2XN/2個亮度值在列方向按照Ι/m的抽樣原則，將M/2XN/2個亮度值轉換為M/2mXN/2個亮度值。
[0016]步驟(113):計算圖像行平均亮度，計算M/2mXN/2個亮度值的每一行所有像素的平均值，并以前一行的平均值的一半作為當前行的自適應閾值，將當前行中大于等于閾值的像素分割為當前行主體圖像，再將當前行主體圖像亮度進行累加求平均得到當前行的圖像平均亮度，將M/2mXN/2個亮度值轉換為N/2個行亮度平均值。
[0017]步驟(114):計算圖像塊平均亮度，將M/2mXN/2個亮度值以相鄰的η行合成為I塊，將M/2mXN/2亮度值分為N/2n塊，將相鄰的η行的平均值累加求平均得到每一塊的平均亮度，得到Ν/2η個塊亮度平均值。
[0018]步驟(115):計算圖像平均亮度，將Ν/2η個亮度平均值累加求平均得到整幅圖像的亮度均值，將均值的一半作為自適應閾值，將大于等于閾值的像素分割為當前幀主體圖像，再將當前幀主體圖像亮度進行累加求平均得到當前幀的圖像平均亮度Y(mean)。
[0019]步驟(12):當前幀的圖像平均亮度與預期圖像平均亮度比較，如果當前幀的圖像平均亮度與預期圖像平均亮度的差值的絕對值小于等于設定圖像平均亮度差值Y(th)，就認為自動曝光控制已經控制到位，停止曝光時間的調整，以當前幀的曝光時間作為下一幀的曝光時間，如果當前幀的圖像平均亮度與預期圖像平均亮度的差值的絕對值大于設定圖像平均亮度差值Y (th)，則進入曝光時間調整。
[0020]步驟(13):確定下一幀曝光時間，下一幀自動曝光時間的確定是在當前幀的曝光時間的基礎上，根據當前幀的圖像平均亮度與預期圖像平均亮度的差值的正負和大小來進行曝光時間選擇，包括以下步驟:
[0021]步驟(131):如果當前幀的圖像平均亮度與預期圖像平均亮度的差值為正，下一中貞圖像曝光時間就需要在前一巾貞圖像曝光時間的基礎上減小曝光時間；
[0022]步驟(132):如果當前幀的圖像平均亮度與預期圖像平均亮度的差值為負，下一中貞圖像曝光時間就需要在前一巾貞圖像曝光時間的基礎上增加曝光時間；
[0023]步驟(133):當前幀的圖像平均亮度與預期圖像平均亮度的差值大小來自適應確定增加、減小曝光時間值，增加、減小的曝光時間值為步長數值RX亮度差值X曝光時間當量值t ；
[0024]步驟(134):下一幀圖像曝光時間減少，如果前一幀的曝光時間與曝光時間范圍的下限差值大于確定減小的曝光時間值，則下一幀的曝光時間為前一幀的曝光時間減去確定的減小的曝光時間值；否則直接將曝光時間范圍的下限值作為下一幀的曝光時間；
[0025]步驟(135):下一幀圖像曝光時間增加，如果前一幀的曝光時間與曝光時間范圍的上限差值大于確定的增加的曝光時間值，則下一幀的曝光時間為前一幀的曝光時間加上確定的增加的曝光時間值；否則直接將曝光時間范圍的上限值作為下一幀的曝光時間；
[0026]上述方案中，所述RGB色彩空間到YUV色彩空間變換關系為(8R+R+4B+16Gl+2G2+G2)/32，其中:
[0027]Gl為奇通道的G分量；
[0028]G2為偶通道的G分量；
[0029]上述方案中，所述的自動曝光控制方法在曝光控制FPGA內運行，其中，曝光控制FPGA為航天級反熔式FPGA，其型號為Actel公司的A54SX72A-CQ208B。
[0030]上述方案中，所述的自動曝光控制方法的曝光時間檔位分為兩檔，a檔的曝光時間范圍為4 μ s?140ms, b檔的曝光時間范圍為16 μ s?560ms。
[0031]一種適用于空間探測成像的基于FPGA的自動曝光控制裝置，該自動曝光控制裝置包括光學鏡頭、APS傳感器、曝光控制FPGA ;其中，光學鏡頭、APS傳感器、曝光控制FPGA依次放置，
[0032]光學鏡頭，用于將待成像目標成像在APS傳感器上；
[0033]APS傳感器,用于將光學信號轉換成電子信號；
[0034]曝光控制FPGA，用于圖像亮度計算，并將所得圖像亮度與預期的圖像亮度進行比較，確定自動曝光時間。
[0035]本發明所具有的優點:
[0036]1、本發明能夠實現在各種光照條件、溫度情況下，對拍攝主體圖像的自適應分割，對分割出的拍攝主體圖像進行有效的曝光控制。
[0037]2、本發明將自適應閾值引入自動曝光控制方法中，可以實現各種溫度狀況下的自動曝光控制。
[0038]3、本發明中自動曝光時間的調整由拍攝圖像平均亮度與預期圖像平均亮度的差值大小決定，圖像亮度差值越小，調整的曝光時間越小，圖像亮度差值越大，調整的曝光時間越大。這樣的自動曝光控制機制保證了曝光時間調整隨曝光程度改變，達到搜索速度和搜索穩定性之間的平衡。
[0039]4、本發明可以快速、準確的調整曝光值，調節曝光值比較穩定，可以有效避免由于不收斂造成的曝光閃爍現象。
[0040]5、本發明采用自動曝光控制方法，對空間探測中的暗背景亮目標、目標大小不確定等各種情況取得很好的曝光效果，收斂性很好。
[0041]6、本發明采用航天級反熔式FPGA來實現自動曝光控制方法，能適應空間探測成像空間環境，提高自動曝光裝置的可靠性。
【專利附圖】
【附圖說明】
[0042]圖1是本發明的自動曝光控制方法步驟圖；
[0043]圖2是本發明的圖像亮度計算步驟圖；
[0044]圖3是本發明的曝光時間選擇步驟圖；
[0045]圖4是本發明的自動曝光控制裝置示意圖；
[0046]其圖中標記為:21_光學鏡頭、22-APS傳感器、23-曝光控制FPGA ；
[0047]圖5是本發明的自動曝光控制流程圖；
[0048]其圖中標記為:Y(mean)_當前巾貞圖像平均亮度、Y(ref)_預期圖像平均亮度、
Y(th)-設定圖像平均亮度差值。
【具體實施方式】
[0049]下面結合附圖及具體實施例對本發明再作進一步詳細的說明，但不應以此限制本發明的保護范圍。
[0050]本發明提供了一種適用于空間探測成像的基于FPGA的自動曝光控制方法，所述自動曝光控制方法對當前幀圖像采用自適應閾值分割，識別出當前幀主體圖像，由當前幀主體圖像平均亮度得到當前幀圖像平均亮度，根據當前幀圖像平均亮度與預期圖像平均亮度的差值大小來自適應選取曝光時間，采用連續幀不斷循環迭代使當前幀圖像平均亮度達到預期圖像平均亮度，如圖1所示，其中，自動曝光控制方法步驟為:
[0051]步驟(11):計算當前幀的圖像平均亮度，以當前幀圖像的所有像素的均值的一半作為自適應閾值，將大于等于閾值的像素分割為當前幀主體圖像，再將當前幀主體圖像亮度進行累加求平均得到當前幀的圖像平均亮度，如圖2所示，包括以下步驟:
[0052]步驟(111):RGB三色合成圖像亮度，采用RGB色彩空間到YUV色彩空間變換關系將像素為MXN的整幅圖像的相鄰的四個分量R、G1、G2、B加權平均得到一個圖像亮度數據，將MXN個彩色值轉換為M/2XN/2個亮度值，例如將2352X 1728彩色值轉換為1176X864個亮度值。
[0053]步驟(112):圖像亮度抽樣提取，將RGB三色合成的M/2XN/2個亮度值在列方向按照Ι/m的抽樣原則，將M/2XN/2個亮度值轉換為M/2mXN/2個亮度值，例如在列方向按照1/8的抽樣原則，將1176X864個亮度值轉換為147X864個亮度值。
[0054]步驟(113):計算圖像行平均亮度，計算M/2mXN/2個亮度值的每一行所有像素的平均值，并以前一行的平均值的一半作為當前行的自適應閾值，將當前行中大于等于閾值的像素分割為當前行主體圖像，再將當前行主體圖像亮度進行累加求平均得到當前行的圖像平均亮度，將M/2mXN/2個亮度值轉換為N/2個行亮度平均值。
[0055]步驟(114):計算圖像塊平均亮度，將M/2mXN/2個亮度值以相鄰的η行合成為I塊，將M/2mXN/2亮度值分為N/2n塊，將相鄰的η行的平均值累加求平均得到每一塊的平均亮度，得到Ν/2η個塊亮度平均值，例如147X864個亮度值以相鄰的27行合成為I塊，將147X864亮度值分為32塊。
[0056]步驟(115):計算圖像平均亮度，將Ν/2η個亮度平均值累加求平均得到整幅圖像的亮度均值，將均值的一半作為自適應閾值，將大于等于閾值的像素分割為當前幀主體圖像，再將當前幀主體圖像亮度進行累加求平均得到當前幀的圖像平均亮度。
[0057]步驟(12):當前幀的圖像平均亮度與預期圖像平均亮度比較，如果當前幀的圖像平均亮度與預期圖像平均亮度的差值的絕對值小于等于設定圖像平均亮度差值Y(th)，就認為自動曝光控制已經控制到位，停止曝光時間的調整，以當前幀的曝光時間作為下一幀的曝光時間，如果當前幀的圖像亮度與預期圖像亮度的差值的絕對值大于設定圖像平均亮度差值Y (th)，則進入曝光時間調整，例如Y (th) = 8。
[0058]步驟(13):確定下一幀曝光時間，下一幀自動曝光時間的確定是在當前幀的曝光時間的基礎上，根據當前幀的圖像平均亮度與預期圖像平均亮度的差值的正負和大小來進行曝光時間選擇，如圖3所示，包括以下步驟:
[0059]步驟(131):如果當前幀的圖像平均亮度與預期圖像平均亮度的差值為正，則下一中貞圖像曝光時間就需要在前一巾貞圖像曝光時間的基礎上減小曝光時間；
[0060]步驟(132):如果當前幀的圖像平均亮度與預期圖像平均亮度的差值為負，則下一中貞圖像曝光時間就需要在前一巾貞圖像曝光時間的基礎上增加曝光時間；
[0061]步驟(133):當前幀的圖像平均亮度與預期圖像平均亮度的差值大小進行自適應增加、減小的曝光時間的選擇，增加、減小的曝光時間值為曝光時間步長數值RX亮度差值X曝光時間當量值t，例如曝光時間步長數值和曝光時間當量值如表I所示。
[0062]表I是本發明的自動曝光控制參數表
[0063]
【權利要求】
1.一種適用于空間探測成像的基于FPGA的自動曝光控制方法，其特征在于:對當前幀圖像采用自適應閾值分割，識別出當前幀主體圖像，由當前幀主體圖像平均亮度得到當前幀圖像平均亮度，根據當前幀圖像平均亮度與預期圖像平均亮度的差值的正負和大小來自適應選取確定下一幀的曝光時間，采用連續幀不斷循環迭代使當前幀圖像平均亮度達到預期圖像平均亮度，其中，自動曝光控制步驟為: 步驟(11):計算當前幀的圖像平均亮度，以當前幀圖像的所有像素的均值的一半作為自適應閾值，將大于等于閾值的像素分割為當前幀主體圖像，再將當前幀主體圖像亮度進行累加求平均得到當前幀圖像平均亮度，包括以下步驟: 步驟(111):RGB三色合成圖像亮度，采用RGB色彩空間到YUV色彩空間變換關系將像素為MXN的整幅圖像的相鄰的四個分量R、GU G2、B加權平均得到一個圖像亮度數據，將MXN個彩色值轉換為M/2XN/2個亮度值； 步驟(112):圖像亮度抽樣提取，將R、G、B三色合成的M/2XN/2個亮度值在列方向按照Ι/m的抽樣原則，將M/2XN/2個亮度值轉換為M/2mXN/2個亮度值； 步驟(113):計算圖像行平均亮度，計算M/2mXN/2個亮度值的每一行所有像素的平均值，并以前一行的平均值的一半作為當前行的自適應閾值，將當前行中大于等于閾值的像素分割為當前行主體圖像，再將當前行主體圖像亮度進行累加求平均得到當前行的圖像平均亮度，將M/2mXN/2個亮度值轉換為N/2個行亮度平均值； 步驟(114):計算圖像塊平均亮度，將M/2mXN/2個亮度值以相鄰的η行合成為I塊，將M/2mXN/2亮度值分為N/2n塊，將相鄰的η行的平均值累加求平均得到每一塊的平均亮度，得到Ν/2η個塊亮度平均值； 步驟(115):計算圖像平均亮度，將Ν/2η個亮度平均值累加求平均得到整幅圖像的亮度均值，將均值的一半作為自適應閾值，將大于等于閾值的像素分割為當前幀主體圖像，再將當前幀主體圖像亮度進行累加求平均得到當前幀的圖像平均亮度Y(mean)； 步驟(12):當前幀的圖像平均亮度與預期圖像平均亮度比較，如果當前幀的圖像平均亮度與預期圖像平均亮度的差值的絕對值小于等于設定圖像平均亮度差值Y(th)，就認為自動曝光控制已經控制到位，停止曝光時間的調整，以當前幀的曝光時間作為下一幀的曝光時間，如果當前幀的圖像平均亮度與預期圖像平均亮度的差值的絕對值大于設定圖像平均亮度差值Y (th)，則進入曝光時間調整； 步驟(13):確定下一幀曝光時間，下一幀自動曝光時間的確定是在當前幀的曝光時間的基礎上，根據當前幀的圖像平均亮度與預期圖像平均亮度的差值的正負和大小來進行曝光時間選擇，包括以下步驟: 步驟(131):如果當前幀的圖像平均亮度與預期圖像平均亮度的差值為正，則下一幀圖像曝光時間就需要在如一巾貞圖像曝光時丨0]的基礎上減小曝光時間； 步驟(132):如果當前幀的圖像平均亮度與預期圖像平均亮度的差值為負，則下一幀圖像曝光時間就需要在前一巾貞圖像曝光時間的基礎上增加曝光時間； 步驟(133):當前幀的圖像平均亮度與預期圖像平均亮度的差值大小來自適應確定增力口、減小的曝光時間值，增加、減小的曝光時間值為曝光時間步長數值RX亮度差值X曝光時間當量值t ； 步驟(134):下一幀圖像曝光時間減少，如果前一幀的曝光時間與曝光時間范圍的下限差值大于確定的減小的曝光時間值，則下一幀的曝光時間為前一幀的曝光時間減去確定的減小的曝光時間值；否則直接將曝光時間范圍的下限值作為下一幀的曝光時間； 步驟(135):下一幀圖像曝光時間增加，如果前一幀的曝光時間與曝光時間范圍的上限差值大于確定的增加的曝光時間值，則下一幀的曝光時間為前一幀的曝光時間加上確定的增加的曝光時間值；否則直接將曝光時間范圍的上限值作為下一幀的曝光時間。
2.根據權利要求1所述的自動曝光控制方法，其特征在于，所述RGB色彩空間到YUV色彩空間變換關系為(8R+R+4B+16Gl+2G2+G2)/32，其中: Gl為奇通道的G分量； G2為偶通道的G分量。
3.根據權利要求1或2所述的自動曝光控制方法，其特征在于，所述的自動曝光控制方法在曝光控制FPGA內運行，其中，曝光控制FPGA為航天級反熔式FPGA，其型號為Actel公司的 A54SX72A-CQ208B。
4.根據權利要求1所述的自動曝光控制方法，其特征在于，所述的自動曝光控制方法的曝光時間檔位分為兩檔，a檔的曝光時間范圍為4μ s?140ms，b檔的曝光時間范圍為16 μ s ?560ms。
5.一種為實現權利要求1所述自控曝光控制方法的自動曝光控制裝置，其特征在于，該自動曝光控制裝置包括光學鏡頭(21)、APS傳感器(22)、曝光控制FPGA (23);其中，光學鏡頭(21)、APS傳感器(22)、曝光控制FPGA (23)依次放置， 光學鏡頭(21)，用于將待成像目標成像在APS傳感器(22)上； APS傳感器(22)，用于將光學信號轉換成電子信號； 曝光控制FPGA(23)，用于圖像亮度計算，并將所得圖像亮度與預期的圖像亮度進行比較，確定自動曝光時間。
【文檔編號】H04N5/235GK104184958SQ201410476774
【公開日】2014年12月3日 申請日期:2014年9月17日 優先權日:2014年9月17日
【發明者】余國彬, 劉恩海, 周武林, 周向東, 鐘杰, 趙汝進, 王進 申請人:中國科學院光電技術研究所