攝像裝置和攝像方法與流程

本發明涉及在較長時間內進行攝影時，根據在攝影中途依次取得的多幀的圖像數據生成合成圖像數據的攝像裝置和攝像方法。

背景技術：

通過在數字相機等的攝像裝置上搭載相加合成或比較亮合成等的圖像處理功能，使得新用戶也能夠簡單地一邊通過實時取景對天體照片、煙花、光線藝術等的光線軌跡進行確認，一邊良好且簡單地進行攝影。在通過多重曝光而保留光線軌跡并攝影的情況下，主要使用相加合成或比較亮合成功能。

作為比較亮合成，在合成多個圖像時，比較同一像素位置的像素的像素等級(明亮度等級)，通過采用明亮的像素來生成合成圖像數據。例如，在日本國公開專利2013-062740號公報(以下，稱為專利文獻1)中提出了如下的攝像裝置：用戶能夠一邊通過實時取景來視覺確認攝影時的經過圖像，一邊進行綺麗地保留光線軌跡的攝影。

此外，在日本國公開專利2013-172372號公報(以下，稱為專利文獻2)中還提出了如下的攝像裝置：其通過第1張及其以后的攝影圖像的平均亮度差來變更合成處理，從而進一步減少失敗。作為一般的抑制隨機噪聲的方法已知相加平均合成。在日本國專利第5446847號公報(以下，稱為專利文獻3)中，提出了使用相加平均合成的運動體攝影方法。在日本國公開專利2014-212415號公報(以下，稱作專利文獻4)中提出了如下的攝像裝置，通過組合比較亮合成和比較暗合成，從而能夠分別獨立地調整背景或光跡的明亮度。

技術實現要素：

發明欲解決的課題

通過使用在專利文獻2、4中提出的攝影方法，拍攝光線的軌跡變得容易。然而，在進行光跡的攝影時，以比較亮合成作為基礎，因而在第1張攝影得到的圖像上噪聲等級會被左右(在專利文獻1中也相同)。因此，為了得到降低了圖像噪聲的合成圖像，如何能夠以低噪聲拍攝最初的第1張是關鍵點，難以提高ISO感光度進行攝影。反之若抑制噪聲并以相加平均合成作為基礎，則在背景較暗的場所每當實施相加平均處理時，光線的軌跡都會逐漸變淡。

本發明就是鑒于上述情況而完成的，其目的在于提供一種在根據明亮度合成多個圖像以得到合成圖像時，能夠進一步抑制隨機噪聲，能夠綺麗地保留光線的軌跡的攝像裝置和攝像方法。

用于解決課題的手段

本發明的第1方面的攝像裝置具有：攝像部，其對被攝體像攝像而生成圖像數據；圖像數據存儲部，其存儲圖像數據；第1累積合成處理部，其將通過上述攝像部生成的圖像數據和存儲于上述圖像數據存儲部中的圖像數據按照每個像素進行第1累積合成處理，并更新像素數據；第2累積合成處理部，其將通過上述攝像部生成的圖像數據和存儲于上述圖像數據存儲部中的圖像數據按照每個像素進行第2累積合成處理，并更新像素數據；以及控制部，其對構成通過上述攝像部生成的圖像數據的各像素數據的等級與規定的閾值等級進行比較，并根據上述比較結果，進行用于進行如下選擇的控制：選擇對構成通過上述攝像部生成的圖像數據的各像素數據是通過上述第1累積合成處理部進行第1累積合成處理還是通過上述第2累積合成處理部進行第2累積合成處理。

本發明的第2方面的攝像方法包括：通過攝像部對被攝體像攝像而生成圖像數據，存儲圖像數據，對構成通過上述攝像部生成的圖像數據的各像素數據的等級與規定的閾值等級進行比較，根據上述比較結果，選擇對構成通過上述攝像部生成的圖像數據的各像素數據進行第1累積合成處理還是進行第2累積合成處理，在選擇了上述第1累積合成處理的情況下，將通過上述攝像部生成的圖像數據和存儲于上述圖像數據存儲部中的圖像數據按照每個像素進行第1累積合成處理，并更新像素數據，在選擇了上述第2累積合成處理的情況下，將通過上述攝像部生成的圖像數據和存儲于上述圖像數據存儲部中的圖像數據按照每個像素進行第2累積合成處理，并更新像素數據。

發明的效果

根據本發明，可提供一種在根據明亮度合成多個圖像以得到合成圖像時，能夠進一步抑制隨機噪聲，并能夠綺麗地保留光線的軌跡的攝像裝置和攝像方法。

附圖說明

圖1A和圖1B是表示本發明的第1實施方式的相機的主要電氣結構的框圖。

圖2是表示本發明的第1實施方式的相機的攝像元件的濾色器的結構的俯視圖。

圖3是本發明的第1實施方式的相機的變形例，是表示攝像元件為3傳感器方式的結構的圖。

圖4是表示本發明的第1實施方式的相機的攝影動作的流程圖。

圖5是表示本發明的第1實施方式的相機的像素閾值設定的動作的流程圖。

圖6是表示本發明的第1實施方式的相機中的像素閾值等級的設定的圖。

圖7是表示本發明的第1實施方式的相機中的像素閾值等級的設定的變形例的圖。

圖8是表示本發明的第1實施方式的相機的每種顏色的感光度差的例的曲線圖。

圖9是表示本發明的第2實施方式的相機的攝影動作的流程圖。

圖10是表示本發明的第2實施方式的相機的像素閾值設定的動作的流程圖。

圖11是表示在本發明的第1和第2實施方式的相機中，通過比較亮合成和比較暗合成而生成的途中經過圖像的圖。

圖12是表示在本發明的第1和第2實施方式的相機中，根據像素等級等選擇性切換比較亮合成和比較暗合成而生成的途中經過圖像的圖。

具體實施方式

以下，作為本發明的第1實施方式說明應用于數字相機中的示例。該相機具有攝像部，通過該攝像部將被攝體像變換為圖像數據，并根據該變換后的圖像數據，使被攝體像在配置于主體的背面的顯示部上進行實時取景顯示。攝影者觀察實時取景顯示，從而確定構圖或快門時機。在釋放操作時，將圖像數據記錄于記錄介質。在選擇了再現模式時，記錄于記錄介質中的圖像數據能夠再現顯示于顯示部上。

此外，該相機在選擇了累積合成模式(例如，實時B門等的長時間曝光模式)等的模式時，在從用戶的曝光開始的指示到曝光結束的指示為止的期間內，以規定時間間隔從攝像部讀出圖像數據，使用該讀出的圖像數據，進行比較亮合成或相加平均合成等合成處理，在進行了攝影結束指示時，將合成處理后的圖像數據記錄于外部存儲器。被攝體為星星等的情況下，成為記錄有光跡等的圖像。

進而，該相機能夠通過自動或手動來設定像素等級的閾值，按照每個像素判定是比閾值亮還是暗，并根據該判定結果，進行比較亮合成或進行相加平均合成等，從多個合成處理中選擇任意的合成處理。通過該處理，能夠降低圖像的噪聲。

圖1A和圖1B是表示第1實施方式的相機的主要電氣結構的框圖。鏡頭鏡筒部1內具有鏡頭單元2、快門單元3、攝像元件4、鏡頭驅動馬達5、快門驅動馬達6、馬達控制部7、閃光燈發光部8和閃光燈控制部9。另外，鏡頭鏡筒部1既可以與相機主體構成為一體，也可以在相機主體上拆裝自如。

鏡頭單元2具有單焦點鏡頭或變焦鏡頭，使被攝體像在攝像元件4上成像。鏡頭單元2內的對焦鏡頭通過鏡頭驅動馬達5而能夠沿光軸方向移動。快門單元3配置于鏡頭單元2的光軸上，是焦平面快門等機械快門。該快門單元3通過快門驅動馬達6而打開和關閉。快門單元3打開時，來自鏡頭單元2的被攝體光束集中于攝像元件4上，而快門單元3關閉時被攝體光束被遮擋。

馬達控制部7根據來自后述的測距/測光部17的控制信號，進行鏡頭驅動馬達5和快門驅動馬達6的驅動控制。即，根據測距/測光部17的測距結果，進行自動焦點調節以使鏡頭單元2的對焦鏡頭成為對焦狀態。此外，根據測距/測光部17的測光結果，進行快門單元3的快門速度控制以成為適當曝光。另外，在設定了累積合成模式的情況下，根據用戶的攝影開始指示，使快門單元3成為打開狀態，并根據用戶的攝影結束指示，關閉快門單元3。此外，圖1A中未示出光圈和光圈驅動馬達，可以根據來自測距/測光部17的控制信號進行光圈控制以成為適當曝光。

攝像元件4例如是CMOS圖像傳感器/CCD圖像傳感器等的固體攝像元件，多個像素呈二維狀排列于其上，對光學像攝像以生成圖像數據。即，對通過鏡頭單元2而成像的被攝體的光學像進行光電變換，并進行A/D變換而生成圖像數據，將其輸出給信號處理部13。

本實施方式中，使用了如下的單板式CMOS攝像元件，其在攝像元件4的攝像面上配置有濾色器、例如圖2所示的RGB拜耳排列濾色器。然而，不限于這種單板式，也可以使用圖3所示的使用3板式的攝像元件的方式、使用多板的攝像元件的方式等其他的攝像方式。即，可以按照每種波長進行分光來配置多個攝像元件。在圖3所示的示例中，使用3個棱鏡，將被攝體光束分解為3色(RGB)，通過攝像元件4a接收藍色光(B)并進行光電變換，通過攝像元件4b接收綠色光(G)并進行光電變換，通過攝像元件4c接收紅色光(R)并進行光電變換，分別生成圖像數據并輸出給信號處理部13。

此外，攝像元件4具有元件快門(也稱作電子快門)，能夠電子地控制曝光時間。通過使用元件快門，能夠盡量減小對多個圖像連續攝影時的圖像間的間隔。此外，根據攝影得到的圖像進行合成處理，由此能夠使高速移動的被攝體的軌跡連續顯像。作為攝像元件4的曝光開始時機或曝光結束時機，既可以使用該元件快門，也可以構成為將前述的快門單元3與元件快門組合起來。在設定了累積合成模式的情況下，在從用戶的攝影開始指示到攝影結束指示為止的期間內，通過元件快門控制每個規定時間的曝光。

將鏡頭單元2、快門單元3、攝像元件4和后述的信號處理部13統一作為攝像部。該攝像部對被攝體像攝像并生成圖像數據。另外，作為攝像部，至少具有攝像元件4即可。

閃光燈發光部8具有氙管等發光部，對被攝體照射輔助光。閃光燈控制部9根據來自系統控制部11的控制信號，控制輔助光的發光時機或發光量。另外，作為閃光燈發光部8，除了氙管之外，還可以使用LED等其他的發光元件等。

控制處理器10由CPU(Central Processing Unit：中央處理單元)或具有DSP(Digital Signal Processor：數字信號處理器)等的ASIC(Application Specific Integrated Circuit：專用集成電路)構成。另外，如后所述，控制處理器10具備各種功能，不限于1個電路基板，當然還可以由多個電路基板構成。此外，各種功能(例如，像素比較部、閾值設定部、選擇控制部等)不限于硬件電路，既可以由CPU通過存儲于閃存83的控制程序實現，也可以通過DSP的程序實現。

控制處理器10內具有系統控制部11、信號處理部13、攝像控制部15、測距/測光部17、像素比較部19、閾值設定部25、保存方式選擇部31、選擇控制部33、圖像處理部35、顯示控制部51、I/F控制部53、存儲卡控制部55和輸入控制部57。

攝像控制部15根據來自系統控制部11的控制信號，對攝像元件4進行攝像控制。作為攝像控制，進行曝光開始、曝光結束、從各像素的像素數據的讀出。

信號處理部13對從攝像元件4輸出的圖像數據進行基于信號放大或相關雙采樣的噪聲降低處理、A/D變換等的處理，并且主要由硬件電路構成。另外，信號處理部13可以構成為在攝像元件4內部進行同樣的處理。通過信號處理部13進行處理后的圖像數據被輸出給像素比較部19和系統控制部11。

測距/測光部17根據來自系統控制部11的控制信號，生成用于將鏡頭單元2內的對焦鏡頭驅動至對焦位置的控制信號或用于成為適當曝光的快門速度等的曝光控制信號。即，系統控制部11根據來自信號處理部13的圖像數據，例如通過對比度法輸出用于自動焦點調節的控制信號，并根據圖像數據計算被攝體亮度值，根據該被攝體亮度值，運算快門速度、ISO感光度等用于成為適當曝光的曝光控制值，輸出控制信號。此外，圖1A未示出相位差傳感器和被攝體照度傳感器，然而可以根據相位差檢測傳感器和被攝體照度傳感器的輸出結果，通過系統控制部11運算自動焦點調節的馬達控制量或曝光控制值，并向測距/測光部17輸出控制信號。

系統控制部11用于綜合控制相機整體，例如構成為包含CPU及其周邊電路等。系統控制部11控制攝像控制部15內的攝像驅動電路，并進行攝像元件4的控制。當系統控制部11被設定了累積合成模式，并且進行了攝影操作時，進行控制以使攝像元件依次生成一系列的圖像數據群。

保存方式選擇部31選擇將通過攝影取得的圖像數據(包含通過累積合成模式進行了處理的圖像數據)記錄于存儲卡73時的保存方式。在菜單畫面顯示時，用戶對操作按鈕單元75進行操作，由此設定保存方式。該設定的保存方式存儲于閃存83，因此在保存圖像數據時讀出存儲于閃存83中的保存方式并使用。

閾值設定部25根據來自系統控制部11的控制信號，設定每種顏色的判定閾值等級。像素閾值設定部27按照每個像素，根據像素數據的值，設定在確定進行比較亮合成或是進行相加平均合成時使用的像素閾值(參見圖4的S7、圖9的S8)。差量閾值設定部29用于后述的第2實施方式中，根據合成圖像的像素等級和此次取得圖像的像素等級的差量，設定在確定進行比較亮合成或進行相加平均合成時使用的差量閾值(參見圖9的S8)。此外，關于像素閾值和差量閾值，根據圖像的保存方式選擇的結果，還在考慮到白平衡確定部47的輸出結果的情況下設定(參見圖5的S51、S57、S59、圖10的S51、S57、S59、S60)。

像素比較部19具有像素等級比較部21和像素差量比較部23。像素等級比較部21比較在像素閾值設定部27中設定的像素閾值與從攝像元件4讀出的像素(像素)數據的等級，并將該結果輸出給選擇控制部33。像素比較部19作為像素比較部發揮功能，其判定構成通過攝像部生成的圖像數據的各像素數據的等級是否在規定閾值等級以上(參見圖4的S15)。

選擇控制部33根據像素比較部19的比較結果，選擇是進行相加平均合成還是進行比較亮合成處理，并輸出給圖像合成部37(參見圖4的S15、S17、S19、S21)。選擇控制部33作為選擇控制部發揮功能，其根據像素比較部的判定結果進行用于選擇對構成通過攝像部生成的圖像數據的各像素數據是通過相加平均合成進行相加平均還是通過比較亮合成部進行比較亮合成的控制。

此外，選擇控制部33作為選擇控制部發揮功能，其在判定為構成通過攝像部生成的圖像數據的各像素數據的等級在所設定的閾值等級以上時，進行控制以對構成通過攝像部生成的圖像數據的各像素數據進行比較亮合成，而在構成通過攝像部生成的圖像數據的各像素數據的等級低于規定的閾值等級時，進行控制以對構成通過攝像部生成的圖像數據的各像素數據進行相加平均(參見圖4的S15、S17、S19)。

像素差量比較部23用于后述的第2實施方式中，其對合成圖像的像素等級與此次取得圖像的像素等級的差量和在差量閾值設定部29設定的閾值進行比較，并將該結果輸出給選擇控制部33。選擇控制部33根據像素比較部19的比較結果，選擇進行相加平均合成還是進行比較亮合成處理，并輸出給圖像合成部37(參見圖9的S16、S17、S19、S21)。

圖像處理部35具有用于合成多個圖像數據的圖像合成部37、以及對來自攝像元件4的RAW數據實施顯像處理等的圖像處理的顯像處理部45。

圖像合成部37具有進行相加平均合成處理的相加平均合成部39、進行比較亮合成處理的比較亮合成部41、和進行相加合成處理的相加合成部43。另外，本實施方式中，具有這3個合成部，然而不限于此，也可以是相加平均合成部39與比較亮合成部41或相加平均合成部39與相加合成部43等2個部的組合。

相加平均合成部39通過硬件電路構成，其進行按照2個圖像數據的各自對應的每個像素將像素數據相加后除以2，并將像素數據置換為該運算結果(相加平均值)的合成處理。該相加平均合成部39作為相加平均合成部發揮功能，其將通過攝像部生成的圖像數據與存儲于圖像數據存儲部(例如，參見DRAM85)中的圖像數據按照每個像素進行相加平均，并更新存儲于圖像數據存儲部的圖像數據中的進行了相加平均后的像素數據。

比較亮合成部41通過硬件電路構成，其進行按照2個圖像數據的各自對應的每個像素而對像素數據進行比較，并置換為明亮一方的像素數據的合成處理。比較亮合成部41作為比較亮合成部發揮功能，其將通過攝像部生成的圖像數據與存儲于圖像數據存儲部中的圖像數據按照每個像素進行比較亮合成，并更新存儲于圖像數據存儲部中的圖像數據中的進行了比較亮合成后的像素數據。相加合成部43通過硬件電路構成，其進行按照2個圖像數據的各自對應的每個像素將像素數據相加，并將像素數據置換為該運算結果(相加值)的合成處理。

圖像合成部37根據來自選擇控制部33的指示，執行相加平均合成、比較亮合成或相加合成。圖像合成部37在每當從攝像部生成了合成對象的圖像數據時(例如，圖4的S13中，每當進行第2張起的圖像的讀出時)，都反復進行對應于選擇控制部33的指示的合成處理。

顯像處理部45具有白平衡確定部47和變換處理部49，根據來自系統控制部11的指示，基于所設定的信息對通過圖像合成部37合成的圖像數據實施顯像處理。雖然沒有具體圖示，在變換處理部49中，進行陰影校正、伽馬校正、失真校正、缺陷校正等各種校正處理或逆馬賽克變換處理等處理。

此外，白平衡確定部47對圖像數據實施公知的白平衡處理。白平衡處理以G像素的等級為基準，以使得利用白色來顯示白色的方式，以規定的比率對R像素和B像素的像素數據進行乘法運算。該白平衡(規定的比率)被輸出給閾值設定部25，在保存形式是顯像數據的情況下，用于每種顏色的像素閾值的計算時。

關于是保存顯像處理部45的顯像處理后的圖像數據，還是記錄來自攝像部的RAW數據，根據保存方式選擇部31的選擇結果來確定。根據該確定，根據系統控制部11的指示而保存于閃存83或外部存儲器(例如，存儲卡73)等的存儲裝置中。另外，還能夠保存顯像處理后的數據和RAW數據的雙方。

顯示控制部51進行控制，該控制用于將顯像處理部45的顯像處理后的圖像數據或相機的各種設定信息等顯示于外部監視器65等或背面LCD(液晶顯示器：Liquid Crystal Display)、監視器61、EVF(電子取景器：Electronic View Finder)等上。通過影像用連接器63而連接到外部監視器65。這里沒有進行圖示，在相機上搭載有WiFi(Wireless Fidelity：無線保真技術)等的無線接口的情況下，可以通過無線接口而顯示于用戶的智能手機或筆記本PC(Personal Computer：個人計算機)上。

I/F(Interface)控制部53控制與相機連接的外部設備的接口。根據所連接的外部設備，存在USB接口、WiFi或Bluetooth(注冊商標)等的各種規格，I/F控制部53能夠對應于這些規格與外部設備連接。

存儲卡控制部55通過外部存儲器連接器71而對于存儲卡73進行圖像數據等數據的記錄/讀出控制。關于圖像數據，如上所述，記錄有顯像處理后的圖像數據或RAW數據。

操作按鈕單元75具有用于供用戶進行相機的各種設定，并實際進行攝影的物理的按壓按鈕或撥盤等。操作按鈕單元75的操作狀態通過輸入控制部57被輸入到系統控制部11。雖然沒有圖示，在相機上搭載有WiFi等的無線接口的情況下，可以通過無線接口從用戶的智能手機或筆記本PC等進行遠程操作。

DRAM(Dynamic Random Access Memory：動態隨機存取存儲器)85是可進行電改寫的易失性存儲器，用于暫時儲存各種數據。DRAM85作為圖像數據存儲部，暫時儲存圖像數據，并且具有合成圖像保存區域85a或單一幀圖像保存區域85b。另外，單一幀圖像保存區域85b可以不限于單一幀，而具備多個幀的保存區域。此外，只要能夠暫時保存圖像數據則不必一定是DRAM，還可以使用其他的存儲器或多種存儲器的組合。進而，這里沒有圖示，還可以包含針對其他的圖像處理的條件或相機的條件等使用的區域。

閃存83是可電改寫的非易失性存儲器，其具有感光度比存儲部83a、控制程序83b等的區域。閃存83根據來自系統控制部11的要求而讀出所存儲的數據或程序并輸出。這里未做圖示，閃存83內可以存儲有相機的初始狀態、用戶設定、保存方式選擇結果等。

總線81與系統控制部11、閃存83、DRAM85等連接，是數據或控制信號等的通信路徑。圖像數據等數據或來自系統控制部11的控制信號(指示)通過總線81被通信。

下面，使用圖4和圖5所示的流程圖，說明本實施方式的動作。這些流程圖(包含后述的圖9、圖10)通過由控制部11內的CPU根據閃存83內的控制程序83b控制相機內的各部而執行。

在相機被設定為夜景攝影模式等累積合成模式的狀態下，按下了釋放按鈕時，開始圖4、圖5的流程圖所示的圖像合成處理。首先，進行DRAM的初始化(S1)。這里，對DRAM85等存儲器部進行初始化，確保合成圖像保存區域85a和單一幀圖像保存區域85b。

接著，實施第1張的曝光，從攝像元件4中讀出攝影圖像數據(S3)。在該第1張的曝光的攝影條件為自動模式時，根據相機的程序線圖進行設定并攝影。此外，在手動模式時按照用戶所設定的攝影條件進行攝影。

在進行了第1張的曝光/讀出后，接著將基準圖像數據保存于合成圖像保存區域(S5)。從攝像元件4讀出的第1張的圖像數據(此后稱作基準圖像數據)通過系統控制部11而暫時存儲于DRAM85的合成圖像保存區域85a。

在將基準圖像保存于合成圖像保存區域后，接著進行像素閾值設定(S7)。本實施方式中，按照每個像素來比較像素數據和像素閾值，并根據該比較結果選擇是進行比較亮合成還是進行相加平均合成。在該步驟中，進行該像素閾值的設定。在進行該像素閾值的設定時，可以對各個RGB的顏色設定相同的值，而在本實施方式中，對各個RGB的顏色設定了不同的值。后面使用圖5描述像素閾值的設定的具體動作。

設定了像素閾值后，接著判定從基準圖像數據取得后開始是否經過了一定時間以上(S9)。如上所述，在步驟S3中取得了基準圖像數據后，在步驟S7設定像素閾值。像素閾值的設定可以手動進行，但有時用戶會在設定上耗費時間，經過相當長的時間。這種情況下，如果直接開始轉移到第2張的攝影，則有時會拍攝到與在步驟S3中曝光的圖像不同的圖像。于是，在該步驟中，判定是否經過了一定時間，在已經過的情況下，在步驟S11再次取得基準圖像數據。

步驟S9的判定結果為從基準圖像數據取得后開始經過了一定時間以上的情況下，再次取得基準圖像數據(S11)。這里，再次從攝像元件4取得圖像數據，并將其保存于合成圖像保存區域。

在步驟S11中，再次取得了基準圖像數據時，或步驟S9的判定結果為從基準圖像數據取得后開始未經過一定時間以上的時間的情況下，接下來對第2張起的圖像進行曝光并讀出(S13)。在該步驟中，將第2張起的單一幀圖像的攝影圖像從攝像元件4中讀出。即，使用攝像元件4的元件快門，以規定的曝光時間進行了曝光時，從攝像元件4中讀出圖像數據。將該讀出的第2張起的單一幀圖像數據暫時保存于單一幀圖像保存區域85b。此外，在讀出了圖像數據時，攝像元件4開始下一個曝光。

在對第2張起的圖像進行了曝光/讀出后，接著進行像素等級判定(S15)。即，每當進行了規定時間的曝光，都將所讀出的圖像數據(暫時保存于單一幀圖像保存區域85b中)的各像素數據與像素閾值進行比較，判定像素數據是否大于像素閾值。該像素閾值使用在步驟S7(具體參見圖5的S61)中確定的值。設定關于是否超過像素閾值的像素閾值比較結果標簽，并傳送給選擇控制部33。

在步驟S15的判定結果為像素等級在像素閾值以下的情況下，對合成圖像數據與當前幀圖像數據進行相加平均合成(S17)。這種情況下是像素閾值比較結果標簽被設定為未超過像素閾值的情況，選擇控制部33選擇圖像合成部37中的相加平均合成部39，與合成圖像的同一地址的像素數據進行相加平均合成處理。

另一方面，在步驟S15的判定結果為像素等級在像素閾值以上的情況下，對合成圖像數據與當前幀圖像數據進行比較亮合成(S19)。這種情況下是像素閾值比較結果標簽被設定為超過像素閾值的情況，選擇控制部33選擇圖像合成部37中的比較亮合成部41，比較合成圖像的同一地址的像素數據，選擇較明亮的像素數據。

在步驟S17中進行了相加平均合成時，或在步驟S19中進行了比較亮合成時，接下來置換合成圖像保存區域的像素數據(S21)。在該步驟中，對于暫時保存于合成圖像保存區域85a中的圖像數據，將在步驟S15中被判定的像素置換為基于步驟S17或S19的合成處理的結果的像素數據。

進行了合成圖像保存區域的像素數據的置換后，接下來判定是否結束了所有像素的判定(S23)。這里，判定是否已針對在步驟S13讀出的圖像數據的所有像素結束了步驟S15中的像素判定。該判定的結果為所有像素的判定尚未結束時，返回步驟S15，按照預先確定的順序，對下一個像素進行像素等級判定，進行圖像合成，并進行合成圖像保存區域的像素數據的置換。

在步驟S23的判定結果為所有像素的判定都已結束的情況下，進行是否存在攝影結束指示的判定(S25)。在用戶結束攝影的情況下，通過再次按下釋放按鈕等來進行攝影結束指示。于是，在該步驟中，根據操作按鈕單元75的操作狀態進行判定。另外，這里未做圖示，在所有像素的判定都已結束的時刻，可以進行在背面LCD監視器61等的顯示部上顯示的合成圖像的更新。

步驟S25的判定結果為不存在攝影結束指示的情況下，返回步驟S13。并且，等待下一個圖像的曝光結束，在曝光結束時，如上所述從步驟S15起進行合成圖像數據的生成。在存在攝影結束指示之前，都以規定時間間隔反復進行曝光/圖像數據讀出，而每當讀出圖像數據時，都進行像素等級判定，并根據判定結果，按照每個像素選擇相加平均合成或比較亮合成，生成合成圖像數據。

在步驟S25的判定結果為進行了攝影結束指示時，接著進行圖像數據保存形式判定(S27)。這里，根據對保存方式選擇部31設定的保存方式(是保存經過了顯像處理的圖像數據還是保存RAW數據)進行判定。

在步驟S27的判定結果為保存RAW數據的情況下，將合成圖像數據保存于外部存儲裝置(S29)。這里，將從攝像元件4讀出并在步驟S15～S23中生成的合成圖像數據(直接以RAW數據的形式合成)記錄于存儲卡73等的外部存儲裝置中。

另一方面，在步驟S27的判定結果為保存顯像數據的情況下，對合成圖像數據進行顯像處理(S31)。這里，顯像處理部45對從攝像元件4讀出并在步驟S15～S23中生成的合成圖像數據(直接以RAW數據的形式合成)實施顯像處理。

接下來，將進行了顯像處理后的圖像數據保存于外部存儲裝置(S33)。這里，將在步驟S31中進行了顯像處理的圖像數據記錄于存儲卡73等外部存儲裝置中。另外，在本流程圖中，以顯像數據和RAW數據中的任意一種保存形式進行保存，然而不限于此，例如也可以利用兩種保存形式保存。

在步驟S29或S33中將圖像數據保存到了外部存儲裝置時，結束攝影動作的流程。

接著，使用圖5所示的流程圖，說明步驟S7的像素閾值設定的具體動作。在該流程中，在對基準圖像進行了攝影的狀態(參見圖4的S3)下，在像素閾值設定部27進行閾值的設定。

在進入到像素閾值設定的流程后，首先進行第1張(基準圖像)的攝影條件的確認(S41)。這里，像素閾值設定部27確認基準圖像的攝影條件，例如ISO感光度、AE評價值或圖像的平均亮度等。

接著，判定閾值設定是自動還是手動進行(S43)。用戶在菜單畫面顯示時對操作按鈕單元75進行操作，從而能夠設定是自動進行閾值設定還是手動進行閾值設定。在該步驟中，根據該設定狀態進行判定。

在步驟S43的判定結果為設定為自動進行的情況下，計算基準(G)像素的閾值(S45)。這里，根據基準圖像的攝影條件設定閾值。另外，這里使用RGB像素中的G像素的值計算閾值，而關于其他的像素，在步驟S55中進行計算。

另一方面，在步驟S43中的判定結果為設定了手動進行的情況下，顯示第1張(基準圖像)(S47)。這里，對基準圖像數據進行顯像處理，顯示控制部51使背面LCD61等以能夠由用戶視覺確認到的方式顯示進行了顯像處理后的基準圖像。

接著，由用戶選擇基準(G)像素閾值(S49)。即，用戶指定圖像上的任意位置，從而能夠根據指定位置的像素等級設定基準閾值。

下面使用圖6，說明用于由用戶進行像素閾值設定的操作。圖6是從相機的背面側觀察時的圖，在相機的上部配置有釋放按鈕75a、變焦按鈕75b、上下左右按鈕75c和確定按鈕75d。

在設定了累積圖像模式的情況下，當基準圖像的攝影結束時(參見步驟S3)，在背面LCD監視器61上，在基準圖像上重疊顯示出建議圖像92(圖6所示的例子中為“請確定像素閾值等級”)。此外，用于供用戶指定像素閾值的指示器91也重疊顯示于基準圖像上。通過操作上下左右按鈕75c，從而能夠使該指示器91的位置在上下左右移動。

比像素閾值明亮的被攝體通過比較亮合成而存留于圖像上，另一方面，比像素閾值暗的被攝體通過相加平均合成而逐漸變淡。于是，用戶將指示器91對準到希望作為光跡而保留的被攝體中最暗的被攝體上，并操作確定按鈕75d，從而能夠設定像素閾值。例如，若將指示器91對準被攝體93c，則成為僅存在較明亮的被攝體的光跡，而若對準被攝體93b則成為中位以上的明亮度的被攝體的光跡，若對準被攝體93a則能夠拍攝到包含較暗的被攝體的光跡。另外，這里所選擇的像素閾值是對于G像素的像素閾值。關于R像素和B像素，在步驟S55、S59中進行計算。

另外，手動的設定不限于通過上下左右按鈕75c的操作進行的情況。例如圖7所示，可以通過觸摸操作設定。這種情況下，預先在背面LCD監視器61上設置觸摸面板。在圖7所示的例子中，用戶在基準圖像的攝影后，一邊觀看基準圖像，一邊僅需通過手指95觸摸希望作為基準的明亮度的被攝體，就能夠設定像素閾值。

返回圖5所示的流程圖，在步驟S45中計算了G像素閾值，或在步驟S49中選擇了G像素閾值后，接著從步驟S51起，進行每種顏色的像素閾值的計算。在說明步驟S51起的步驟的處理之前，說明按照每種顏色計算像素閾值。

如果將用于選擇圖像合成處理方法的像素閾值對于所有顏色都設定為相同值，則攝像元件4的感光度會按照每種顏色而不同，因而感光度較高的顏色(例如G)容易超過閾值，而感光度較低的顏色(例如R或B)超過閾值的頻度則容易變小。例如，相同明亮度的被攝體光在通過RGB拜耳排列的攝像元件上時，有時會發生被攝體光中的G超過閾值，而R和B則不超過閾值的現象。這種情況下，如果進行顯像處理則會在被攝體的軌跡上發生顏色附著。

此外，由于根據進行了攝影的被攝體確定白平衡，因而在顯像處理時施加的增益會按照每種顏色而不同，還會發生顯像后的圖像上附著顏色的現象。因此，在像素閾值設定部27針對每種顏色進行使閾值最適當化的處理。例如，在作為保存方式選擇了RAW數據的情況下，根據在閃存83的感光度比存儲部83a中儲存的攝像元件4的感光度比來確定每種顏色的閾值。

在選擇了保存方式僅為顯像圖像的情況下，基于簡化處理的觀點，根據按照基準圖像數據確定的白平衡增益值，確定每種顏色的像素閾值。另一方面，在選擇了保存方式為RAW圖像和顯像圖像的兩方的情況下，可以通過RAW圖像設定好閾值，然后進行顯像。此外，不限于此，例如可以設置RAW保存用合成圖像保存區域和顯像保存用合成圖像保存區域，對從攝像元件4讀出的圖像數據，設定2種像素閾值，從而生成RAW保存用合成圖像和顯像保存用合成圖像這雙方。

圖8中作為一例，示出利用硅膠原材料制作攝像元件4，采用RGB拜耳方式的濾色器時的每種顏色的感光度差。通常情況下與G像素相比，R像素和B像素的感光度低。因此，設定G像素的值作為基準閾值，而作為感光度較低的R像素和B像素的每種顏色的閾值的設定，在接受到判斷為G像素超過閾值的光量時，以判斷為R像素和B像素也超過閾值的方式計算閾值。

另外，在閃存83的感光度比存儲部83a僅預先存儲標準的感光度比，這里所設定的每種顏色的閾值都可以根據基準圖像的攝影條件(例如ISO感光度等)而自動地再次計算。像素閾值設定部27將最終計算出的每種顏色的閾值傳送給像素比較部19。

在設定了每種顏色閾值后，可以實施基準圖像數據的重新取得(參見圖4的S9、S11)。其理由在于，特別在手動設定了像素閾值的情況下，根據用戶進行設定所耗費的時間，累積合成的單一幀圖像數據的連續性會與僅基準圖像數據在時間上顯著偏離。因此，只要是通過自動模式設定像素閾值，并且可確保基準圖像數據與單一幀數據的時間連續性的條件，就可以不實施基準圖像數據的重新取得。

返回圖5的步驟S51，在該步驟進行圖像數據保存形式的判定(S51)。這里，與步驟S27同樣地，根據對保存方式選擇部31設定的保存方式(是保存進行了顯像處理的圖像數據還是保存RAW數據)進行判定。

步驟S51的判定結果為圖像數據保存形式是RAW數據的情況下，讀出攝像元件4的感光度比(S53)。這里，讀出在閃存83的感光度比存儲部83a中存儲的攝像元件4的RGB的感光度比。

接著，計算每種顏色的像素閾值(S55)。這里，對于在步驟S45中計算出的針對G像素的閾值或在步驟S49中選擇的針對G像素的閾值，使用在步驟S53中讀出的RGB的感光度比，計算R像素和B像素的像素閾值。

另一方面，步驟S51的判定結果為圖像數據保存形式是顯像數據的情況下，根據第1張(基準圖像)確定白平衡(S57)。這里，白平衡確定部47確定對于基準圖像數據的白平衡。

接下來，計算每種顏色的像素閾值(S59)。這里，對于步驟S45中計算出的針對G像素的閾值或步驟S49中選擇的針對G像素的閾值，使用在步驟S57中取得的白平衡，計算R像素和B像素的像素閾值。

在步驟S55或S59中計算了每種顏色的像素閾值后，接著設定像素閾值(S61)。這里，像素閾值設定部27確定對于各RGB像素的像素閾值并存儲。該存儲的像素閾值用于像素等級比較部21中的比較時(參見圖4的S15)。進行了像素閾值的設定后，返回原來的流程。

這樣，在本發明的第1實施方式中，具有判定構成通過攝像部生成的圖像數據的各像素數據的等級是否在規定的閾值等級以上的像素等級比較部21，選擇控制部33根據像素等級比較部21的判定結果，進行對構成通過攝像部生成的圖像數據的各像素數據是通過相加平均合成部39進行相加平均還是通過比較亮合成部41進行比較亮合成的控制(參見圖4的S15、S17、S19)。

根據是否超過了基于像素閾值而設定的明亮度，選擇性地應用相加平均和比較亮合成，因此能夠抑制隨機噪聲，良好地保留光線的軌跡。

特別地，對于未超過所設定的像素閾值的較暗像素，實施相加平均合成處理，因此每次反復進行合成時都會嵌入到背景中而變得不再顯著。另外，對于超過像素閾值的明亮像素實施比較亮合成處理，因此能夠拍入光跡。

此外，本實施方式中，在攝像元件的攝像面上配置有濾色器，按照濾色器的每種顏色分別設定閾值等級。因此，在進行了累積合成處理的情況下，能夠防止合成圖像上發生顏色附著。另外，如圖3所示，在按照每種波長分光而配置多個攝像元件的情況下，按照從攝像部讀出的每種顏色分別設定閾值等級即可。

此外，本實施方式中，在通過攝像部生成的圖像數據是RAW圖像數據的情況下，根據從攝像部讀出的每種顏色的感光度比分別設定閾值等級(參見圖5的S51、S53、S55)。因此，在保存形式是RAW圖像數據時進行累積合成處理的情況下，能夠防止在合成圖像上發生顏色附著。

此外，本實施方式中，在通過攝像部生成的圖像數據是進行了白平衡處理的圖像數據的情況下，根據白平衡按照從攝像部讀出的每種顏色分別設定閾值等級(參見圖5的S51、S57、S59)。因此，在保存形式是顯像數據時進行了累積合成處理的情況下，能夠防止在合成圖像上發生顏色附著。

接著，使用圖9和圖10，說明本發明的第2實施方式。在第1實施方式中，以抑制暗部的隨機噪聲為目的實施了合成處理。對此，在第2實施方式中，對于比通過像素閾值設定部設定的等級更明亮的像素，也將一定范圍的波動判定為隨機噪聲并實施相加平均處理。由此，可提供在明亮部處隨機噪聲也少的合成圖像。

第2實施方式的電氣結構與圖1A和圖1B同樣，因而省略詳細的說明。此外，作為本實施方式的動作，將第1實施方式的圖4和圖5所示的流程圖置換為圖9和圖10所示的流程圖即可。

另外，第2實施方式中，像素差量比較部23作為像素差量比較部發揮功能，其比較分別構成通過攝像部生成的第1圖像數據與在其之前剛剛生成的第2圖像數據的各像素數據中的相同像素位置的像素數據的差量。

此外，選擇控制部33作為選擇控制部發揮功能，其在構成第1圖像數據的各像素數據的等級在規定的閾值等級以上，并且像素差量比較部23的比較結果為相同像素位置的像素數據的差量值在規定值的絕對值以上時，進行控制以對構成通過攝像部生成的圖像數據的各像素數據進行比較亮合成(參見圖9的S15、S17)，而在構成通過相加平均合成部進行了相加平均的圖像數據的各像素數據的等級在規定的閾值等級以上，并且像素差量比較部23的比較結果為相同像素位置的像素數據的差量值的絕對值小于規定值時，進行控制以對構成通過攝像部生成的圖像數據的各像素數據進行相加平均合成(參見圖9的S15、S16、S19)。

圖9所示的流程圖與圖4所示的流程圖相比，將步驟S7的像素閾值設定置換為步驟S8的像素閾值設定，并且追加了步驟S16。除此以外都與圖4所示的流程圖相同。于是，以下以不同之處為中心進行說明，對相同處理賦予同一步驟編號并簡化說明。

在設定了累積圖像合成模式的狀態下開始了攝影時，與第1實施方式同樣地，進行DRAM的初始化(S1)、第1張(基準圖像)的曝光/讀出(S3)，并將基準圖像數據保存于合成圖像保存區域(S5)。

進行了基準圖像數據的保存后，接下來進行像素閾值設定(S8)。在第1實施方式中，像素閾值設定是對所讀出的圖像的像素等級是否超過像素閾值進行判定(像素等級判定)。在第2實施方式中，除了像素等級判定之外，還進行差量等級判定，因此還設定該差量等級判定用的閾值(差量閾值)。差量閾值在根據此次取得圖像的像素等級與合成圖像的像素等級的差量，確定是進行比較亮合成還是進行相加平均合成時使用(參見S16)。后面使用圖10描述像素閾值設定的具體動作。

進行了像素閾值設定后，與第1實施方式同樣地，執行步驟S9、S11、S13的處理。步驟S13中，對第2張起的圖像進行了曝光/讀出后，接著進行像素等級判定(S15)。將該判定結果作為像素閾值比較結果標簽傳送給選擇控制部33。

在步驟S15的判定結果為像素等級在像素閾值以上的情況下，進行差量等級判定(S16)。步驟S16的差量等級判定中，判定到之前一幀為止進行了累積合成的合成圖像數據與此次讀出的圖像數據這2個圖像數據的對應的像素數據(同一地址的像素數據)的差量值是否超過差量閾值。為了進行該判定，對差量閾值設定部29設定了差量等級判定用的差量閾值。此外，像素差量比較部23比較存儲于合成圖像保存區域85a中的合成圖像與此次從攝像元件4讀出的圖像數據的每個像素的差量值和差量閾值，由此進行差量等級判定。將步驟S16的差量等級判定結果作為差量閾值比較結果標簽傳送給選擇控制部33。

在步驟S16的差量等級判定的結果是判定為在差量閾值以上的情況下，對合成圖像數據和當前幀圖像數據進行比較亮合成(S19)，另一方面，在步驟S16的判定結果是判定為差量閾值以下的情況下，并且步驟S15的判定結果是判定為像素閾值以下的情況下，對合成圖像數據和當前幀圖像數據進行相加平均合成(S17)。

即，在選擇控制部33中，根據所傳送的像素閾值比較結果標簽和差量閾值比較結果標簽，選擇通過圖像合成部37進行的合成方法。在像素閾值比較結果標簽被設定為未超過像素閾值時(S15中的像素閾值以下)，以與合成圖像數據的同一地址的像素數據進行相加平均合成處理的方式選擇圖像合成部37內的相加平均合成處理部39。

此外，在選擇控制部33中，在設定為超過像素閾值時(S15中的像素閾值以上)，檢查差量閾值比較結果標簽，在判定為差量閾值比較結果標簽是未超過差量閾值時(S16中的差量閾值以下)，以進行相加平均合成的方式選擇圖像合成部37內的相加平均合成處理部39，另一方面，在判定為超過差量閾值時(S16中的差量閾值以上)，以進行比較亮合成處理的方式選擇圖像合成部37內的比較亮合成部41。在圖像合成部37中，按照通過選擇控制部33選擇的合成方法實施合成處理。

在步驟S17或S19中選擇了合成處理時，執行與第1實施方式同樣的處理。以下的處理與第1實施方式同樣，因而省略具體說明。

下面，使用圖10所示的流程圖，說明步驟8的像素閾值設定的具體動作。圖10所示的流程圖與圖5所示的流程圖相比，僅追加了步驟S46、S50、S56、S60、S62，因此以該不同之處為中心進行說明。

進入到像素閾值設定的流程時，首先確認第1張(基準圖像)的攝影條件(S41)，判定閾值設定通過自動進行還是手動進行(S43)。該判定的結果為閾值設定是自動進行的情況下，計算基準(G)像素的閾值(S45)，并計算基準(G)差量閾值(S46)。

通過閾值設定部25內的差量閾值設定部29計算步驟S46的差量閾值。該差量閾值也與像素閾值的情況同樣地，根據基準圖像的攝影條件來設定即可。

此外，步驟S43的判定結果為閾值設定通過手動進行的情況下，由用戶選擇基準(G)像素的閾值(S49)，并且由用戶選擇基準(G)差量閾值(S50)。作為手動的情況下的差量閾值，用戶從圖6、圖7所示的基準圖像中選擇2處的被攝體，并根據該所選擇的2個位置的G像素的差量數據進行設定。

在步驟S46或S50中計算或選擇了差量閾值后，從步驟S51起，進行每種顏色的像素閾值和差量閾值的計算。差量閾值也與像素閾值同樣地，如果不按照每種顏色改變閾值，則顯像后的圖像上會附著顏色。

于是，可以在閃存83上預先存儲各種顏色的差量閾值，并僅預先存儲基準差量閾值，可以與像素閾值的情況同樣地，在考慮到攝像元件的感光度比或顯像時的白平衡增益的基礎上計算每種顏色差量閾值。

在步驟S51的判定結果為圖像數據保存形式是RAW數據的情況下，讀出攝像元件感光度比(S53)，計算每種顏色像素閾值(S55)，并計算每種顏色差量閾值(S56)。另一方面，在圖像數據保存形式是顯像數據的情況下，根據第1張(基準圖像)確定白平衡(S57)，計算每種顏色像素閾值(S59)，并計算每種顏色差量閾值(S60)。

在步驟S56、S60中計算出每種顏色差量閾值時，設定像素閾值(S61)，并設定差量閾值(S62)。這里，差量閾值設定部29在步驟S46、S50中對G像素設定差量閾值，并在步驟S56、S60中對R像素和B像素設定差量閾值，由此設定了所有差量閾值。設定了差量閾值后，返回原來的流程。

這樣，在本發明的第2實施方式中，除了預先設定像素閾值之外，還預先設定差量閾值(參見圖10的S46、S50、S56、S60)，通過比較這些閾值與像素數據(包含差量值)(參見圖9的S16)，從而選擇比較亮合成和相加平均合成中的任意方。在第1實施方式中，對于合成圖像數據和本次取得圖像數據，即使各像素數據之差很小，只要在像素閾值以上的情況下就進行比較亮合成處理，有時會使得噪聲顯著。然而，在第2實施方式中，通過進行差量閾值判定，在各像素之差很小的情況下，進行相加平均合成，因此噪聲不再顯著。

下面，使用圖11和圖12，說明在第1和第2實施方式中生成的合成圖像。圖11的上段的圖像P11、P12、P13是按照每個時刻通過單曝光攝影的圖像，并且是合成前的圖像。圖11的中段是將圖11的上段所示的圖像P11、P12、P13通過比較亮合成而合成的圖像。圖11的下段是將圖像P11、P12、P13通過相加平均合成而合成的圖像。

圖12的上段是將圖像P11、P12、P13使用第1實施方式所示的像素閾值合成的圖像。圖12的中段是將圖像P11、P12、P13使用第2實施方式所示的像素閾值和差量閾值合成的圖像。圖12的下段是表示圖像中的噪聲等級和閾值的圖。

首先，使用圖12的下段，說明圖像中的噪聲等級。圖像P6與第1張攝影的圖像P11相同。像素位置100位于房屋的墻壁上，將此處的明亮度設定為像素閾值等級。像素位置96處發生了等級低于像素閾值的隨機噪聲。該隨機噪聲在反復進行相加平均合成的過程中從合成圖像上消失。像素位置97處發生了等級高于像素閾值且等級高于上差量閾值的隨機噪聲。該等級的噪聲成為比較亮合成的對象，并殘留于合成圖像上。

像素位置98處發生了等級高于像素閾值且等級低于上差量閾值的隨機噪聲。該等級的噪聲在第1實施方式中成為比較亮合成的對象，而在第2實施方式中成為相加平均合成的對象。在像素位置99處，在第1張攝影的圖像P11上發生了等級低于像素閾值的隨機噪聲，而在第2張攝影的圖像P12上發生了等級高于像素閾值且等級高于下差量閾值的隨機噪聲。該等級的噪聲在第1實施方式中成為比較亮合成的對象，而在第2實施方式中成為相加平均合成的對象。

圖11的中段如上所述，示出進行了比較亮合成的情況下的合成圖像的時間變化。圖像P21與圖像P11相同，圖像P22是對圖像P11與圖像P12進行了比較亮合成的圖像，圖像P23是對圖像P22與圖像P13進行了比較亮合成的圖像。根據圖像P23中的符號A附近的合成圖像可知，通過進行比較亮合成，雖然存留了光線的軌跡，則也會存留隨機噪聲。

圖11的下段如上所述，示出進行了相加平均合成的情況下的合成圖像的時間變化。圖像P31與圖像P11相同，圖像P32是將圖像P11與圖像P12進行相加平均合成的圖像，圖像P33是將圖像P32與圖像P13進行相加平均合成的圖像。根據圖像P33中的符號B附近的合成圖像可知，通過進行相加平均合成，使得隨機噪聲變淡，然而光線的軌跡也逐漸變淡。

圖12的上段如上所述，示出應用本發明的第1實施方式的情況下的合成圖像的時間變化。圖12的上段的左側示出像素閾值的亮度。在該示例中，按照每個像素等級比較像素數據和像素閾值，選擇相加平均合成和比較亮合成中的任意方并執行處理。根據圖像P43中的符號C、D附近的合成圖像可知，一定亮度以上的隨機噪聲由于進行了比較亮合成而存留著不會消失(參見圖12的下段的像素位置97、98、99)。

圖12的中段如上所述，示出應用本發明的第2實施方式的情況下的合成圖像的時間變化。圖12的中段的左側表示像素閾值的亮度、上差量閾值的亮度和下差量閾值的亮度。在該示例中，按照每個像素等級比較像素閾值和差量閾值，選擇相加平均合成和比較亮合成中的任意方并執行處理。即使是一定亮度以上的隨機噪聲，在小于差量閾值的情況下，每當進行相加平均合成時，較多的隨機噪聲都消失(參見圖12的下段的像素位置97、98、99)。其中，等級非常高的隨機噪聲不消失。

如上所述，在本發明的各實施方式中，對被攝體像攝像以生成圖像數據(例如，圖4的S3、S13)，存儲圖像數據(例如，圖4的S5、S21)，將通過攝像生成的圖像數據與所存儲的圖像數據按照每個像素進行相加平均，并更新所存儲的圖像數據中的進行了相加平均的像素數據(例如，圖4的S17、S21)，將通過攝像生成的圖像數據與所存儲的圖像數據按照每個像素進行比較亮合成，并更新所存儲的圖像數據中的進行了比較亮合成的圖像數據(例如，圖4的S19、S21)，判定構成通過攝像生成的圖像數據的各像素數據的等級是否在規定的閾值等級以上(例如，圖4的S15)，并根據該判定結果，進行對構成通過攝像生成的圖像數據的各像素數據用于選擇是進行相加平均還是進行比較亮合成的控制(例如，圖4的S15、S17、S19)。

因此，在根據明亮度合成多個圖像數據而得到合成圖像數據時，能夠進一步抑制隨機噪聲，良好地保留光線的軌跡。即，根據各像素數據的等級是否在規定的閾值等級以上，選擇是進行相加平均還是進行比較亮合成，因此能夠選擇對應于各自明亮度的最適當的圖像處理，能夠抑制隨機噪聲。

另外，在本發明的各實施方式中，根據像素等級的判定結果是低于閾值還是高于閾值，選擇累積合成處理中的比較亮合成處理或相加平均合成處理。然而，不限于此，作為累積合成處理，還可以使用相加合成處理、比較暗合成處理等其他的合成處理。作為相加合成處理，按照2個圖像數據的各自對應的每個像素將像素數據相加，并將像素數據置換為該運算結果(相加值)。此外，作為比較暗合成處理，按照2個圖像數據的各自對應的每個像素比較像素數據，置換為較暗的像素數據。這種情況下，作為累積合成處理，將比較亮合成處理、比較暗合成處理或其他的合成處理中的1個作為第1累積合成處理，而將相加平均處理、相加處理或其他處理中的1個作為第2累積合成處理即可，通過進行像素等級判定和/或差量等級判定，選擇任意一個累積合成處理即可。進而，還可以準備3種以上的累積合成處理，并從中進行選擇。

此外，在本發明的各實施方式中，進行比較亮合成處理或比較暗合成處理的情況下，都置換為較亮的像素值或較暗的像素值。然而，不限于這種情況，也可以對較亮像素和較暗像素進行加權。例如，在比較亮合成處理的情況下，可以對較亮像素值賦予8的權重，并對較暗像素值賦予2的權重，從而計算出新的像素值。例如，在進行累積合成處理時，在圖像抖動的情況下，若增大未抖動的圖像的權重，減小抖動的圖像的權重，則能夠減小圖像的抖動的影響。

同樣地，在進行相加平均合成處理或相加合成處理的情況下，可以對所合成的圖像數據與本次取得的圖像數據的各自的像素附加權重，并進行相加平均或相加。這種情況下，如果根據圖像的抖動，調整進行相加平均或相加時的加權，則能夠減小圖像的抖動的影響。

此外，在本發明的各實施方式中，將測距/測光部17、像素比較部19、閾值設定部25、保存方式選擇部31、選擇控制部33和圖像處理部35等構成為獨立于系統控制部11的結構，然而當然也可以將各部的全部或一部分通過軟件構成，并通過控制部1內的CPU執行。此外，信號處理部13、攝像控制部14、顯示控制部51、I/F控制部53、存儲卡控制部55、輸入控制部57、圖像合成部37和顯像處理部45等除了構成為硬件電路或部件單體以外，還可以通過CPU和程序而構成為軟件，并且還可以使用DSP(Digital Signal Processor：數字信號處理器)構成。這些方式當然可以適當組合。此外，作為上述的信號處理電路13、圖像合成電路37等，不限于硬件電路或部件單體，還包含通過CPU和軟件實現的電路、使用DSP等實現的電路。

另外，在本實施方式中，作為用于攝影的設備使用數字相機進行了說明，然而作為相機，既可以是數字單反相機或緊湊型數字相機，也可以是攝像機、攝影機等的動畫用的相機，還可以是在移動電話、智能手機、便攜信息終端、個人計算機(PC)、平板型計算機、游戲設備等中內置的相機。無論何種情況，只要是用于合成多張圖像數據并生成圖像的設備，就能夠應用本發明。進而，即使是不具備攝像部的設備，只要是用于進行合成多個圖像數據以生成圖像的圖像處理的設備，就能夠應用本發明。

此外，關于在本說明書說明的技術中的主要根據流程圖說明的控制，大多可通過程序進行設定，有時也收納于記錄介質或記錄部中。作為在該記錄介質、記錄部中的記錄方式，既可以在產品出廠時預先記錄，也可以使用所發布的記錄介質，還可以經由因特網下載。

此外，關于權利要求書、說明書和附圖中的動作流程，為了方便起見而使用“首先”、“下面”等的表現順序的用于進行了說明，然而在沒有特別說明的情況下，并非意味必須按照這種順序進行實施。

本發明不僅限于上述實施方式，可以在實施階段不脫離其主旨的范圍內變形結構要素使其具體實現。此外，通過在上述實施方式中公開的多個結構要素的適當組合，能夠形成各種的發明。例如，可以刪除實施方式所示的所有結構要素中的任意幾個結構要素。進而，還可以適當組合不同實施方式中的結構要素。