圖像處理設備和方法以及程序的制作方法

專利名稱：圖像處理設備和方法以及程序的制作方法
技術領域：
本發明涉及一種圖像處理設備和方法以及程序，尤其涉及一種使得全景圖像上的被攝體具有運動的圖像處理設備和方法以及程序。
背景技術：
近年來，由于數字靜止照相機越來越普遍，拍攝大量照片的用戶增加。也需要有效地呈現大量拍攝的照片的方法。例如，對于拍攝的照片的有效呈現方法，已知我們稱之為全景圖像的方法。全景圖像是通過排列通過使拍攝裝置在預定方向上搖攝的同時進行拍攝而獲得的多個靜止圖像 (例如參見PTL1)，使得這些靜止圖像上的相同被攝體被覆蓋，而獲得的靜止圖像。根據該全景圖像，可以作為被攝體顯示比根據正常拍攝裝置的一個靜止圖像的拍攝范圍(視場角)更寬的空間，因此可以顯示以更有效的方式拍攝的被攝體圖像。引用文獻列表專利文獻PTL 1 日本專利 No. 3168443

發明內容
技術問題順便提及，在使拍攝裝置搖攝的同時拍攝多個靜止圖像來獲得全景圖像的情況下，靜止圖像中的一些可能包括相同被攝體。在這種情況下，不同靜止圖像上的相同被攝體是在彼此不同的時間點拍攝的被攝體，因此可以說為了生成全景圖像而拍攝的靜止圖像組具有與被攝體的運動相關的信息。然而，對上述全景圖像，無法表達包含在全景圖像中的被攝體的運動，因此不能說以足夠有效的方式顯示拍攝的被攝體的圖像。鑒于這種情形作出了本發明，本發明使得能夠以更有效的方式顯示拍攝的被攝體的圖像。問題的解決方案根據本發明的一方面的圖像處理設備包括位置信息生成裝置，被配置為基于在移動拍攝裝置的同時由所述拍攝裝置拍攝并獲得的多個拍攝的圖像，生成在將多個所述拍攝的圖像排列在預定平面上、使得包含在不同的所述拍攝的圖像中的相同被攝體重疊時， 指示所述拍攝的圖像中的每個的相對位置關系的位置信息；紙條圖像生成裝置，被配置為關于多個所述拍攝的圖像中的每個，在基于所述位置信息將多個所述拍攝的圖像排列在平面上的情況下，剪裁所述拍攝的圖像上的從所述拍攝的圖像上的預定基準位置到在所述平面上以與所述拍攝的圖像重疊的方式排列的另一拍攝的圖像的所述基準位置的區域，以生成包括所述區域的紙條圖像；以及全景圖像生成裝置，被配置為通過排列并合成從多個所述拍攝的圖像獲得的所述紙條圖像中的每個，生成單個全景圖像；所述紙條圖像生成裝置關于多個所述拍攝的圖像，在預定方向上偏移所述拍攝的圖像上的所述區域的同時，從所述拍攝的圖像生成多個紙條圖像；以及所述全景圖像生成裝置通過針對所述區域的每個位置生成所述全景圖像，來生成由顯示拍攝空間上的相同區域的圖像的多個所述全景圖像構成的圖像組。該圖像處理還可以包括顯示控制裝置，被配置為以預定時間間隔按順序顯示多個所述全景圖像。所述位置信息生成裝置可以使用所述拍攝的圖像上的多個預定塊區域，通過從所述拍攝的圖像之前拍攝的拍攝的圖像中搜索與多個所述塊區域相對應的塊對應區域中的每個，來生成所述位置信息。可以進行如下布置，其中所述位置信息生成裝置基于多個所述塊區域的相對位置關系和多個所述塊對應區域的相對位置關系，檢測包括具有運動的被攝體的所述塊區域， 在檢測到包括具有運動的被攝體的所述塊區域的情況下，使用多個所述塊區域中的與所述檢測到的塊區域不同的所述塊區域來搜索所述塊對應區域，由此生成所述位置信息。該圖像處理設備還可以包括運動檢測裝置，被配置為使用所述拍攝的圖像和在其所述拍攝的圖像之前拍攝的所述拍攝的圖像，從所述拍攝的圖像檢測運動；以及拍攝控制裝置，被配置為控制所述拍攝裝置，使得在未檢測到所述運動的情況下，以第一時間間隔拍攝所述拍攝的圖像，而在檢測到所述運動的情況下，以比所述第一時間間隔短的第二時間間隔拍攝所述拍攝的圖像。該圖像處理設備還可以包括運動檢測裝置，被配置為使用所述拍攝的圖像和在其所述拍攝的圖像之前拍攝的所述拍攝的圖像，從所述拍攝的圖像檢測運動；以及丟棄裝置，被配置為丟棄未檢測到所述運動的所述拍攝的圖像；不使用所述丟棄的拍攝的圖像來生成所述紙條圖像。該圖像處理設備還可以包括運動檢測裝置，被配置為使用所述拍攝的圖像和在其所述拍攝的圖像之前拍攝的所述拍攝的圖像，從所述拍攝的圖像檢測運動；以及移動裝置，被配置為以與所述運動的檢測結果相對應的速度移動所述拍攝裝置。所述紙條圖像生成裝置可以以第一位置為所述基準位置，從所述拍攝的圖像生成第一紙條圖像，還以與所述第一位置不同的第二位置為所述基準位置，從所述拍攝的圖像生成第二紙條圖像；所述全景圖像生成裝置基于從多個所述拍攝的圖像獲得的所述第一紙條圖像和所述第二紙條圖像，生成相互間具有視差的第一全景圖像組和第二全景圖像組。根據本發明的一方面的圖像處理方法或者程序包括位置信息生成步驟，被設置為基于在移動拍攝裝置的同時由所述拍攝裝置拍攝并獲得的多個拍攝的圖像，生成在將多個所述拍攝的圖像排列在預定平面上、使得包含在不同的所述拍攝的圖像中的相同被攝體重疊時，指示所述拍攝的圖像中的每個的相對位置關系的位置信息；紙條圖像生成步驟，被設置為關于多個所述拍攝的圖像中的每個，在基于所述位置信息將多個所述拍攝的圖像排列在平面上的情況下，剪裁所述拍攝的圖像上的從所述拍攝的圖像上的預定基準位置到以在所述平面上與所述拍攝的圖像重疊的方式排列的另一拍攝的圖像的所述基準位置的區域，以生成包括所述區域的紙條圖像；以及全景圖像生成步驟，被設置為通過排列并合成從多個所述拍攝的圖像獲得的所述紙條圖像中的每個，生成單個全景圖像；對所述紙條圖像生成步驟，關于多個所述拍攝的圖像，在預定方向上偏移所述拍攝的圖像上的所述區域的同時，從所述拍攝的圖像生成多個所述紙條圖像；對所述全景圖像生成步驟，針對所述區域的每個位置生成所述全景圖像，由此生成由顯示拍攝空間上的相同區域的圖像的多個所述全景圖像構成的圖像組。在本發明的一方面中，基于在移動拍攝裝置的同時由所述拍攝裝置拍攝并獲得的多個拍攝的圖像，在將多個所述拍攝的圖像排列在預定平面上，使得包含在不同的所述拍攝的圖像中的相同被攝體重疊時，生成指示所述拍攝的圖像中的每個的相對位置關系的位置信息，且關于多個所述拍攝的圖像中的每個，在基于所述位置信息將多個所述拍攝的圖像排列在平面上的情況下，剪裁所述拍攝的圖像上的從所述拍攝的圖像上的預定基準位置到以在所述平面上與所述拍攝的圖像重疊的方式排列的另一拍攝的圖像的所述基準位置的區域，以生成包括所述區域的紙條圖像，并且通過排列并合成從多個所述拍攝的圖像獲得的所述紙條圖像中的每個，生成單個全景圖像。這時，關于多個所述拍攝的圖像，在預定方向上偏移所述拍攝的圖像上的所述區域的同時，從所述拍攝的圖像生成多個所述紙條圖像，并且針對所述區域的每個位置生成所述全景圖像，由此生成由顯示拍攝空間上的相同區域的圖像的多個所述全景圖像構成的圖像組。本發明的有益效果根據本發明的一方面，可以以更有效的方式顯示拍攝的被攝體圖像。


圖1是示出應用了本發明的拍攝裝置的實施例的配置示例的圖。圖2是示出信號處理單元的配置示例的圖。圖3是用于描述拍攝的圖像的拍攝方法的圖。圖4是用于描述全景移動圖像生成處理的流程圖。圖5是用于描述拍攝的圖像的位置匹配的圖。圖6是用于描述中心坐標的計算的圖。圖7是用于描述紙條圖像的剪裁的圖。圖8是用于描述全景移動圖像的生成的圖。圖9是示出信號處理單元的另一配置示例的圖。圖10是用于描述全景移動圖像生成處理的流程圖。圖11是示出信號處理單元的另一配置示例的圖。圖12是用于描述全景移動圖像生成處理的流程圖。圖13是用于描述拍攝的圖像的拍攝方法的圖。圖14是示出信號處理單元的另一配置示例的圖。圖15是用于描述全景移動圖像生成處理的流程圖。圖16是用于描述視差的圖。圖17是用于描述紙條圖像的剪裁的圖。圖18是用于描述立體全景移動圖像的生成的圖。圖19是示出拍攝裝置的另一配置示例的圖。圖20是示出信號處理單元的另一配置示例的圖。圖21是用于描述立體全景移動圖像生成處理的流程圖。
圖22是示出計算機的配置示例的圖。
具體實施例方式下文中，參考附圖描述應用了本發明的實施例。第一實施例拍攝裝置的配置圖1是示出應用了本發明的拍攝裝置的實施例的配置示例的圖。拍攝裝置11例如由照相機構成，其中拍攝裝置11從在拍攝裝置11移動的狀態下拍攝裝置11連續拍攝的多個拍攝的圖像，生成單個全景移動圖像。全景移動圖像是由多個全景圖像構成的圖像組，在全景圖像中，作為被攝體顯示比拍攝裝置11通過一次拍攝可以拍攝的真實空間上的拍攝范圍(視場角)更寬的范圍中的區域。相應地，如果我們認為構成全景移動圖像的每個全景圖像是圖像的一幀，則也可以說全景移動圖像是單個移動圖像，如果我們認為構成全景移動圖像的每個全景圖像是靜止圖像，則也可以說全景移動圖像是靜止圖像組。下文中，為了簡化描述，在假定全景移動圖像是移動圖像的情況下繼續進行描述。拍攝裝置11由操作輸入單元21、拍攝單元22、拍攝控制單元23、信號處理單元 24、總線25、緩沖存儲器沈、壓縮/解壓縮單元27、驅動觀、記錄介質四、顯示控制單元30 和顯示單元31配置而成。操作輸入單元21由按鈕等構成，其接收用戶的操作，并且向信號處理單元M提供與其操作相對應的信號。拍攝單元22由光學鏡頭、拍攝設備等構成，其通過對來自被攝體的光進行光電轉換來拍攝拍攝的圖像，并提供給拍攝控制單元23。拍攝控制單元23控制拍攝單元22進行的拍攝，還將從拍攝單元22獲得的拍攝的圖像提供給信號處理單元M。信號處理單元M經由總線25連接到緩沖存儲器沈到驅動28，以及顯示控制單元 30，其根據來自操作輸入單元21的信號控制整個拍攝裝置11。例如，信號處理單元M經由總線25將來自拍攝控制單元23的拍攝的圖像提供給緩沖存儲器沈，或者根據從緩沖存儲器26獲得的拍攝的圖像生成全景移動圖像。緩沖存儲器沈由SDRAM(同步動態隨機存取存儲器)等構成，其臨時記錄諸如經由總線25提供的拍攝的圖像的數據。壓縮/解壓縮單元27根據預定格式對經由總線25 提供的圖像進行編碼或者解碼。驅動28將從總線25提供的全景移動圖像記錄在記錄介質四中，或者讀出記錄在記錄介質四中的全景移動圖像以輸出到總線25。記錄介質四由對于拍攝裝置11可拆卸的非易失性存儲器構成，其根據驅動洲的控制記錄全景移動圖像。顯示控制單元30將經由總線25提供的全景移動圖像提供給顯示單元31進行顯示。顯示單元31例如由LCD(液晶顯示器)等構成，其根據顯示控制單元30的控制顯示全景移動圖像。信號處理單元的配置此外，圖1中的信號處理單元M如在圖2中更詳細地示出的那樣配置。具體地，信號處理單元對由運動估計單元61、紙條圖像生成單元62和全景移動圖像生成單元63配置而成。
運動估計單元61使用經由總線25提供的具有不同的拍攝時間點的兩個拍攝的圖像，進行運動估計(Motion Estimation) 此外，運動估計單元61包括坐標計算單元71。基于運動估計的結果，坐標計算單元71生成在將這些拍攝的圖像排列并布置在預定平面上，使得兩個拍攝的圖像上的相同拍攝體重疊時，指示每個拍攝的圖像的相對位置關系的信息。具體地，計算在預定平面上設置二維χ-y坐標系時的拍攝的圖像的中心位置的坐標(下文中稱為中心坐標)，作為指示拍攝的圖像的相對位置關系的信息。紙條圖像生成單元62使用經由總線25提供的拍攝的圖像及其中心坐標，剪裁拍攝的圖像上的預定區域作為紙條圖像，并提供給全景移動圖像生成單元63。全景移動圖像生成單元63合成來自紙條圖像生成單元62的紙條圖像，以生成多個全景圖像，由此生成作為全景圖像組的全景移動圖像。這里，全景移動圖像的一幀、即單個全景圖像，是作為被攝體顯示在拍攝拍攝的圖像時用作要拍攝的對象的實際空間上的預定范圍(區域)的圖像。對生成全景移動圖像時的拍攝方法的描述順便提及，在用戶使拍攝裝置11生成全景移動圖像的情況下，用戶操作拍攝裝置 11以拍攝用來生成全景移動圖像的拍攝的圖像。例如，如圖3所示，在拍攝拍攝的圖像時，用戶將拍攝裝置11的光學鏡頭指向圖中的近側，并且在圖中以轉動中心Cll為中心從左至右方向轉動(搖攝)拍攝裝置11的同時， 連續對被攝體進行拍攝。這時，用戶調整拍攝裝置11的轉動速度，使得保持靜止的相同對象包含在要連續拍攝的多個拍攝的圖像中。以這種方式，在移動拍攝裝置11的同時，拍攝拍攝的圖像，由此獲得N個拍攝的圖像P(I)至拍攝的圖像P (N)。這里，拍攝的圖像P(I)是N個拍攝的圖像中具有最早的拍攝時間點的圖像、即第一個拍攝的圖像，拍攝的圖像P(N)是N個拍攝的圖像中具有最新的拍攝時間點的最后拍攝的圖像。下文中，假設還將第η(然而Kn彡N)個拍攝的拍攝的圖像稱為拍攝的圖像 P (η)。注意，每個拍攝的圖像可以是連續拍攝的靜止圖像，或者拍攝的移動圖像的一幀圖像。以這種方式，在獲得了 N個拍攝的圖像時，拍攝裝置11使用這些拍攝的圖像生成全景移動圖像進行顯示。此外，在圖3中，在將拍攝裝置11自身旋轉90度、即轉向一邊進行拍攝時可以獲得在圖中的垂直方向上更長的拍攝的圖像的情況下，可以將拍攝裝置11轉向一邊來進行拍攝的圖像的拍攝。在這種情況下，拍攝的圖像在與拍攝裝置11相同的方向上旋轉90度， 并且進行全景移動圖像的生成。對全景移動圖像生成處理的描述接下來，參考圖4中的流程圖，對拍攝裝置11拍攝拍攝的圖像以生成全景移動圖像的全景移動圖像生成處理進行描述。在用戶對操作輸入單元21進行操作并且指示生成全景移動圖像時，該全景移動圖像生成處理開始。在步驟Sll中，拍攝單元22在拍攝裝置11如圖3所示移動的狀態下對被攝體進行拍攝。因此，獲得一個拍攝的圖像(下文中稱為一幀)。經由拍攝控制單元23將在拍攝單元22處拍攝的拍攝的圖像從拍攝單元22提供給信號處理單元24。
在步驟S12中，信號處理單元M將從拍攝單元22提供的拍攝的圖像經由總線25 提供給緩沖存儲器26，以臨時進行記錄。這時，信號處理單元M通過對拍攝的圖像添加幀編號來記錄拍攝的圖像，以確定要記錄的拍攝的圖像是第幾個拍攝的。注意，下文中，還將第η個拍攝的拍攝的圖像Ρ(η)稱為幀η的拍攝的圖像Ρ(η)。在步驟S13中，運動估計單元61經由總線25從緩沖存儲器沈獲得當前幀η和緊接在其前面的幀(η-1)的拍攝的圖像，并且通過運動估計進行拍攝的圖像的位置匹配。例如，在緊接在前的步驟S12中記錄在緩沖存儲器沈中的拍攝的圖像是第η個拍攝的拍攝的圖像Ρ(η)的情況下，運動估計單元61獲得當前幀η的拍攝的圖像Ρ(η)以及緊接在前的幀(η-1)的拍攝的圖像P(n-l)。隨后，如圖5所示，運動估計單元61搜索在緊接在前的幀的拍攝的圖像P (η-1)上的哪個位置，存在與拍攝的圖像Ρ(η)上的九個塊BL(n)-l至BR(n)-3相同的圖像，由此進行位置匹配。 這里，塊BC (η) -1至BC (η) _3是在界線CL_n上在圖中的垂直方向上排列的矩形區域，界線CL-n是一般位于圖中的拍攝的圖像P(n)的中心的垂直方向上的垂直直線。此外，塊BL (η) -1至BL (η) _3是在界線LL_n上在圖中的垂直方向上排列的矩形區域，界線LL-n是位于拍攝的圖像P(n)的圖中的界線CL_n左側的垂直方向上的假想直線。 類似地，塊BR(n)-l至BR(η)-3是在界線RL_n上、在圖中的垂直方向上排列的矩形區域，界線RL-n是位于拍攝的圖像P(n)的圖中的界線CL_n右側的垂直方向上的假想直線。預先確定這九個塊BL(n)-l至BR (η)-3的位置。運動估計單元61關于拍攝的圖像Ρ(η)上的九個塊中的每個，搜索拍攝的圖像 P(η-1)上具有與其塊相同的形狀和大小、并且對于塊具有最小的區域差的區域(下文中稱為“塊對應區域”)。這里，對于塊的差是要處理的塊、例如塊BL(n)-l與作為塊對應區域候選的區域之間的相同位置的像素的像素值的差絕對值的和等。在進行這種運動估計時，理想上對于拍攝的圖像Ρ(η)上的塊BL(Ii)-I至塊 BR(n)-3中的每個，獲得以與該塊的相對位置關系相同的位置關系位于拍攝的圖像P(n-l) 上的塊對應區域。拍攝的圖像P(n-l)的與拍攝的圖像P(n)上的要處理的塊相對應的塊對應區域， 是拍攝的圖像P(n-l)上的對于要處理的塊具有最小的差的區域。因此，估計在塊對應區域中顯示與要處理的塊相同的圖像。相應地，在以重疊的方式將拍攝的圖像P(n)和拍攝的圖像P(n-l)排列在預定平面上，使得塊BL (η)-1至塊BR(η) -3與對應的塊對應區域重疊的情況下，這些拍攝的圖像上的相同被攝體應當重疊。然而，實際上，塊和塊對應區域可能不具有相同的位置關系。因此，更詳細地，運動估計單元61將拍攝的圖像Ρ(η)和拍攝的圖像P(n-l)排列在平面上，使得所有塊和塊對應區域大體上重疊，并且將其結果確定為拍攝的圖像的位置匹配的結果。注意，在拍攝的圖像上存在具有運動的被攝體，并且其被攝體包含在拍攝的圖像 P(η)上的塊中的情況下，獲得的九個塊對應區域不具有與塊BL(η)-1至塊BR(n)_3相同的位置關系。因此，在獲得的塊對應區域中的每個的相對位置關系與拍攝的圖像P(η)上的塊的相對位置關系不同的情況下，去除估計包括具有運動的被攝體的塊，并且再次進行利用運動估計的位置匹配。也就是說，檢測到對于另一塊對應區域具有不同的相對位置關系的塊對應區域，從要處理的對象中去除拍攝的圖像P(n)上的與檢測到的塊對應區域相對應的塊，并且僅使用其余塊再次進行運動估計。具體地，假設在圖5中以垂直水平相等的間隔、以距離QL為間隔排列塊BL (η) _1 至塊BR (η) -3。例如，彼此相鄰的塊BL (η)-1至塊BL (η) -2之間的距離以及塊BL (η)-1至塊 BC(n)-l之間的距離都是QL。在這種情況下，運動檢測單元61基于與每個塊相對應的對應塊區域的相對位置關系，在拍攝的圖像Ρ(η)上檢測具有運動的塊。也就是說，運動估計單元61獲得彼此相鄰的塊對應區域之間、諸如與塊BR(n)_3 相對應的塊對應區域和與塊BC (η)-3相對應的塊對應區域之間的距離QM。其結果是，比方說，對于塊BR (η) _2和塊BC (η) _3，其塊對應區域和排除塊BR (η) -3 的塊對應區域的其它相鄰塊對應區域之間的距離QM與距離QL的差的絕對值等于或小于預定閾值。此夕卜，比方說，與塊BR(η) -2和塊BC (η) -3相對應的塊對應區域和與塊BR(η) -3相對應的塊對應區域之間的距離QM與距離QL的差的絕對值等于或大于閾值。在這種情況下，以與每個塊的相對位置關系相同的位置關系排列與塊BR(n)_3不同的其它塊的塊對應區域。然而，僅塊BR(n)-3的塊對應區域對于其它塊對應區域具有與每個塊的位置關系不同的位置關系。在獲得了這種檢測結果的情況下，運動估計單元61確定塊BR (η)-3包括具有運動的被攝體。注意，對于具有運動的塊的檢測，不僅可以利用彼此相鄰的塊對應區域之間的距離，還可以利用對于與關注的塊對應區域相鄰的另一塊對應區域的旋轉角度等。具體地，例如，在存在關于另一塊對應區域比預定角度傾斜得更多的塊對應區域的情況下，判斷出與其塊對應區域相對應的塊包括具有運動的被攝體。以這種方式，在檢測到具有運動的塊時，運動估計單元61使用排除了其具有運動的塊的其余塊，通過運動估計再次在拍攝的圖像Ρ(η)和拍攝的圖像P(n-l)之間進行位置匹配。以這種方式，通過排除包括具有運動的被攝體的塊，僅使用包括沒有運動的被攝體的塊，即僅使用所謂的背景，來進行位置匹配，由此可以以更準確的方式進行位置匹配。 在根據該位置匹配的結果排列拍攝的圖像P(n)和拍攝的圖像P(n-l)的情況下，可以排列這些拍攝的圖像，使得沒有運動的被攝體重疊。在進行位置匹配后，接下來，坐標計算單元71計算在根據每個幀的位置匹配的結果，將迄今為止拍攝的拍攝的圖像P(I)至拍攝的圖像P(n)排列在預定平面上、即χ-y坐標系上時，拍攝的圖像P(n)的中心坐標。例如，如圖6所示，排列各個拍攝的圖像，使得拍攝的圖像P⑴的中心是χ-y坐標系的原點的位置，并且包含在拍攝的圖像中的相同被攝體重疊。注意，在圖中，水平方向指示χ坐標，垂直方向指示y坐標。此外，拍攝的圖像P(I)至拍攝的圖像P(n)上的各個點 0(1)至O(n)指示這些拍攝的圖像的中心位置。例如，如果我們說要處理的當前幀的拍攝的圖像是拍攝的圖像P(n)，則已經獲得了拍攝的圖像P(I)至拍攝的圖像P(n-l)的各個中心點0(1)至o(n-l)的中心坐標，并將其記錄在緩沖存儲器26中。
10
坐標計算單元71從緩沖存儲器沈中讀出拍攝的圖像P(n-l)的中心坐標，并且從拍攝的圖像P(n)和拍攝的圖像P(n-l)之間的位置匹配結果獲得拍攝的圖像P(n)的中心坐標。也就是說，獲得點0(n)的χ坐標和y坐標作為中心坐標。返回到對圖4中的流程圖的描述，在步驟S13中進行位置匹配并且獲得拍攝的圖像P(η)的中心坐標后，處理進行到步驟S14。在步驟S14中，運動估計單元61將獲得的拍攝的圖像P(Ii)的中心坐標提供給緩沖存儲器26，并以與拍攝的圖像Ρ(η)相關的方式對此進行記錄。在步驟S15中，信號處理單元M判斷是否拍攝了預定數量的拍攝的圖像。例如， 如圖3所示，在通過劃分為N次拍攝預定空間上的區域的情況下，在拍攝了 N個拍攝的圖像時，判斷出拍攝了預定數量的拍攝的圖像。注意，在對拍攝裝置11設置了諸如陀螺儀傳感器等的能夠檢測拍攝裝置11轉動的角度的裝置的情況下，判斷從拍攝的圖像的拍攝開始拍攝裝置11是否轉動了預定角度， 來代替拍攝的圖像的數量。即使在這種情況下，也可以判斷是否以預定空間上的特定區域為被攝體進行了拍攝的圖像的拍攝。在步驟S15中判斷出還未拍攝預定數量的拍攝的圖像的情況下，處理返回到步驟 S11，拍攝下一幀的拍攝的圖像。另一方面，在步驟S15中判斷出拍攝了預定數量的拍攝的圖像的情況下，處理進行到步驟S16。在步驟S16中，紙條圖像生成單元62從緩沖存儲器沈獲得N個拍攝的圖像及其中心坐標，并且基于獲得的拍攝的圖像和中心坐標，剪裁每個拍攝的圖像的預定區域，以生成紙條圖像。例如，如圖7所示，紙條圖像生成單元62剪裁以拍攝的圖像P(Ii)上的界線CL-n 為基準確定的區域，作為紙條圖像T-n。注意，用相同的附圖標記表示圖7中與圖5中的情況相對應的部分，并且省略其描述。在圖7中，基于其中心坐標，排列連續拍攝的拍攝的圖像P(Ii)和拍攝的圖像 Ρ(η+1)，使得相同的被攝體重疊。拍攝的圖像Ρ(η+1)上的界線CL_(n+l)是與拍攝的圖像 P (η)中的界線CL-n相對應的界線。也就是說，界線CL_n和界線CL-(n+1)是位于拍攝的圖像P(n)和拍攝的圖像P(n+1)上的相同位置中的在圖中的垂直方向上的假想直線。此外，在圖中，作為垂直方向上的直線的界線ML (C) -η和界線MR (C) -η是拍攝的圖像Ρ(η)上的界線CL-n附近的直線，其分別位于以預定距離與界限CL-n的左側和右側分離的位置。類似地，在圖中，作為垂直方向上的直線的界線ML(C)-(n+l)和界線MR(C)-(n+1) 是拍攝的圖像P(n+1)上的界線CL-(n+l)附近的直線，其分別位于以預定距離與界限 CL-(n+1)的左側和右側分離的位置。例如，在從拍攝的圖像P(n)中剪裁紙條圖像T-n的情況下，紙條圖像生成單元62 剪裁拍攝的圖像P(n)上的界線ML(C)-n至界線MR(C)-(n+l)的位置之間的區域，作為紙條圖像T-n。這里，拍攝的圖像P(n)上的界線MR(C)-(n+l)的位置是在排列拍攝的圖像P(η) 和拍攝的圖像Ρ(η+1)時拍攝的圖像Ρ(η)上與界線MR(C)-(n+1)重疊的位置。類似地，在從拍攝的圖像P(n-l)中剪裁紙條圖像T-(n-l)的情況下，剪裁拍攝的圖像P(n-l)上的界線ML(C)-(n-l)至界線MR(C)-n的位置之間的區域，作為紙條圖像 T-(n-l)。相應地，對于紙條圖像T-n，界線ML(C)-Ii至界線MR(C)_n的位置之間的區域中的被攝體，是與紙條圖像T-(n-l)中的界線ML(C)-η至界線MR(C)-η的位置之間的區域中的被攝體基本相同的被攝體。然而，紙條圖像T-n和紙條圖像T-(n-l)是分別從拍攝的圖像 P(η)和拍攝的圖像P(n-l)中剪裁的圖像，其被攝體是相同被攝體，但是拍攝的時間點不同。類似地，對于紙條圖像T-n，界線ML(C)-(n+l)至界線MR(C) _(n+l)的位置之間的區域中的被攝體，是與紙條圖像T-(n+l)中的界線ML(C)-(η+1)至界線MR(C)_(η+1)的位置之間的區域中的被攝體基本相同的被攝體。以這種方式，在從拍攝的圖像中剪裁以拍攝的圖像上的最中心的界線為基準確定的區域作為紙條圖像，并且排列從各個拍攝的圖像中剪裁的紙條圖像的情況下，顯示在拍攝N個拍攝的圖像時用作要拍攝的對象的真實空間上的預定范圍(區域)。將通過排列并合成從各個拍攝的圖像中獲得的紙條圖像而獲得的單個圖像，視為構成全景移動圖像的一幀全景圖像。在從各個拍攝的圖像生成紙條圖像時，紙條圖像生成單元62將獲得的紙條圖像和各個拍攝的圖像的中心坐標提供給全景移動圖像生成單元63。在步驟S17中，全景移動圖像生成單元63基于從紙條圖像生成單元62提供的紙條圖像和中心坐標，排列并合成每個幀的紙條圖像，以生成全景移動圖像的一幀圖像數據、 即單個全景圖像。例如，當合成紙條圖像T-n和紙條圖像T-(n-l)時，全景移動圖像生成單元63通過關于這些紙條圖像中的從界線ML(C)-Ii到界線MR(C)-Ii的區域進行加權相加，來獲得全景圖像的像素的像素值。具體地，在基于中心坐標排列紙條圖像T-n和紙條圖像T-(η-l)時，這些紙條圖像中的從界線ML(C)-Ii到界線MR(C)-Ii的位置的區域彼此重疊。全景移動圖像生成單元63 對于紙條圖像T-n和紙條圖像T-(n-l)的彼此重疊的像素的像素值進行加權相加，并且將作為其結果而獲得的值視為全景圖像的與這些像素相對應的位置上的像素的像素值。注意，對于紙條圖像T-n和紙條圖像T-(n-l)，確定在對從界線ML(C)_n到界線 MR(C)-Ii的區域的像素進行加權相加時的權重具有以下特征。具體地，對于從界線CL-n到界線MR(C)_n的位置的像素，隨著像素的位置從界線 CL-n接近界線MR(C)-Ii的位置，將紙條圖像T_n的像素對于生成全景圖像的貢獻率設置得更高。相反，對于從界線CL-n到界線ML(C)-Ii的位置的像素，隨著像素的位置從界線CL_n 接近界線ML(C)-Ii的位置，將紙條圖像T-(n-l)的像素對于生成全景圖像的貢獻率設置得更高。此外，在生成全景圖像時，將紙條圖像τ-n的從界線MR(C) -η到界線ML (C) - (η+1) 的區域按原樣視為全景圖像。此外，在紙條圖像T-n和紙條圖像Τ-(η+1)之間進行合成時，通過關于這些紙條圖像的界線ML(C)-(η+1)至界線MR(C)-(η+1)的位置之間的區域進行加權相加，來獲得全景圖像的像素的像素值。
具體地，對于從界線CL_(n+l)到界線MR(C)_(n+l)的位置的像素，隨著像素的位置從界線CL-(n+l)接近界線MR(C)-(n+1)的位置，將紙條圖像T-(n+1)的像素對于生成全景圖像的貢獻率設置得更高。相反，對于從界線CL-(n+1)到界線ML(C)-(n+1)的位置的像素，隨著像素的位置從界線CL-(n+1)接近界線ML(C)-(n+1)的位置，將紙條圖像T_n的像素對于生成全景圖像的貢獻率設置得更高。以這種方式，在紙條圖像之間進行合成時，對連續幀的紙條圖像的邊緣附近的區域進行加權相加，以獲得全景圖像的像素的像素值，從而與僅排列紙條圖像來獲得單個圖像的情況相比獲得更自然的圖像。例如，在僅排列紙條圖像以獲得全景圖像的情況下，如果紙條圖像的邊緣周圍的被攝體的輪廓變形，或者連續幀的紙條圖像的亮度不同，則對于全景圖像的每個區域可能導致亮度不規則。因此，對于全景移動圖像生成單元63，通過加權相加合成紙條圖像的邊緣附近的區域，由此防止被攝體的輪廓變形，或者防止導致亮度不均勻，從而可以獲得更自然的全景圖像。此外，可以進行如下布置，其中，在對拍攝的圖像進行位置匹配時，基于拍攝的圖像，運動估計單元61檢測構成拍攝單元22的光學鏡頭中的鏡頭變形，并且在合成紙條圖像時，紙條圖像生成單元62使用鏡頭變形的檢測結果來校正紙條圖像。也就是說，基于鏡頭變形的檢測結果，通過圖像處理校正紙條圖像中產生的變形。如上所述獲得的全景移動圖像的一幀，是作為被攝體顯示在拍攝拍攝的圖像時用作要拍攝的對象的空間中的預定區域的圖像。在生成全景移動圖像的一幀后，全景移動圖像生成單元63經由總線25將生成的全景移動圖像的圖像數據提供給壓縮/解壓縮單元 27。在步驟S18中，壓縮/解壓縮單元27例如通過JPEG (聯合圖像專家組)格式對從全景移動圖像生成單元63提供的全景移動圖像的圖像數據進行編碼，并經由總線25提供給驅動28。驅動28將來自壓縮/解壓縮單元27的全景移動圖像的圖像數據提供給記錄介質 29進行記錄。在記錄圖像數據時，通過全景移動圖像生成單元63對圖像數據提供幀編號。在步驟S19中，信號處理單元M判斷是否生成了全景移動圖像的預定幀的圖像數據。例如，在進行了生成由M幀的圖像數據構成的全景移動圖像的定義的情況下，在獲得了 M幀的圖像數據時，判斷出生成了預定幀的全景移動圖像。在步驟S19中判斷出還未生成預定幀的全景移動圖像的情況下，處理返回步驟 S16，生成全景移動圖像的下一幀的圖像數據。例如，在生成了全景移動圖像的第一幀的圖像數據的情況下，如參考圖7所描述的，剪裁拍攝的圖像Ρ(η)的界線ML(C)-η至界線MR(C)-(n+1)的位置之間的區域，并將其視為拍攝的圖像P(n)的紙條圖像T-n。隨后，在生成全景移動圖像的第二幀和之后幀的圖像數據的情況下，一次將紙條圖像T-n從拍攝的圖像P(n)中的剪裁位置在圖7中的左方向上偏移從界線CL_n到界線 CL-(n+1)的寬度 CW。具體地，假設全景移動圖像的第m幀的紙條圖像T-n是紙條圖像T(m)-n(然而l^m^M)。在這種情況下，將第m幀的紙條圖像T (m) -η的剪裁位置視為從紙條圖像T (1) -η 的剪裁位置向圖7中的左側偏移寬度CW的(m-1)倍的距離的位置。相應地，例如，第二幀的紙條圖像Τ(2)_η被剪裁的區域是拍攝的圖像P(n)上的與圖7中的紙條圖像T-n具有相同的形狀和大小的區域，并且是右邊緣的位置是界線MR (C) -η 的位置的區域。這里，根據在拍攝拍攝的圖像時拍攝裝置11轉動的方向，預先確定紙條圖像的剪裁區域偏移的方向。例如，圖7中的示例假定拍攝裝置11被轉動，使得下一幀的拍攝的圖像的中心位置關于指定幀的拍攝的圖像的中心位置位于圖中的右側。這是因為如果紙條圖像的剪裁位置在與拍攝的圖像的中心位置根據拍攝裝置11 的移動的移動方向相反的方向上每幀地偏移，則在構成全景移動圖像的每個全景圖像中的相同位置顯示沒有運動的相同被攝體。以這種方式，在針對每個幀偏移紙條圖像的剪裁位置的同時生成全景移動圖像的每個幀的圖像數據后，例如獲得如圖8所示的全景移動圖像。注意，在圖8中，圖中的水平方向對應于圖7中的水平方向。例如，圖8中的水平方向對應于χ-y坐標系的χ方向。在圖8中的示例中，分別從(R-I)個拍攝的圖像P(I)至拍攝的圖像P(R-I)(然而 R^N)生成紙條圖像T(I)-I至紙條圖像T(I)- (R-I)，將這些紙條圖像合成以獲得全景圖像W⑴。類似地，分別從(R-I)個拍攝的圖像P(2)至拍攝的圖像P(R)生成紙條圖像 T (2)-1至紙條圖像T (2) - (R-I)，將這些紙條圖像合成以獲得全景圖像W (2)。這里，全景圖像W(I)和全景圖像WQ)是分別構成全景移動圖像的第一幀和第二幀的圖像。此外，例如，將拍攝的圖像P(2)中的紙條圖像T(2)-l的剪裁區域視為通過將紙條圖像T(l)-2的剪裁區域向圖中的左側偏移寬度CW而獲得的位置中的區域。針對拍攝的圖像的每個幀改變該寬度CW的大小。此外，例如，在紙條圖像T⑴-1和紙條圖像T⑵-1 中顯示不同時間點處的相同被攝體。相應地，在全景圖像W(I)和全景圖像W(2)中顯示不同時間點處的相同被攝體。此外，通過合成從不同的多個幀的拍攝的圖像獲得的紙條圖像，生成全景移動圖像的一幀，相應地，即使對于單個全景圖像，在每個區域中顯示的被攝體在拍攝時間點上不同。注意，在全景圖像上顯示的被攝體可以是在拍攝N個拍攝的圖像時用作要拍攝的對象(被攝體)的拍攝空間中的整個區域，或者可以是拍攝空間中的部分區域。返回對圖4中的流程圖的描述，在步驟S19中判斷出生成了預定數量的幀的全景移動圖像的情況下，信號處理單元M經由驅動觀從記錄介質四中讀出構成全景移動圖像的每個幀的全景圖像。隨后，信號處理單元M將讀出的全景圖像提供給壓縮/解壓縮單元 27以指示解碼，且處理進行到步驟S20。在步驟S20中，壓縮/解壓縮單元27例如通過JPEG對從信號處理單元M提供的全景移動圖像數據的圖像數據、即每個全景圖像進行解碼，并提供給顯示控制單元30。隨后，在步驟S21中，顯示控制單元30將來自壓縮/解壓縮單元27的全景移動圖像提供給顯示單元31進行顯示。具體地，顯示控制單元30按照對其全景圖像設置的幀編號的順序，以預定時間間隔顯示構成全景移動圖像的全景圖像。因此，通過顯示單元31以預定時間間隔按順序顯示全景移動圖像的每個幀。也就是說，顯示以在拍攝N個拍攝的圖像時用作要拍攝的對象的拍攝空間中的整個或者一部分區域作為被攝體的移動圖像。以這種方式顯示的構成全景移動圖像的每個幀的全景圖像本身是靜止圖像，但是將相同空間的區域視為被攝體，要在全景移動圖像的每個區域中顯示的每個被攝體具有運動。在顯示全景移動圖像后，全景移動圖像生成處理結束。以這種方式，拍攝裝置11在偏移剪裁區域的同時從在不同的時間點拍攝的多個拍攝的圖像中的每個，生成多個紙條圖像，將紙條圖像合成以生成構成全景移動圖像的每個幀的全景圖像。根據以這種方式生成的全景移動圖像，拍攝的被攝體可具有運動，并且可以表達其運動，相應地，可以以更有效的方式顯示拍攝的被攝體的圖像。此外，單個全景圖像上的每個區域中的被攝體具有不同的時間點，相應地，可以呈現更生動的圖像。也就是說，可以以更有效的方式顯示拍攝的被攝體。注意，迄今為止進行了如下描述，其中拍攝N個拍攝的圖像，將所有拍攝的圖像臨時記錄在緩沖存儲器26中，然后使用這些拍攝的圖像來生成全景移動圖像，但是可以在進行拍攝的圖像的拍攝時，同時進行全景移動圖像的生成。此外，可以進行如下布置，其中對諸如個人計算機的裝置設置用于從拍攝的圖像生成全景移動圖像的功能，并且從由照相機拍攝的拍攝的圖像生成全景移動圖像。第二實施例圖像處理單元的配置此外，在生成全景移動圖像的情況下，可以進行如下布置，其中從拍攝的圖像中檢測運動，根據其檢測結果控制拍攝的圖像的拍攝間隔、即拍攝的圖像的幀速率。在這種情況下，如圖9所示配置信號處理單元M。注意，在圖9中，用相同的附圖標記表示與圖2中的情況相對應的部分，并且在適當時省略其描述。對于圖9中的信號處理單元對，新設置了運動檢測單元111和拍攝間隔控制單元 112。隨后，將在運動估計單元61中獲得的拍攝的圖像的中心坐標和拍攝的圖像從運動估計單元61提供給運動檢測單元111。在基于來自運動估計單元61的拍攝的圖像和中心坐標將連續兩幀的拍攝的圖像排列在χ-y坐標系上的情況下，運動檢測單元111通過獲得彼此重疊的部分的差從拍攝的圖像中檢測運動，并且將檢測結果提供給拍攝間隔控制單元112。拍攝間隔控制單元112使拍攝控制單元23基于來自運動檢測單元111的檢測結果控制拍攝的圖像的拍攝間隔。對全景移動圖像生成處理的描述接下來，參考圖10中的流程圖，對如圖9所示配置信號處理單元M的情況下的全景移動圖像生成處理進行描述。注意，步驟S51至步驟SM分別與圖4中的步驟Sll至步驟S14相同，因此省略其描述。在步驟S53中，運動估計單元61在連續的兩幀的拍攝的圖像P(η)和拍攝的圖像 P(n-l)之間進行位置匹配，以獲得拍攝的圖像P(n)的中心坐標。然后，運動估計單元61將拍攝的圖像P(n)和拍攝的圖像P(n-l)以及這些拍攝的圖像的中心坐標提供給運動檢測單元 111。在步驟S55中，運動檢測單元111獲得拍攝的圖像P (η)和拍攝的圖像Ρ(η_1)的
15重疊部分的各個像素的差，獲得其各個像素的差的絕對值的合計值，提供給拍攝間隔控制單元112。具體地，運動檢測單元111基于拍攝的圖像P(n)和拍攝的圖像P(n_l)的中心坐標，將這些拍攝的圖像排列在x-y坐標系上，并且將這些拍攝的圖像的彼此重疊的部分視為要處理的對象。運動檢測單元111針對拍攝的圖像P(n)和拍攝的圖像P(n-l)的要處理的區域內的所有像素，獲得拍攝的圖像P(n)和拍攝的圖像P(n-l)的重疊像素的像素值的差，并且獲得針對每個像素的差的絕對值的合計值。在步驟S56中，拍攝間隔控制單元112基于來自運動檢測單元111的合計值，判斷在拍攝的圖像中是否檢測到了運動。例如，在差的絕對值的合計值等于或大于預定閾值的情況下，判斷出在拍攝的圖像P(n)中檢測到了運動。在拍攝的圖像P(n)和拍攝的圖像P(n-l)之間的重疊部分包括具有運動的被攝體的情況下，顯示其被攝體的位置由于幀而不同，且相應地差的絕對值的合計值應當更大。因此，對于拍攝間隔控制單元112，在合計值等于或大于閾值的情況下，判斷出檢測到了具有運動的被攝體。在步驟S56中判斷出沒有檢測到運動的情況下，在步驟S57中，拍攝間隔控制單元 112將拍攝單元22拍攝圖像的拍攝間隔視為預定的標準拍攝間隔。隨后，拍攝間隔控制單元112使拍攝控制單元23以確定的標準拍攝間隔對拍攝的圖像的拍攝進行控制，然后處理進行到步驟S59。另一方面，在步驟S56中判斷出檢測到了運動的情況下，在步驟S58中，拍攝間隔控制單元112將拍攝單元22拍攝圖像的拍攝間隔視為比預定標準拍攝間隔更短的拍攝間隔。隨后，拍攝間隔控制單元112使拍攝控制單元23以確定的更短的拍攝間隔對拍攝的圖像的拍攝進行控制，然后處理進行到步驟S59。在步驟S57或者步驟S58中確定拍攝間隔后，進行步驟S59至步驟S65中的處理， 且全景移動圖像生成處理結束。注意，這些處理與圖4中的步驟S15至步驟S21中的處理相同，因此省略其描述。以這種方式，拍攝裝置11從拍攝的圖像檢測運動，并且根據其檢測結果控制拍攝拍攝的圖像的時間間隔。具體地，對拍攝裝置11，在從拍攝的圖像中沒有檢測到運動的情況下，以標準拍攝間隔進行拍攝的圖像的拍攝，而在檢測到運動的情況下，以比標準更短的拍攝間隔進行拍攝的圖像的拍攝。隨后，在從檢測到運動的狀態再次返回到沒有檢測到運動的狀態后，拍攝的圖像的拍攝間隔返回到標準拍攝間隔。在檢測到運動的情況下，以比正常時間間隔更短的時間間隔拍攝拍攝的圖像，且相應地在全景移動圖像上顯示具有運動的被攝體時，可以進一步減小幀之間的被攝體的運動量。也就是說，實質上可以提高全景移動圖像的幀速率。因此，可以在全景移動圖像上進一步平滑被攝體的運動，并且可以改善全景移動圖像的質量。此外，在沒有檢測到運動的情況下，以正常拍攝間隔拍攝拍攝的圖像，且相應地可以在不增加拍攝的圖像的數量的情況下防止處理量增加。第三實施例信號處理單元的配置
順便提及，在拍攝拍攝的圖像時，進行拍攝使得連續幀的拍攝的圖像具有足夠的彼此的重疊，即包括相同被攝體的部分的數量大，并且在將拍攝的圖像排列在χ-y坐標系上的情況下，重疊的部分足夠大。因此，在拍攝的圖像中不包括具有運動的被攝體的情況下，可以使用連續拍攝的多個拍攝的圖像中的一些來生成全景移動圖像。因此，可以減小生成全景移動圖像時的處理量。在不使用不需要的拍攝的圖像來生成全景移動圖像的情況下，例如，如圖11所示配置信號處理單元M。注意，在圖11中，用相同的附圖標記表示與圖9中的情況相對應的部分，并且在適當時省略其描述。對圖11中的信號處理單元M，代替圖9中的拍攝間隔控制單元112，新設置記錄控制單元141。隨后，經由拍攝控制單元23將拍攝單元22拍攝的拍攝的圖像提供給運動估計單元61。此外，運動檢測單元111從運動估計單元61接收拍攝的圖像和中心坐標的提供， 從拍攝的圖像檢測運動，還將其檢測結果、拍攝的圖像和中心坐標提供給記錄控制單元 141。記錄控制單元141根據來自運動檢測單元111的檢測結果控制拍攝的圖像和中心坐標到緩沖存儲器沈的記錄。對全景移動圖像生成處理的描述接下來，參考圖12中的流程圖，對在如圖11所示配置信號處理單元M的情況下的全景移動圖像生成處理進行描述。注意，步驟S91中的處理與圖4中的步驟Sll中的處理相同，因此省略其描述。經由拍攝控制單元23將拍攝單元22拍攝的拍攝的圖像提供給信號處理單元M的運動估計單元61。在步驟S92中，運動估計單元61從緩沖存儲器沈獲得緊接在前的幀的拍攝的圖像和中心坐標，并且通過運動估計進行拍攝的圖像的位置匹配。隨后，在步驟S93中，坐標計算單元71基于通過運動估計進行的位置匹配的結果，獲得拍攝的當前幀的拍攝的圖像的中心坐標。通過步驟S92和步驟S93中通過運動估計進行的位置匹配和中心坐標的計算，進行與圖4中的步驟S13中的處理相同的處理。在獲得了當前幀的拍攝的圖像的中心坐標后，運動估計單元61將當前幀和緊接在當前幀之前的幀的拍攝的圖像和中心坐標提供給運動檢測單元111。在步驟S94中，運動檢測單元111基于來自運動估計單元61的拍攝的圖像和中心坐標，獲得這些拍攝的圖像的重疊部分的每個像素的差，并獲得其每個像素的差的絕對值的合計值。隨后，運動檢測單元111將差的絕對值的合計值以及當前幀的拍攝的圖像和中心坐標提供給記錄控制單元141。注意，在步驟S94中進行的合計值的計算與圖10中的步驟S55中的處理相同，因此省略其詳細描述。在步驟S95中，記錄控制單元141基于來自運動檢測單元111的合計值，判斷在拍攝的圖像中是否檢測到了運動。例如，在差的絕對值的合計值等于或大于預定閾值的情況下，判斷出檢測到了運動。
在步驟S95中判斷出檢測到了運動的情況下，記錄控制單元141經由總線25將從運動檢測單元111提供的當前幀的拍攝的圖像和中心坐標提供給緩沖存儲器沈，并且進行到步驟S96。在步驟S96中，緩沖存儲器沈以相關的方式記錄從記錄控制單元141提供的當前幀的拍攝的圖像和中心坐標。這時，記錄控制單元141通過對拍攝的圖像設置幀編號來記錄拍攝的圖像。例如，在對緊接在記錄在緩沖存儲器沈中的當前幀、即具有最大幀編號的幀之前的幀設置幀編號(n-1)的情況下，將“η”設置為當前幀的幀編號。隨后，在記錄拍攝的圖像和中心坐標后，處理進行到步驟S98。另一方面，在步驟S95中判斷出沒有檢測到運動的情況下，在步驟S97中，記錄控制單元141丟棄從運動檢測單元111提供的當前幀的拍攝的圖像和中心坐標。隨后，在丟棄拍攝的圖像和中心坐標后，處理進行到步驟S98。在步驟S96或者步驟S97中記錄或者丟棄拍攝的圖像后，進行步驟S98至步驟 S104中的處理，并且全景移動圖像生成處理結束。注意，這些處理與圖4中的步驟S15至步驟S21中的處理相同，因此省略其描述。注意，作為位置匹配的結果，在將當前幀和緊接在前的幀的拍攝的圖像排列在x_y 坐標系上時，在拍攝的圖像的重疊部分的面積等于或小于預定大小的情況下，可與運動檢測結果無關地記錄當前幀的拍攝的圖像和中心坐標。因此，在將各個拍攝的圖像排列在x-y 坐標系上時，相鄰的拍攝的圖像彼此不重疊，可以防止拍攝空間上的特定區域的圖像丟失。以這種方式，拍攝裝置11從拍攝的圖像檢測運動，并且根據其檢測結果控制拍攝的圖像和中心坐標的記錄。在沒有檢測到運動的情況下，丟棄拍攝的圖像和中心坐標，并且不使用該拍攝的圖像和中心坐標來生成全景移動圖像，由此可以減小拍攝的圖像的臨時記錄所需的緩沖存儲器26的記錄容量，還可以減小處理量。第四實施例對拍攝的圖像的拍攝方法的描述注意，迄今為止進行了如下描述，其中在用戶移動拍攝裝置11的同時指示拍攝拍攝的圖像，可以在拍攝裝置11由設備移動的狀態下進行拍攝的圖像的拍攝。在這種情況下，例如，如圖13所示，將拍攝裝置11固定到轉動臺171上并轉動。具體地，轉動臺171由布置在預定臺等上的固定單元181和關于固定單元181轉動的轉動臺 182配置而成。在圖13中的示例中，將拍攝裝置11固定到轉動臺182上，轉動臺182在圖中的箭頭方向上以預定轉動速度轉動，由此拍攝裝置11變為關于要拍攝的被攝體移動的狀態。信號處理單元的配置以這種方式，在通過轉動臺171轉動拍攝裝置11的情況下，例如，如圖14所示配置拍攝裝置11的信號處理單元對，并且信號處理單元M和轉動臺171電連接。注意，在圖14中，用相同的附圖標記表示與圖9中的情況相對應的部分，并且在適當時省略其描述。在圖14中的信號處理單元M中，代替圖9中的拍攝間隔控制單元112，新設置了轉動速度控制單元201。轉動速度控制單元201根據來自運動檢測單元111的運動檢測結果控制轉動臺171的轉動速度。對全景移動圖像生成處理的描述接下來，參考圖15中的流程圖，對如圖14所示配置信號處理單元M的情況下的全景移動圖像生成處理進行描述。注意，步驟S131至步驟S135中的處理與圖10中的步驟S51至步驟S55中的處理相同，因此省略其描述。在運動檢測單元111檢測到運動時，將連續幀的拍攝的圖像的差的絕對值的合計值，作為其檢測結果從運動檢測單元111提供給轉動速度控制單元201。在步驟S136中，轉動速度控制單元201基于來自運動檢測單元111的合計值判斷在拍攝的圖像中是否檢測到了運動。例如，在差的絕對值的合計值等于或大于預定閾值的情況下，判斷出在拍攝的圖像中檢測到了運動。在步驟S136中判斷出沒有檢測到運動的情況下，在步驟S137中，轉動速度控制單元201將轉動臺171的轉動速度設置為預定標準轉動速度。隨后，轉動速度控制單元201 控制轉動臺171以在確定的標準轉動速度轉動轉動臺171，然后處理進行到步驟S139。另一方面，在步驟S136中判斷出檢測到了運動的情況下，在步驟S138中，轉動速度控制單元201將轉動臺171的轉動速度設置為比預定標準轉動速度更慢的轉動速度。隨后，轉動速度控制單元201控制轉動臺171以在比確定的標準轉動速度更慢的轉動速度轉動轉動臺171，然后處理進行到步驟S139。在步驟S137或者步驟S138中確定了轉動速度后，進行步驟S139至步驟S145中的處理，并且全景移動圖像生成處理結束。注意，這些處理與圖4中的步驟S15至步驟S21 中的處理相同，因此省略其描述。以這種方式，拍攝裝置11從拍攝的圖像檢測運動，并且根據其檢測結果控制轉動臺171的轉動速度。具體地，在沒有從拍攝的圖像檢測到運動的情況下，拍攝裝置11在標準轉動速度轉動轉動臺171，而在檢測到運動的情況下，在比標準更慢的轉動速度轉動轉動臺171。隨后，在從檢測到運動的狀態再次返回到沒有檢測到運動的狀態后，使轉動臺171 的轉動速度返回到標準轉動速度。在檢測到了運動的情況下，以更慢的轉動速度轉動拍攝裝置11，由此實質上可以提高全景移動圖像的幀速率。因此，可以進一步平滑全景移動圖像上被攝體的運動，并且可以改善全景移動圖像的質量。第五實施例對視差和立體全景移動圖像的描述順便提及，如圖16所示，在以轉動中心Cll為中心在圖中的箭頭方向上轉動拍攝裝置11的同時拍攝拍攝的圖像時，假設在位置PTl和位置PT2拍攝了拍攝的圖像。在這種情況下，在將拍攝裝置11布置在位置PTl和位置PT2中的每個時拍攝的拍攝的圖像包括相同被攝體H11，但是這些拍攝的圖像的拍攝位置、即被攝體Hll的觀察位置不同，因此產生了視差。在拍攝裝置11以固定轉動速度轉動的情況下，從轉動中心Cll到拍攝裝置11的距離越長，例如，從轉動中心Cll到位置PTl的距離越長，視差越大。在使用如此產生的視差生成觀察位置不同(具有視差)的兩個全景移動圖像，并且同時播放這些全景移動圖像的情況下，可以向用戶提供立體全景移動圖像。注意，下文中，在觀察位置不同的兩個全景移動圖像中，將要顯示成由用戶的右眼觀察的全景移動圖像稱為針對右眼的全景移動圖像，將要顯示成由用戶的左眼觀察的全景移動圖像稱為針對左眼的全景移動圖像。此外，將針對右眼和針對左眼的兩個全景移動圖像的組稱為立體全景移動圖像。在生成立體全景移動圖像的情況下，從拍攝的圖像中關于針對右眼和針對左眼的每個，剪裁用來生成全景移動圖像的紙條圖像。現在，將用來生成針對右眼和針對左眼的全景圖像的每個紙條圖像稱為針對右眼的紙條圖像和針對左眼的紙條圖像，如圖17所示從由拍攝的圖像上的預定基準位置確定的區域剪裁這些紙條圖像。注意，在圖17中，用相同的附圖標記表示與圖5中的情況相對應的部分，并且在適當時省略其描述。在圖17中，作為垂直方向上的直線的界線ML(L)-Ii和界線MR(L)-Ii是拍攝的圖像 P (η)上的界線LL-n附近的直線，并且在圖中分別以預定距離與界線LL_n的左側和右側分離地被布置。類似地，在圖中，作為垂直方向上的直線的界線ML(R)-Ii和界線MR(R)-Ii是拍攝的圖像P(n)上的界線RL-n附近的直線，并且分別以預定距離與界線RL-n的左側和右側分離地被布置。這些界線ML (L)-η和界線ML (R)-η以及界線MR(L) _η和界線MR(R) _η是分別與圖 7中的界線ML (C) -η和界線MR (C) -η相對應的界線。例如，在從拍攝的圖像P(η)中剪裁用來生成針對右眼和針對左眼的第一幀的全景移動圖像的紙條圖像的情況下，在拍攝的圖像Ρ(η)上的界線CL-n的圖中，將位于左側和右側的界線LL-n和界線RL-n視為基準。也就是說，分別剪裁以拍攝的圖像P (η)上的界線LL-n和界線RL_n作為基準確定的區域，作為針對右眼的紙條圖像TR(η)和針對左眼的紙條圖像TL(η)。更詳細地，被視為針對右眼的紙條圖像TR(n)的區域是拍攝的圖像P (η)上的從界線ML(L)-Ii到界線MR(L)-(n+l)的位置之間的區域。這里，界線MR(L)_(n+l)在拍攝的圖像P(n+1)上是位于與拍攝的圖像P(η)上的界線MR(L)-Ii相同的位置中的與界線MR(L)-Ii相對應的界線。此外，在基于中心坐標將拍攝的圖像Ρ(η)和拍攝的圖像Ρ(η+1)排列在x_y坐標系上的情況下，界線MR(L)-(n+l)在拍攝的圖像P(n)上的位置是拍攝的圖像P(n)上的與拍攝的圖像P(n+1)的界線MR(L)-(n+1)
重疊的位置。類似地，被視為針對左眼的紙條圖像TL(n)的區域是拍攝的圖像P(n)上的從界線ML(R)-η到界線MR(R)-(n+1)的位置之間的區域。這里，界線MR(R)-(n+1)是拍攝的圖像P(n+1)上的與界線MR(R)-n相對應的界線。此外，在將拍攝的圖像P (η)和拍攝的圖像 P (n+1)排列在x_y坐標系上的情況下，界線MR(R)-(n+l)在拍攝的圖像P(n)上的位置是拍攝的圖像P(n)上的與拍攝的圖像P(n+1)的界線MR(R)-(n+1)重疊的位置。此外，從每個拍攝的圖像中不僅剪裁用來生成針對右眼和針對左眼的第一幀的全景移動圖像的紙條圖像，還剪裁用來生成后續幀的紙條圖像。例如，假設將針對右眼的全景移動圖像的第m幀的紙條圖像TR(η)視為紙條圖像 TR (n) -m,將在把拍攝的圖像P (η)和拍攝的圖像P (n+1)排列在χ-y坐標系上時從界線LL_n 到界線LL-(n+l)的距離視為LW。注意，界線LL-(n+l)是拍攝的圖像P(n+1)上的與拍攝的圖像P(n)上的界線LL-n相對應的界線。
在這種情況下，將第m幀的紙條圖像TR(n)-m的剪裁位置視為圖17中的從第一幀的紙條圖像TR(η)的剪裁位置向左側偏移距離LW的(m-1)倍的距離的位置。類似地，假設將針對左眼的全景移動圖像的第m幀的紙條圖像TL(n)視為紙條圖像TL (n)-m，將在把拍攝的圖像P (η)和拍攝的圖像Ρ(η+1)排列在x_y坐標系上時從界線 RL-n到界線RL-(n+l)的距離視為RW。注意，界線RL-(n+1)是拍攝的圖像P(n+1)上的與拍攝的圖像P(n)上的界線RL-n相對應的界線。在這種情況下，將第m幀的紙條圖像TL (n)-m的剪裁位置視為圖17中的從第一幀的紙條圖像TL(n)的剪裁位置向左側偏移距離RW的(m-1)倍的距離的位置。以這種方式，例如，在針對每個幀偏移紙條圖像的剪裁位置的同時生成全景移動圖像的每個幀的圖像數據后，獲得如圖18所示的立體全景移動圖像。注意，在圖18中，圖中的水平方向對應于圖17中的水平方向。例如，圖18中的水平方向對應于χ-y坐標系的 χ方向。通過圖18中的示例，從每個幀的拍攝的圖像中剪裁的紙條圖像TL⑴-1至紙條圖像TLC3)-1等，生成構成針對左眼的全景移動圖像的第一幀的全景圖像WPL-1。此外，從這些紙條圖像向左偏移的位置剪裁的紙條圖像TU2)-2至紙條圖像TL(3)-2等，生成構成針對左眼的全景移動圖像的第二幀的全景圖像WPL-2。類似地，從拍攝的圖像中剪裁的紙條圖像TR(m-1) _1至紙條圖像TR(m+l) _1等，生成構成針對右眼的全景移動圖像的第一幀的全景圖像WPR-1。此外，從這些紙條圖像開始向左偏移的位置剪裁的紙條圖像TR(m)-2、紙條圖像TR(m+l)-2等生成構成針對右眼的全景移動圖像的第二幀的全景圖像WPR-2。拍攝裝置的配置以這種方式，例如，如圖19所示配置用于生成由針對右眼和針對左眼的全景移動圖像構成的立體全景移動圖像的拍攝裝置11。注意，在圖19中，用相同的附圖標記表示與圖1中的情況相對應的部分，并且在適當時省略其描述。對圖19中的拍攝裝置11，代替圖1中的信號處理單元M和顯示單元31，新設置信號處理單元231和顯示單元232。例如，信號處理單元231控制整個拍攝裝置11，并從緩沖存儲器沈讀出拍攝的圖像，以生成立體全景移動圖像。顯示單元232例如由IXD或者透鏡鏡頭構成，其通過透鏡系統顯示立體圖像。信號處理單元的配置此外，如圖20所示更詳細地配置圖19中的信號處理單元231。注意，在圖20中， 用相同的附圖標記表示與圖2中的情況相對應的部分，因此在適當時省略其描述。紙條圖像生成單元241使用經由總線25提供的拍攝的圖像和中心坐標來剪裁拍攝的圖像上的預定區域作為紙條圖像，并提供給全景移動圖像生成單元對2。對紙條圖像生成單元對1，設置了用于生成針對右眼的紙條圖像的右眼紙條圖像生成單元251和用于生成針對左眼的紙條圖像的左眼紙條圖像生成單元252。全景移動圖像生成單元242合成來自紙條圖像生成單元Ml的紙條圖像，以生成全景移動圖像。對全景移動圖像生成單元對2，設置了用于從針對右眼的紙條圖像生成針對右眼的全景移動圖像的右眼全景移動圖像生成單元253和用于從針對左眼的紙條圖像生成針對左眼的全景移動圖像的左眼全景移動圖像生成單元254。對立體全景移動圖像生成處理的描述接下來，參考圖21中的流程圖，對圖19中的拍攝裝置11進行的立體全景移動圖像生成處理進行描述。注意，步驟S171至步驟S175中的處理與圖4中的步驟Sll至步驟S15中的處理相同，因此省略其描述。具體地，將通過拍攝而獲得的拍攝的圖像和中心坐標記錄在緩沖存儲器26中。在步驟S176中，右眼紙條圖像生成單元251和左眼紙條圖像生成單元252從緩沖存儲器26獲得N個拍攝的圖像及其中心坐標，并基于獲得的拍攝的圖像和中心坐標生成針對右眼和針對左眼的紙條圖像。具體地，進行與圖4中的步驟S16中的處理相同的處理，生成針對右眼和針對左眼的紙條圖像。注意，如參考圖17所描述的，在圖17中針對每個幀將紙條圖像的剪裁位置向左方向偏移預定距離。例如，在用來生成第一幀的全景移動圖像的紙條圖像的情況下，從拍攝的圖像P(n)中剪裁針對右眼的紙條圖像TR (η)和針對左眼的紙條圖像TL (η)。在從每個拍攝的圖像生成紙條圖像后，右眼紙條圖像生成單元251和左眼紙條圖像生成單元252將獲得的紙條圖像和每個拍攝的圖像的中心坐標提供給全景移動圖像生成單元Μ2。在步驟S177中，右眼全景移動圖像生成單元253和左眼全景移動圖像生成單元 254基于從紙條圖像生成單元241提供的紙條圖像和中心坐標，合成每個幀的紙條圖像，以生成立體全景移動圖像的一幀。具體地，右眼全景移動圖像生成單元253進行與圖4中的步驟S17中的處理相同的處理，以排列并合成針對右眼的各個紙條圖像，并生成針對右眼的全景移動圖像的一幀的圖像數據。這時，以與步驟S17中的處理的情況相同的方式，對于針對右眼的紙條圖像 TR(η)中的從界線ML(L)-n到界線MR(L)-n的區域，通過對于紙條圖像TR(η-1)的邊緣部分的區域進行加權相加，來獲得全景圖像的像素的像素值。此外，左眼全景移動圖像生成單元2Μ進行與圖4中的步驟S17中的處理相同的處理，以排列并合成針對左眼的各個紙條圖像，并且生成針對左眼的全景移動圖像的一幀的圖像數據。這時，以與步驟S17中的處理的情況相同的方式，對于針對左眼的紙條圖像 TL(η)中的從界線ML(R)-η到界線MR(R)-η的區域，通過對于紙條圖像TL(η-1)的邊緣部分的區域進行加權相加，來獲得全景圖像的像素的像素值。以這種方式，在生成由針對右眼和針對左眼的全景移動圖像的圖像數據構成的立體全景移動圖像的一幀后，將這些全景移動圖像的數據從全景移動圖像生成單元242提供給壓縮/解壓縮單元27。隨后，進行步驟S178至步驟S180中的處理，但是該處理與圖4中的步驟S18至步驟S20中的處理相同，因此省略其描述。注意，將在步驟S180中解碼的全景移動圖像從壓縮/解壓縮單元27提供給顯示控制單元30。在步驟S181中，顯示控制單元30以預定時間間隔按順序將來自壓縮/解壓縮單元27的每個幀的針對右眼和針對左眼的全景移動圖像通過透鏡系統提供給顯示單元232， 并且顯示立體全景移動圖像。
具體地，顯示單元232將每個幀的針對右眼和針對左眼的全景移動圖像劃分為若干紙條狀圖像，并且在預定方向上交替地排列和顯示劃分的針對右眼和針對左眼的圖像， 由此顯示立體全景移動圖像。將由此劃分并顯示的針對右眼的全景移動圖像的光和針對左眼的全景移動圖像的光導向通過構成顯示單元232的透鏡鏡頭觀看顯示單元232的用戶的右眼和左眼，并且分別形成圖像。因此，用戶的眼睛觀察到立體全景移動圖像。在顯示單元232上顯示(再現)立體全景移動圖像后，立體全景移動圖像生成處理結束。以這種方式，拍攝裝置11在從不同的時間點處拍攝的多個拍攝的圖像中的每個偏移剪裁區域的同時，生成針對右眼和針對左眼的多個紙條圖像，并且針對每個幀合成紙條圖像以生成立體全景移動圖像。根據如此生成的立體全景移動圖像，拍攝的被攝體可具有運動，可以表達其運動， 此外，可以以立體的方式顯示被攝體，并且可以以更有效的方式顯示拍攝的被攝體的圖像。上述一系列處理由硬件執行，也可以由軟件執行。在由軟件執行該一系列處理的情況下，將構成該軟件的程序從程序記錄介質安裝到內置到專用硬件中的計算機或者能夠通過向其安裝各種程序而執行各種功能的通用個人計算機等中。圖22是示出使得程序執行上述一系列處理的計算機的硬件的配置示例的框圖。對該計算機，CPU (中央處理器)301、R0M (只讀存儲器)302和RAM (隨機存取存儲器)303通過總線304彼此連接。輸入/輸出接口 305進一步連接到總線304。輸入/輸出接口 305與由鍵盤、鼠標、 麥克風等構成的輸入單元306，由顯示器、揚聲器等構成的輸出單元307，由硬盤、非易失性存儲器等構成的記錄單元308，由網絡接口等構成的通信單元309和用于驅動諸如磁盤、光盤、磁光盤、半導體存儲器等的可移動介質311的驅動310連接。對如上所述配置的計算機，例如，CPU 301經由輸入/輸出接口 305和總線304將記錄在記錄單元308中的程序加載到RAM 303中并執行該程序，由此執行上述一系列處理。通過記錄在可移動介質311中或者經由諸如局域網、因特網、數字衛星廣播等的線纜或無線傳輸介質，來提供計算機(CPU 301)執行的程序，可移動介質311是例如由磁盤 (包括軟盤)、光盤(⑶_R0M(光盤-只讀存儲器)、DVD(數字通用盤)等)、磁光盤、半導體存儲器等構成的封裝介質。可以通過將可移動介質311安裝在驅動310上，經由輸入/輸出接口 305將程序安裝到記錄單元308中。此外，可由通信單元309經由線纜或無線傳輸介質接收程序，以將其安裝到記錄單元308中。另外，可以預先將程序安裝到ROM 302或者記錄單元308中。注意，計算機執行的程序可以是根據在本說明書中描述的順序按照時間序列執行處理的程序，或者可以是并行或在諸如在進行調用時的需要的定時執行處理的程序等。注意，本發明的實施例不限于上述實施例，可以在不脫離本發明的實質的范圍內進行各種變形。附圖標記列表11拍攝裝置，22拍攝單元，24信號處理單元，61運動估計單元，62紙條圖像生成單元，63全景移動圖像生成單元，71坐標計算單元，111運動檢測單元，112拍攝間隔控制單元，141記錄控制單元，201轉動速度控制單元，231信號處理單元，232顯示單元，251右眼紙條圖像生成單元，252左眼紙條圖像生成單元，253右眼全景移動圖像生成單元，254左眼全景移動圖像生成單元。
權利要求
1.一種圖像處理設備，包括位置信息生成裝置，被配置為基于在移動拍攝裝置的同時由所述拍攝裝置拍攝并獲得的多個拍攝的圖像，生成在將多個所述拍攝的圖像排列在預定平面上以使得包含在不同的所述拍攝的圖像中的相同被攝體重疊時指示所述拍攝的圖像中的每個的相對位置關系的位置信息；紙條圖像生成裝置，被配置為關于多個所述拍攝的圖像中的每個，在基于所述位置信息將多個所述拍攝的圖像排列在所述平面上的情況下，剪裁所述拍攝的圖像上的、從所述拍攝的圖像上的預定基準位置到以在所述平面上與所述拍攝的圖像重疊的方式排列的另一拍攝的圖像的所述基準位置的區域，以生成包括所述區域的紙條圖像；以及全景圖像生成裝置，被配置為通過排列并合成從多個所述拍攝的圖像獲得的所述紙條圖像中的每個，生成單個全景圖像；其中，所述紙條圖像生成裝置關于多個所述拍攝的圖像，在預定方向上偏移所述拍攝的圖像上的所述區域的同時，從所述拍攝的圖像生成多個所述紙條圖像；以及其中，所述全景圖像生成裝置通過針對所述區域的每個位置生成所述全景圖像， 來生成由顯示拍攝空間上的相同區域的圖像的多個所述全景圖像構成的圖像組。
2.根據權利要求1所述的圖像處理設備，還包括顯示控制裝置，被配置為以預定時間間隔按順序顯示多個所述全景圖像。
3.根據權利要求1所述的圖像處理設備，其中，所述位置信息生成裝置使用所述拍攝的圖像上的多個預定塊區域，通過從所述拍攝的圖像之前拍攝的拍攝的圖像中搜索與多個所述塊區域相對應的塊對應區域中的每個，來生成所述位置信息。
4.根據權利要求3所述的圖像處理設備，其中，所述位置信息生成裝置基于多個所述塊區域的相對位置關系和多個所述塊對應區域的相對位置關系，檢測包括具有運動的被攝體的所述塊區域，在檢測到包括所述具有運動的被攝體的所述塊區域的情況下，使用多個所述塊區域中的與所述檢測到的塊區域不同的所述塊區域來搜索所述塊對應區域，由此生成所述位置信息。
5.根據權利要求1所述的圖像處理設備，還包括運動檢測裝置，被配置為使用所述拍攝的圖像和在該所述拍攝的圖像之前拍攝的所述拍攝的圖像，從所述拍攝的圖像檢測運動；以及拍攝控制裝置，被配置為控制所述拍攝裝置，使得在未檢測到所述運動的情況下，以第一時間間隔拍攝所述拍攝的圖像，而在檢測到所述運動的情況下，以比所述第一時間間隔短的第二時間間隔拍攝所述拍攝的圖像。
6.根據權利要求1所述的圖像處理設備，還包括運動檢測裝置，被配置為使用所述拍攝的圖像和在該所述拍攝的圖像之前拍攝的所述拍攝的圖像，從所述拍攝的圖像檢測運動；以及丟棄裝置，被配置為丟棄未檢測到所述運動的所述拍攝的圖像；其中，不使用所述丟棄的拍攝的圖像來生成所述紙條圖像。
7.根據權利要求1所述的圖像處理設備，還包括運動檢測裝置，被配置為使用所述拍攝的圖像和在該所述拍攝的圖像之前拍攝的所述拍攝的圖像，從所述拍攝的圖像檢測運動；以及移動裝置，被配置為以與所述運動的檢測結果相對應的速度移動所述拍攝裝置。
8.根據權利要求1所述的圖像處理設備，其中，所述紙條圖像生成裝置以第一位置為所述基準位置，從所述拍攝的圖像生成第一紙條圖像，還以與所述第一位置不同的第二位置為所述基準位置，從所述拍攝的圖像生成第二紙條圖像；以及其中，所述全景圖像生成裝置基于從多個所述拍攝的圖像獲得的所述第一紙條圖像和所述第二紙條圖像，生成相互間具有視差的第一全景圖像組和第二全景圖像組。
9.一種用于圖像處理設備的圖像處理方法，所述圖像處理設備包括位置信息生成裝置，被配置為基于在移動拍攝裝置的同時由所述拍攝裝置拍攝并獲得的多個拍攝的圖像，生成在將多個所述拍攝的圖像排列在預定平面上以使得包含在不同的所述拍攝的圖像中的相同被攝體重疊時，指示所述拍攝的圖像中的每個的相對位置關系的位置信息；紙條圖像生成裝置，被配置為關于多個所述拍攝的圖像中的每個，在基于所述位置信息將多個所述拍攝的圖像排列在所述平面上的情況下，剪裁所述拍攝的圖像上的、從所述拍攝的圖像上的預定基準位置到以在所述平面上與所述拍攝的圖像重疊的方式排列的另一拍攝的圖像的所述基準位置的區域，以生成包括所述區域的紙條圖像；以及全景圖像生成裝置，被配置為通過排列并合成從多個所述拍攝的圖像獲得的所述紙條圖像中的每個，生成單個全景圖像，所述圖像處理方法包括步驟所述位置信息生成裝置從多個所述拍攝的圖像生成所述位置信息；所述紙條圖像生成裝置關于多個所述拍攝的圖像，在預定方向上偏移所述拍攝的圖像上的所述區域的同時，從所述拍攝的圖像生成多個所述紙條圖像；以及所述全景圖像生成裝置針對所述區域的每個位置生成所述全景圖像，由此生成由顯示拍攝空間上的相同區域的圖像的多個所述全景圖像構成的圖像組。
10.一種使計算機執行處理的程序，包括位置信息生成步驟，被布置為基于在移動拍攝裝置的同時由所述拍攝裝置拍攝并獲得的多個拍攝的圖像，生成在將多個所述拍攝的圖像排列在預定平面上以使得包含在不同的所述拍攝的圖像中的相同被攝體重疊時，指示所述拍攝的圖像中的每個的相對位置關系的位置信息；紙條圖像生成步驟，被布置為關于多個所述拍攝的圖像中的每個，在基于所述位置信息將多個所述拍攝的圖像排列在所述平面上的情況下，剪裁所述拍攝的圖像上的、從所述拍攝的圖像上的預定基準位置到以在所述平面上與所述拍攝的圖像重疊的方式排列的另一拍攝的圖像的所述基準位置的區域，以生成包括所述區域的紙條圖像；以及全景圖像生成步驟，被布置為通過排列并合成從多個所述拍攝的圖像獲得的所述紙條圖像中的每個，生成單個全景圖像；其中，在所述紙條圖像生成步驟中，關于多個所述拍攝的圖像，在預定方向上偏移所述拍攝的圖像上的所述區域的同時，從所述拍攝的圖像生成多個所述紙條圖像；并且在所述全景圖像生成步驟中，針對所述區域的每個位置生成所述全景圖像，由此生成由顯示拍攝空間上的相同區域的圖像的多個所述全景圖像構成的圖像組。
全文摘要
本發明涉及一種圖像處理設備和方法以及程序，通過其可以顯示以更有效的方式拍攝的被攝體圖像。拍攝裝置11以轉動中心C11為中心進行轉動的狀態下，拍攝多個拍攝的圖像P(1)至P(N)。拍攝裝置11從獲得的多個拍攝的圖像中的每個中剪裁由拍攝的圖像中的預定基準位置確定的區域，作為紙條圖像，排列并合成這些紙條圖像，由此生成以拍攝空間上的預定區域為被攝體的全景圖像。拍攝裝置11在從拍攝的圖像偏移紙條圖像的剪裁位置的同時，生成多個全景圖像，由此獲得由多個全景圖像構成的全景移動圖像。根據該全景移動圖像，可以顯示拍攝的圖像中的具有運動的被攝體。本發明可以應用于照相機。
文檔編號H04N5/265GK102210136SQ20108000316
公開日2011年10月5日 申請日期2010年9月7日 優先權日2009年9月16日
發明者山下紀之, 平井純 申請人:索尼公司