立體圖像數據發送裝置和立體圖像數據接收裝置的制作方法

專利名稱：立體圖像數據發送裝置和立體圖像數據接收裝置的制作方法
技術領域：
本發明涉及立體圖像數據發送裝置和立體圖像數據接收裝置，更具體地說，涉及能夠順利地顯示重疊信息(如閉路字幕信息、字幕信息、圖形信息、文本信息等)的立體圖像數據發送裝置等。
背景技術：
例如，在PTL 1中，已經提出了使用電視廣播無線電波的立體圖像數據的發送方法。在這種情況下，發送包括左眼圖像數據和右眼圖像數據的立體圖像數據，并且電視接收器執行利用雙目視差(binocular disparity)的立體圖像顯示。圖108圖示了在對象的左和右圖像在屏幕上的顯示位置與立體圖像的回放位置之間利用雙目視差的立體圖像顯示中的關系。例如，關于以如圖中所示那樣的方式分別將左圖像La和右圖像Ra移動到右側和左側而顯示在屏幕上的對象A，由于左右視線在屏幕表面之前相交，因此立體圖像的回放位置處于屏幕表面之前。DI^表示水平方向上對象A的視
差矢量。而且，例如，關于左圖像Lb和右圖像Rb以如圖中所示的方式、被顯示在屏幕上的相同位置的對象B，由于左右視線在屏幕表面上相交，因此立體圖像的回放位置位于屏幕表面上。進一步，例如，關于以如圖中所示的方式將左圖像Lc和右圖像Rc分別移動到左側和右側而顯示在屏幕上的對象C，由于左右視線在屏幕表面之后相交，因此立體圖像的回放位置處于屏幕表面之后。DPc表示水平方向上對象C的視差矢量。引用列表專利文獻PTLl 日本待審專利申請公開No. 2005-6114

發明內容
技術問題如上所述，在立體圖像顯示中，一般而言，觀看者通過利用雙目視差來識別立體圖像的透視。存在這樣的期望例如，要重疊在圖像上的重疊信息(如，閉路字幕信息、字幕信息、圖形信息或文本信息)將與不僅依照二維空間而且依照三維深度感覺的立體圖像顯示相關聯地渲染(render)。例如，在作為閉路字幕信息或字幕信息的字幕重疊并顯示(重疊顯示)在圖像上的情況下，如果依據透視，不在圖像中最近的對象之前顯示字幕，則觀看者可能感覺到透視的不一致。而且，同樣在圖像上重疊并顯示其他圖形信息或文本信息的情況下，也期望根據圖像中每一對象的透視執行視差調整，以保持透視的一致性。本發明的目的是在重疊信息(如，閉路字幕信息、字幕信息、圖形信息或文本信息)的顯示中，在重疊信息與圖像中的每一個對象之間保持透視的一致性。技術方案
本發明的構思在于一種立體圖像數據發送設備，包括立體圖像數據輸出單元，輸出包括左眼圖像數據和右眼圖像數據的立體圖像數據；重疊信息數據輸出單元，輸出要重疊在基于左眼圖像數據和右眼圖像數據的圖像上的重疊信息的數據；視差信息輸出單元，輸出用于通過移位要重疊在基于左眼圖像數據和右眼圖像數據的圖像上的重疊信息而賦予視差的視差信息；以及發送單元，發送視頻基本流，其在有效載荷部分中包括從所述立體圖像數據輸出單元輸出的立體圖像數據，并且在頭部部分的用戶數據區域中包括從所述重疊信息數據輸出單元輸出的重疊信息的數據以及從所述視差信息輸出單元輸出的視差信息，其中所述視頻基本流的頭部部分的用戶數據區域中包括的重疊信息的數據和視差信息被配置為可由用戶數據標識信息識別。在本發明中，由立體圖像數據輸出單元輸出包括左眼圖像數據和右眼圖像數據的立體圖像數據。此外，由重疊信息數據輸出單元輸出要重疊在基于左眼圖像數據和右眼圖像數據的圖像上的重疊信息的數據。這里，重疊信息意味著要重疊在圖像上的信息，如用于顯示字幕的閉路字幕信息或字幕信息。此外，由視差信息輸出單元輸出用于通過移位要重疊在基于左眼圖像數據和右眼圖像數據的圖像上的重疊信息而賦予視差的視差信息。然后，由發送單元發送視頻基本流，其在有效載荷部分中包括上述立體圖像數據， 并且在頭部部分的用戶數據區域中包括上述重疊信息的數據以及上述視差信息。以這種方式，以在視頻基本流的頭部部分的用戶數據區域中包括重疊信息的數據和視差信息的狀態將其發送的重疊信息的數據和視差信息被配置為能夠由用戶數據標識信息識別。以這種方式，在本發明中，以在視頻基本流的有效載荷部分中包括包含左眼圖像數據和右眼圖像數據的立體圖像數據的狀態來發送用于顯示立體圖像的立體圖像數據，并且另外，以可識別的方式在視頻基本流的頭部部分的用戶數據區域中包括重疊信息的數據和視差信息的狀態來發送重疊信息的數據和視差信息。因此，在接收側，可以獲取立體圖像數據，并且另外，可以從視頻基本流獲取重疊信息的數據和視差信息。在接收側，使用視差信息，可以將適當的視差賦予要重疊在左眼圖像和右眼圖像上的相同的重疊信息(如，閉路字幕信息或字幕信息)。因此，在重疊信息的顯示中，可以將重疊信息與圖像中的每一個對象之間的透視的一致性維持到最佳狀態。在本發明中，例如，視差信息可以已經添加了移位目標指定信息，其在要重疊在基于所述左眼圖像數據的圖像上的重疊信息和要重疊在基于右眼圖像數據的圖像上的重疊信息之中，指定要基于所述視差信息移位的重疊信息。通過移位目標指定信息，可以僅移位要重疊在左眼圖像上的重疊信息、僅移位要重疊在右眼圖像上的重疊信息、或者移位要重疊在左眼圖像和右眼圖像二者上的重疊信息。此外，在本發明中，例如，視差信息可以是在預定數量幀的時間段期間各個幀中順序更新的視差信息，在所述預定數量幀的時間段期間顯示所述重疊信息。在這種情況下，在接收側，通過使用預定數量幀的時間段期間各個幀中順序更新的視差信息，將視差賦予重疊信息，在所述預定數量幀的時間段期間顯示重疊信息，由此使得可以根據圖像內容的改變來動態地改變要賦予重疊信息的視差。
此外，在本發明中，例如，各個幀中順序更新視差信息包括預定數量幀的時間段期間有關第一幀的視差信息，以及有關第二和接下來的幀相對于有關之前幀的視差信息的偏移信息。在這種情況下，可以抑制視差信息的數據量。此外，在本發明中，例如，視差信息可以是在預定數量幀的時間段期間各個幀中共同使用的視差信息，在所述預定數量幀的時間段期間顯示所述重疊信息。在這種情況下，可以極大地抑制視差信息的數據量。此外，在本發明中，例如，所述視差信息可以是在預定數量幀的時間段期間各個幀中共同使用的視差信息，在所述預定數量幀的時間段期間顯示所述重疊信息，或者是在預定數量幀的時間段期間各個幀中順序更新的視差信息，在所述預定數量幀的時間段期間顯示所述重疊信息，并且所述視差信息可以已經添加了指示各個幀中共同使用的視差信息或各個幀中順序更新的視差信息的標志信息。在這種情況下，可以根據例如圖像的內容，選擇性地發送各個幀中共同使用的視差信息或各個幀中順序更新的視差信息。即，在圖像的運動大的情況下，發送各個幀中順序更新的視差信息，以便在接收側，根據圖像內容的變化來動態地改變要賦予重疊信息的視差。此外，在圖像的運動小的情況下，發送各個幀中共同使用的視差信息，由此允許視差信息的數據量的抑制。此外，本發明的另一個構思在于一種立體圖像數據接收設備，包括接收單元，接收視頻基本流，所述視頻基本流在有效載荷部分中包括包含左眼圖像數據和右眼圖像數據的立體圖像數據，并且在頭部部分的用戶數據區域中包括要重疊在基于左眼圖像數據和右眼圖像數據的圖像上的重疊信息和用于通過移位要重疊在基于左眼圖像數據和右眼圖像數據的圖像上的重疊信息而賦予視差的視差信息，所述頭部部分的用戶數據區域中包括的重疊信息的數據和視差信息被配置為可由用戶數據標識信息識別；立體圖像數據獲取單元，從所述接收單元接收到的所述視頻基本流的有效載荷部分獲取所述立體圖像數據；重疊信息數據獲取單元，從所述接收單元接收到的所述視頻基本流的頭部部分的用戶數據區域獲取所述重疊信息的數據；視差信息獲取單元，從所述接收單元接收到的所述視頻基本流的頭部部分的用戶數據區域獲取所述視差信息；以及圖像數據處理單元，使用由所述立體圖像數據獲取單元獲取的所述立體圖像數據中包括的左眼圖像數據和右眼圖像數據、由所述重疊信息數據獲取單元獲取的所述重疊信息的數據以及由所述視差信息獲取單元獲取的所述視差信息，將視差賦予要重疊在左眼圖像和右眼圖像上的相同重疊信息，并且獲取已經重疊了重疊信息的左眼圖像的數據和已經重疊了重疊信息的右眼圖像的數據。在本發明中，由接收單元接收視頻基本流。視頻基本流在有效載荷部分中包含立體圖像，所述立體圖像包括左眼圖像數據和右眼圖像數據。此外，視頻基本流在頭部部分的用戶數據區域中包含重疊信息的數據和視差信息，以便可由用戶數據標識信息來識別。然后，由立體圖像數據獲取單元從上述視頻基本流的有效載荷部分獲取立體圖像數據。此外，由重疊信息數據獲取單元從上述視頻基本流的頭部部分的用戶數據區域獲取重疊信息的數據。此外，由視差信息獲取單元從上述視頻基本流的頭部部分的用戶數據區域獲取視差信息。如上所述，重疊信息的數據和視差信息包括在用戶數據區域中，以便可由用戶數據標識信息來識別。因此，可以與重疊信息的數據一起，基于用戶數據標識信息從用戶數據區域順利地獲取視差信息。左眼圖像數據、右眼圖像數據、重疊信息的數據和視差信息由圖像數據處理單元使用，將視差賦予要重疊在左眼圖像和右眼圖像上的相同的重疊信息，并且獲得已經重疊了重疊信息的左眼圖像的數據和已經重疊了重疊信息的右眼圖像的數據。以這種方式，在本發明中，使用適于重疊信息的視差信息，可以將適當的視差賦予要重疊在左眼圖像和右眼圖像上的重疊信息(如，閉路字幕信息或字幕信息)。因此，在重疊信息的顯示中，可以將重疊信息與圖像中每一個對象之間的透視的一致性保持到最佳狀態。此外，本發明的另一個構思在于一種立體圖像數據發送設備，包括立體圖像數據輸出單元，輸出包括左眼圖像數據和右眼圖像數據的立體圖像數據；視差信息輸出單元，輸出用于通過移位要重疊在基于左眼圖像數據和右眼圖像數據的圖像上的重疊信息而賦予視差的視差信息；以及發送單元，發送從所述立體圖像數據輸出單元輸出的所述立體圖像數據以及從所述視差信息輸出單元輸出的所述視差信息，其中所述視差信息已經添加了移位目標指定信息，其在要重疊在基于所述左眼圖像數據的圖像上的重疊信息和要重疊在基于右眼圖像數據的圖像上的重疊信息之中，指定要基于所述視差信息移位的重疊信息。在本發明中，由立體圖像數據輸出單元來輸出包括左眼圖像數據和右眼圖像數據的立體圖像數據。此外，由視差信息輸出單元輸出通過移位要重疊在基于左眼圖像數據和右眼圖像數據的圖像上的重疊信息來賦予視差的視差信息。這里，重疊信息意味著要重疊在圖像上的信息，如用于顯示字幕的閉路字幕信息或字幕信息。然后，由發送單元發送從立體圖像輸出單元輸出的立體圖像數據和從視差信息輸出單元輸出的視差信息。以這種方式，要與立體圖像數據一起發送的視差信息已經添加了移位目標指定信息，其在要重疊在基于左眼圖像數據的圖像上的重疊信息和要重疊在基于右眼圖像數據的圖像上的重疊信息之中，指定要基于視差信息移位的重疊信息。以這種方式，在本發明中，與用于顯示立體圖像的左眼圖像數據和右眼圖像數據一起發送視差信息。因此，在接收側，使用視差信息，可以將適當的視差賦予要重疊在左眼圖像和右眼圖像上的相同的重疊信息(如，閉路字幕信息或字幕信息)。因此，在重疊信息的顯示中，可以將重疊信息與圖像中的每一個對象之間的透視的一致性維持到最佳狀態。此外，在本發明中，接收到的視差信息已經添加了移位目標指定信息。因此，在接收側，通過移位目標指定信息，可以僅移位要重疊在左眼圖像上的重疊信息，僅移位要重疊在右眼圖像上的重疊信息，或者移位要重疊在左眼圖像和右眼圖像二者上的重疊信息。此外，本發明的另一個構思在于一種立體圖像數據接收設備，包括接收單元，接收包括左眼圖像數據和右眼圖像數據的立體圖像數據，以及通過移位要重疊在基于左眼圖像數據和右眼圖像數據的圖像上的重疊信息而賦予視差的視差信息；
所述視差信息已經添加了移位目標指定信息，其在要重疊在基于所述左眼圖像數據的圖像上的重疊信息和要重疊在基于右眼圖像數據的圖像上的重疊信息之中，指定要基于所述視差信息移位的重疊信息；以及圖像數據處理單元，使用由所述接收單元接收到的所述立體圖像數據中包括的左眼圖像數據和右眼圖像數據、由所述接收單元接收到的所述視差信息以及添加到所述視差信息的所述移位目標指定信息，將視差賦予要重疊在左眼圖像和右眼圖像上的相同重疊信息，并獲得已經重疊了重疊信息的左眼圖像的數據和已經重疊了重疊信息的右眼圖像的數據。 在本發明中，由接收單元接收包括左眼圖像數據和右眼圖像數據的立體圖像數據以及視差信息。將視差信息設計為通過移位要重疊在基于左眼圖像數據和右眼圖像數據的圖像上的重疊信息而賦予視差。視差信息已經添加了移位目標指定信息，其在要重疊在基于所述左眼圖像數據的圖像上的重疊信息和要重疊在基于右眼圖像數據的圖像上的重疊信息之中，指定要基于所述視差信息移位的重疊信息。由圖像數據處理單元使用左眼圖像數據、右眼圖像數據和視差信息，將視差賦予要重疊在左眼圖像和右眼圖像上的相同的重疊信息，并且獲得已經重疊了重疊信息的左眼圖像的數據和已經重疊了重疊信息的右眼圖像的數據。在這種情況下，基于移位目標指定信息，僅執行要重疊在左眼圖像上的重疊信息的移位、要重疊在右眼圖像上的重疊信息的移位或要重疊在左眼圖像和右眼圖像二者上的重疊信息的移位。以這種方式，在本發明中，使用適合重疊信息的視差信息(具有移位目標指定信息)，可以將適當的視差賦予要重疊在左眼圖像和右眼圖像上的重疊信息(如，閉路字幕信息或字幕信息)。因此，在重疊信息的顯示中，可以將重疊信息與圖像中的每一個對象之間的透視的一致性維持到最佳狀態。此外，本發明的另一個構思在于一種立體圖像數據發送設備，包括立體圖像數據輸出單元，輸出包括左眼圖像數據和右眼圖像數據的立體圖像數據；視差信息輸出單元，輸出用于通過移位要重疊在基于左眼圖像數據和右眼圖像數據的圖像上的重疊信息而賦予視差的視差信息；以及發送單元，發送從所述立體圖像數據輸出單元輸出的所述立體圖像數據以及從所述視差信息輸出單元輸出的所述視差信息，其中所述視差信息是在預定數量幀的時間段期間各個幀中順序更新的視差信息， 在所述預定數量幀的時間段期間顯示所述重疊信息。在本發明中，由立體圖像數據輸出單元輸出包括左眼圖像數據和右眼圖像數據的立體圖像數據。此外，由視差信息輸出單元輸出通過移位要重疊在基于左眼圖像數據和右眼圖像數據的圖像上的重疊信息而賦予視差的視差信息。這里，重疊信息意味著要重疊在圖像上的信息，如用于顯示字幕的閉路字幕信息或字幕信息。然后，由發送單元發送從立體圖像數據輸出單元輸出的立體圖像數據和從視差信息輸出單元輸出的視差信息。以這種方式，與立體圖像數據一起發送的視差信息用作在預定數量幀的時間段期間在各個幀中順序更新的視差信息，在所述預定數量幀的時間段期間
顯示重疊信息。
以這種方式，與用于顯示立體圖像的左眼圖像數據和右眼圖像數據一起發送視差信息。因此，在接收側，使用視差信息，可以將適當的視差賦予要重疊在左眼圖像和右眼圖像上的相同的重疊信息(如，閉路字幕信息或字幕信息)。因此，在重疊信息的顯示中，可以將重疊信息與圖像中每一個對象之間的透視的一致性維持到最佳狀態。此外，在本發明中，接收到的視差信息用作在預定數量幀的時間段期間在各個幀中順序更新的視差信息，在預定數量幀的時間段期間顯示重疊信息。因此，在接收側，使用在預定數量幀的時間段期間各個幀中順序更新的視差信息，可以將視差賦予重疊信息，在預定數量幀的時間段期間顯示重疊信息。因此，可以根據圖像內容的變化來動態地改變要賦予重疊信息的視差。在本發明中，例如，在各個幀中順序更新的視差信息可以包括預定數量幀的時間段期間有關第一幀的視差信息、以及有關第二幀和接下來的幀相對于有關之前幀的視差信息的偏移信息。在這種情況下，可以抑制視差信息的數據量。此外，本發明的另一個構思在于一種立體圖像數據接收設備，包括接收單元，接收包括左眼圖像數據和右眼圖像數據的立體圖像數據，以及通過移位要重疊在基于左眼圖像數據和右眼圖像數據的圖像上的重疊信息而賦予視差的視差信息 所述視差信息是在預定數量幀的時間段期間各個幀中順序更新的視差信息，在所述預定數量幀的時間段期間顯示所述重疊信息；以及圖像數據處理單元，使用由所述接收單元接收到的所述立體圖像數據中包括的左眼圖像數據和右眼圖像數據和由所述接收單元接收到的所述視差信息，將視差賦予要重疊在左眼圖像和右眼圖像上的相同重疊信息，并獲得已經重疊了重疊信息的左眼圖像的數據和已經重疊了重疊信息的右眼圖像的數據。在本發明中，由接收單元接收包括左眼圖像數據和右眼圖像數據的立體圖像數據以及視差信息。將視差信息設計為通過移位要重疊在基于左眼圖像數據和右眼圖像數據的圖像上的重疊信息而賦予視差。視差信息用作預定數量幀的時間段期間各個幀中順序更新的視差信息，在預定數量幀的時間段期間顯示重疊信息。由圖像數據處理單元使用左眼圖像數據、右眼圖像數據和視差信息，將視差賦予要重疊在左眼圖像和右眼圖像上的相同的重疊信息，并且獲得已經重疊了重疊信息的左眼圖像的數據和已經重疊了重疊信息的右眼圖像的數據。以這種方式，在本發明中，使用適于重疊信息的視差信息(具有移位目標指定信息)，可以將適當的視差賦予要重疊在左眼圖像和右眼圖像上的重疊信息(如，閉路字幕信息或字幕信息)。因此，在重疊信息的顯示中，可以將重疊信息與圖像中的每一個對象之間的透視的一致性維持到最佳狀態。此外，在本發明中，使用在預定數量幀的時間段期間各個幀中順序更新的視差信息，可以將視差賦予重疊信息，在所述預定數量幀的時間段期間顯示所述重疊信息。因此，可以根據圖像內容的變化來動態地改變要賦予重疊信息的視差。此外，本發明的另一個構思在于一種立體圖像數據發送設備，包括立體圖像數據輸出單元，輸出包括左眼圖像數據和右眼圖像數據的立體圖像數據；視差信息輸出單元，輸出用于通過移位要重疊在基于左眼圖像數據和右眼圖像數據的圖像上的重疊信息而賦予視差的視差信息；以及發送單元，發送從所述立體圖像數據輸出單元輸出的所述立體圖像數據以及從所述視差信息輸出單元輸出的所述視差信息，其中所述視差信息是在預定數量幀的時間段期間各個幀中共同使用的視差信息， 在所述預定數量幀的時間段期間顯示所述重疊信息，以及其中所述視差信息已經添加了指示各個幀中共同使用的視差信息或各個幀中順序更新的視差信息的信息。在本發明中，由立體圖像數據輸出單元輸出包括左眼圖像數據和右眼圖像數據的立體圖像數據。此外，由視差信息輸出單元輸出用于通過移位要重疊在基于左眼圖像數據和右眼圖像數據的圖像上的重疊信息而賦予視差的視差信息。這里，重疊信息意味著要重疊在圖像上的信息，如用于顯示字幕的閉路字幕信息或字幕信息。然后，由發送單元發送從立體圖像數據輸出單元輸出的立體圖像數據以及從視差信息輸出單元輸出的視差信息。以這種方式，與立體圖像數據一起發送的視差信息用作預定數量幀的時間段期間各個幀中共同使用的視差信息，在預定數量幀的時間段期間顯示重
疊信息。以這種方式，在本發明中，與用于顯示立體圖像數據的左眼圖像數據和右眼圖像數據一起發送視差信息。因此，在接收側，使用視差信息，將適當的視差賦予要重疊在左眼圖像和右眼圖像上的相同的重疊信息(如，閉路字幕信息或字幕信息)。因此，在重疊信息的顯示中，可以將重疊信息與圖像中每一個對象之間的透視的一致性維持到最佳狀態。此外，在本發明中，接收到的視差信息用作預定數量幀的時間段期間各個幀中共同使用的視差信息，在預定數量幀的時間段期間顯示重疊信息。因此，可以極大地抑制視差信息的數據量。此外，本發明的另一個構思在于一種立體圖像數據接收設備，包括接收單元，接收包括左眼圖像數據和右眼圖像數據的立體圖像數據，以及通過移位要重疊在基于左眼圖像數據和右眼圖像數據的圖像上的重疊信息而賦予視差的視差信息 所述視差信息是在預定數量幀的時間段期間各個幀中共同使用的視差信息，在所述預定數量幀的時間段期間顯示所述重疊信息；以及圖像數據處理單元，使用由所述接收單元接收到的所述立體圖像數據中包括的左眼圖像數據和右眼圖像數據和由所述接收單元接收到的所述視差信息，將視差賦予要重疊在左眼圖像和右眼圖像上的相同重疊信息，并獲得已經重疊了重疊信息的左眼圖像的數據和已經重疊了重疊信息的右眼圖像的數據。在本發明中，由接收單元接收包括左眼圖像數據和右眼圖像數據的立體圖像數據以及視差信息。將視差信息設計為通過移位要重疊在基于左眼圖像數據和右眼圖像數據的圖像上的重疊信息而賦予視差。視差信息用作預定數量幀的時間段期間各個幀中共同使用的視差信息，在預定數量幀的時間段期間顯示重疊信息。由圖像數據處理單元使用左眼圖像數據、右眼圖像數據和視差信息，將視差賦予要重疊在左眼圖像和右眼圖像上的相同的重疊信息，并且獲得已經重疊了重疊信息的左眼圖像的數據和已經重疊了重疊信息的右眼圖像的數據。
以這種方式，在本發明中，使用適于重疊信息的視差信息(具有移位目標指定信息)，可以將適當的視差賦予要重疊在左眼圖像和右眼圖像上的重疊信息(如，閉路字幕信息或字幕信息)。因此，在重疊信息的顯示中，可以將重疊信息與圖像中的每一個對象之間的透視的一致性維持到最佳狀態。此外，在本發明中，使用在預定數量幀的時間段期間各個幀中共同使用的視差信息，在所述預定數量幀的時間段期間顯示所述重疊信息。因此，可以減小處理負荷，并且可以抑制存儲視差信息的存儲器的容量。此外，本發明的另一個構思在于一種立體圖像數據發送設備，包括立體圖像數據輸出單元，輸出包括左眼圖像數據和右眼圖像數據的立體圖像數據；視差信息輸出單元，輸出通過移位要重疊在基于左眼圖像數據和右眼圖像數據的圖像上的重疊信息的視差信息；以及發送單元，發送從所述立體圖像數據輸出單元輸出的所述立體圖像數據以及從所述視差信息輸出單元輸出的所述視差信息，其中所述視差信息是在預定數量幀的時間段期間各個幀中共同使用的視差信息， 在所述預定數量幀的時間段期間顯示所述重疊信息，或者是在預定數量幀的時間段期間各個幀中順序更新的視差信息，在所述預定數量幀的時間段期間顯示所述重疊信息，以及其中所述視差信息已經添加了指示各個幀中共同使用的視差信息或各個幀中順序更新的視差信息的標志信息。在本發明中，由立體圖像數據輸出單元輸出包括左眼圖像數據和右眼圖像數據的立體圖像數據。此外，由視差信息輸出單元輸出用于通過移位要重疊在基于左眼圖像數據和右眼圖像數據的圖像上的重疊信息而賦予視差的視差信息。這里，重疊信息意味著要重疊在圖像上的信息，如用于顯示字幕的閉路字幕信息或字幕信息。然后，由發送單元發送從立體圖像數據輸出單元輸出的立體圖像數據以及從視差信息輸出單元輸出的視差信息。以這種方式，與立體圖像數據一起發送的視差信息用作預定數量幀的時間段期間各個幀中共同使用的視差信息，在預定數量幀的時間段期間顯示重疊信息，或者用作預定數量幀的時間段期間各個幀中順序更新的視差信息，在預定數量幀的時間段期間顯示重疊信息。然后，視差信息已經添加了指示預定數量幀的時間段期間各個幀中共同使用的視差信息或預定數量幀的時間段期間各個幀中順序更新的視差信息的標志信息。以這種方式，在本發明中，與用于顯示立體圖像數據的左眼圖像數據和右眼圖像數據一起發送視差信息。因此，在接收側，使用視差信息，將適當的視差賦予要重疊在左眼圖像和右眼圖像上的相同的重疊信息(如，閉路字幕信息或字幕信息)。因此，在重疊信息的顯示中，可以將重疊信息與圖像中每一個對象之間的透視的一致性維持到最佳狀態。此外，在本發明中，可以例如根據圖像的內容選擇性地發送各個幀中共同使用的視差信息或各個幀中順序更新的視差信息。即，在圖像的運動大的情況下，發送各個幀中順序更新的視差信息，并且在接收側，根據圖像內容的變化來動態地改變要賦予重疊信息的視差。此外，在圖像的運動小的情況下，發送各個幀中共同使用的視差信息，因此，允許視差信息的數據量的抑制。此外，本發明的另一個構思在于一種立體圖像數據接收設備，包括
接收單元，接收包括左眼圖像數據和右眼圖像數據的立體圖像數據，以及通過移位要重疊在基于左眼圖像數據和右眼圖像數據的圖像上的重疊信息而賦予視差的視差信息 所述視差信息是在預定數量幀的時間段期間各個幀中共同使用的視差信息，在所述預定數量幀的時間段期間顯示所述重疊信息，或者是在預定數量幀的時間段期間各個幀中順序更新的視差信息，在所述預定數量幀的時間段期間顯示所述重疊信息，以及所述視差信息已經添加了指示各個幀中共同使用的視差信息或者各個幀中順序更新的視差信息的標志信息；以及圖像數據處理單元，使用由所述接收單元接收到的所述立體圖像數據中包括的左眼圖像數據和右眼圖像數據、由所述接收單元接收到的所述視差信息以及添加到所述視差信息的所述標志信息，將視差賦予要重疊在左眼圖像和右眼圖像上的相同重疊信息，并獲得已經重疊了重疊信息的左眼圖像的數據和已經重疊了重疊信息的右眼圖像的數據。在本發明中，由接收單元接收包括左眼圖像數據和右眼圖像數據的立體圖像數據以及視差信息。將視差信息設計為通過移位要重疊在基于左眼圖像數據和右眼圖像數據的圖像上的重疊信息而賦予視差。視差信息用作預定數量幀的時間段期間各個幀中共同使用的視差信息，在預定數量幀的時間段期間顯示重疊信息，或者用作預定數量幀的時間段期間各個幀中順序更新的視差信息，在預定數量幀的時間段期間顯示重疊信息，并且視差信息已經添加了指示各個幀中共同使用的視差信息或各個幀中順序更新的視差信息的標志 fn息ο由圖像數據處理單元使用左眼圖像數據、右眼圖像數據和視差信息，將視差賦予要重疊在左眼圖像和右眼圖像上的相同的重疊信息，并且獲得已經重疊了重疊信息的左眼圖像的數據和已經重疊了重疊信息的右眼圖像的數據。以這種方式，在本發明中，使用適于重疊信息的視差信息，可以將適當的視差賦予要重疊在左眼圖像和右眼圖像上的重疊信息 (如，閉路字幕信息或字幕信息)。因此，在重疊信息的顯示中，可以將重疊信息與圖像中的每一個對象之間的透視的一致性維持到最佳狀態。此外，在本發明中，接收各個幀中共同使用的視差信息或者各個幀中順序更新的視差信息。通過使用標志信息可以確定已經接收了它們中的哪一個。然后，在接收到的視差信息是各個幀中順序更新的視差信息的情況下，可以根據圖像內容的變化動態地改變要賦予重疊信息的視差。此外，在接收到的視差信息是各個幀中共同使用的視差信息的情況下，可以減小處理負荷，并且另外可以抑制存儲視差信息的存儲器的容量。本發明的有益效果根據本發明，使用適于重疊信息而設置的視差信息，可以將適當的視差賦予要重疊在左眼圖像和右眼圖像上的重疊信息(如，閉路字幕信息、字幕信息、圖形信息或文本信息)，并且在重疊信息的顯示中，可以將重疊信息與圖像中每一個對象之間的透視的一致性維持到最佳狀態。


圖1是圖示作為本發明的實施例的立體圖像顯示系統的示例配置的塊圖。圖2是圖示廣播站中的發送數據產生單元的示例配置的塊圖。
圖3是圖示1920X IOSOp像素格式的圖像數據的示圖。圖4包括描述作為立體圖像數據(3D圖像數據)發送方法的“上下(Top & Bottom) ”方法、“并排(Side By Side) ”方法和“幀順序(Frame Sequential) ”方法的示圖。圖5是描述檢測右眼圖像關于左眼圖像的視差矢量的示例的示圖。圖6是用于描述使用塊匹配方法確定視差矢量的示圖。圖7包括圖示視差矢量檢測單元檢測到的、圖像中的預定位置處的視差矢量VV的示例的示圖。圖8是圖示視差矢量的發送內容的示圖。圖9是圖示視差檢測塊示例以及在這種情況下視差矢量的發送內容的示圖。圖10包括圖示檢測和發送視差矢量的定時的示例的示圖。圖11是圖示檢測和發送視差矢量的定時的示例的示圖。圖12是圖示在發送數據產生單元中被多路復用的數據流的示例的示圖。圖13是圖示廣播站中的發送數據產生單元的另一示例配置的塊圖。圖14圖示了在廣播站中的發送數據產生單元中被多路復用的各個流的示例。圖15是圖示廣播站中的發送數據產生單元的另一示例配置的塊圖。圖16圖示了在廣播站中的發送數據產生單元中被多路復用的各個流的示例。圖17包括描述在發送方法為第一發送方法(“上下方法”)的情況下左眼圖形信息和右眼圖形信息的重疊位置等的示圖。圖18包括描述在發送方法為第一發送方法(“上下”方法)的情況下用于產生左眼圖形信息和右眼圖形信息的方法的示圖。圖19包括描述在發送方法為第二發送方法(“并排”方法)的情況下用于產生左眼圖形信息和右眼圖形信息的方法的示圖。圖20是描述在發送方法為第二發送方法(“并排”方法)的情況下用于產生左眼圖形信息和右眼圖形信息的方法的示圖。圖21是圖示廣播站中的發送數據產生單元的另一示例配置的塊圖。圖22是圖示廣播站中的發送數據產生單元的另一示例配置的塊圖。圖23是圖示在基于像素的視差矢量的值用作各個像素的亮度值的情況下的示例圖像的示圖。圖M是圖示基于塊的視差矢量的示例的示圖。圖25包括圖示發送數據產生單元的視差信息集創建單元中執行的小型化處理的示例的示圖。圖沈是圖示圖像上的字幕和應用圖形及其透視的顯示示例的示圖。圖27是描述視差序列ID (Disparity Sequence id)的示圖。圖28是圖示要在情況(1)(僅發送通用視差信息集(在與特定服務沒有關系的情況下))下創建的視差信息集的示例的示圖。圖四是圖示在情況(1)下統一地發送與圖像數據的每一個特定時間段的圖像數據對應的多個視差信息集(封包視差集)的集合等等的示圖。圖30是圖示要在情況(2)(僅發送通用視差信息集(在與特定服務有關系的情況下))下創建的視差信息集的示例的示圖。
圖31是圖示在情況( 下統一地發送與圖像數據的每一個特定時間段的圖像數據對應的多個視差信息集(封包視差集)的集合等等的示圖。圖32是圖示在分量元素ID與視差矢量之間的關聯信息(C0mp0nent_Linked_ Info)的示例的示圖。圖33是圖示在情況( 下統一地發送與圖像數據的每一個特定時間段的圖像數據對應的多個視差信息集(封包視差集)的集合等等的示圖。圖34是圖示在分量元素ID與視差矢量之間的關聯信息(C0mp0nent_Linked_ Info)的示例的示圖。圖35是圖示要在情況(3)(發送通用視差信息集和特定服務使用的視差信息集二者)下創建的視差信息集的示例的示圖。圖36是圖示在情況C3)下統一地發送與圖像數據的每一個特定時間段的圖像數據對應的多個視差信息集(封包視差集)的集合等等的示圖。圖37是圖示在分量元素ID與視差矢量之間的關聯信息(C0mp0nent_Linked_ Info)的示例的示圖。圖38是圖示要在情況(4)(僅發送特定服務使用的視差信息集)下創建的視差信息集的示例的示圖。圖39是圖示在情況(4)下統一地發送與圖像數據的每一個特定時間段的圖像數據對應的多個視差信息集(封包視差集)的集合等等的示圖。圖40是描述在DVB字幕的情況下通過使用基本PID (Elementary_PID)在字幕片段(Subtitle Segment)與視差矢量數據(Disparity Data)之間的關聯性的示圖。圖41是示意性圖示視頻基本流的示例結構的示圖。圖42包括圖示在MPEG2、H. 264AVC和VC-1編碼方法中的用戶數據的示例配置的示圖。圖43是圖示在將視差序列ID(DiSparity_kquence_id)與服務相關聯的視差鏈接描述符(Disparity_Linkage_Descriptor)的示例配置的示圖。圖44是圖示視差鏈接描述符(Disparity_Linkage_Descriptor)的每一條信息的內容的示圖。圖45包括圖示在以將視差信息集插入到圖像數據流的用戶數據區的狀態將其發送到接收側的情況下，以及在以將包括視差信息集的視差矢量基本流(PEQ與其他流多路復用并將其發送到接收側的情況下，PID的示例的示圖。圖46包括圖示添加了 “Disparityjequencejd = 1”的視差信息集與字幕相關聯(鏈接到字幕)的示例、以及添加了 “Disparityjiequencejd = 2”的視差信息集與閉路字幕相關聯(鏈接到閉路字幕)的示例的示圖。圖47是圖示視差信息集與字幕相關聯的情況的示圖。圖48是圖示視差信息集與字幕相關聯的情況的示圖。圖49是圖示視差信息集與閉路字幕相關聯(其中，以將閉路字幕數據插入到圖像數據流的用戶數據區的狀態將其發送到接收側)的情況的示圖。圖50是圖示視差信息集與閉路字幕相關聯(其中，以將閉路字幕數據插入到圖像數據流的用戶數據區的狀態將其發送到接收側)的情況的示圖。
圖51是圖示包括視差信息(Disparityjnformation)的用戶數據的詳細配置的示例的示圖。圖52是圖示視差信息(Disparity_Information)的示例配置的示圖。圖53是圖示視差信息數據(Disparity_Information_Data)中包括的 DSL(Disparity_Information_Link_Information)的配置的示圖。圖54是圖示視差信息數據(Disparity_Information_Data)中包括的 DHI (Disparity_Header_Information)的配置的示圖。圖55是圖示視差信息數據(Disparity_Information_Data)中包括的 DHI (Disparity_Header_Information)的配置的示圖。圖56是圖示視差信息數據(DisparityJnformation_Data)中包括的 DDS(Disparity_Data_Set)的配置的示圖。圖57是圖示DSL、DHI和DDS中每一條信息的內容的示圖。圖58是圖示DSL、DHI和DDS中每一條信息的內容的示圖。圖59是圖示DSL、DHI和DDS中每一條信息的內容的示圖。圖60是圖示DSL、DHI和DDS中每一條信息的內容的示圖。圖61包括描述DHI中包括的信息“Partition(分區)，，的示圖。圖62是圖示廣播站中的發送數據產生單元的另一示例配置的塊圖。圖63是圖示廣播站中的發送數據產生單元的另一示例配置的塊圖。圖64是圖示包括視差信息的用戶數據的詳細配置的示例的示圖。圖65是圖示包括視差信息的用戶數據的詳細配置中的每一條信息的內容的示圖。圖66是圖示視差信息的詳細配置的示例的示圖。圖67是圖示視差信息的詳細配置中的每一條信息的內容的示圖。圖68是圖示視差信息的詳細配置中的每一條信息的內容的示圖。圖69是圖示視差信息的配置中數據量(數據大小)的計算示例的示圖。圖70包括圖示在發送方法是第二發送方法(“并排”方法)的情況下左眼圖形信息和右眼圖形信息的重疊位置的示圖。圖71包括圖示將基于從位流數據提取的、使用傳統方法發送的圖形數據的圖形圖像照原樣重疊在左眼圖像和右眼圖像上的狀態的示圖。圖72包括圖示在時間點TO、Tl、T2和T3處在三個對象位置中的視差矢量(觀察矢量)的示圖。圖73是圖示圖像上的字幕(圖形信息)、以及背景、前景對象和字幕的透視 (perspective)的顯示示例的示圖。圖74包括圖示圖像上的字幕(圖形信息)以及用于顯示字幕的左眼圖形信息LGI 和右眼圖形信息RGI的顯示示例的示圖。圖75包括描述在圖像中的多個位置處檢測到的視差矢量之中，與其重疊位置對應的視差矢量用作視差矢量的示圖。圖76包括描述在圖像中的多個位置處檢測到的視差矢量之中，與其重疊位置對應的視差矢量用作視差矢量的示圖。
圖77包括描述在圖像中的多個位置處檢測到的視差矢量之中，與其重疊位置對應的視差矢量用作視差矢量的示圖。圖78包括圖示在圖像中存在對象A、B和C并且指示每個對象的備注的文本信息被重疊在對象附近的位置上的示圖。圖79是圖示立體圖像顯示系統中包括的機頂盒的示例配置的塊圖。圖80是圖示機頂盒中包括的位流處理單元的示例配置的塊圖。圖81是圖示在以電視顯示器的方向觀看時的左手側的視頻對象具有較大視差矢量VVl的情況下，揚聲器輸出控制的示例的示圖。圖82是圖示從廣播站發送的每一個數據流與視差矢量之間的對應關系的示圖。圖83是圖示從廣播站發送的每一個數據流與視差矢量之間的對應關系的示圖。圖84是圖示從廣播站發送的圖像數據、閉路字幕數據、圖形數據和視差信息集之間的對應關系的示圖。圖85是圖示機頂盒中包括的位流處理單元的另一示例配置的塊圖。圖86是圖示從廣播站發送的每一個數據流與視差矢量之間的對應關系的示圖。圖87是圖示從廣播站發送的每一個數據流與視差矢量之間的對應關系的示圖。圖88是圖示從廣播站發送的每一個數據流與視差矢量之間的對應關系的示圖。圖89是圖示從廣播站發送的圖像數據、閉路字幕數據、圖形數據和視差信息集之間的對應關系的示圖。圖90是圖示機頂盒中包括的位流處理單元的另一示例配置的塊圖。圖91是圖示機頂盒中包括的位流處理單元的另一示例配置的塊圖。圖92是圖示機頂盒中包括的位流處理單元的另一示例配置的塊圖。圖93是基于各個幀中順序更新的視差信息，用于向要重疊在左眼圖像和右眼圖像上的閉路字幕信息賦予視差的處理示例的示圖。圖94是圖示機頂盒的另一示例配置的塊圖。圖95包括圖示在左眼圖像和右眼圖像上字幕信息和圖形信息的重疊示例的示圖。圖96是圖示立體圖像顯示系統中包括的電視接收機的示例配置的塊圖。圖97是圖示HDMI發送單元(HDMI信源)和HDMI接收單元(HDMI信宿)的示例配置的塊圖。圖98是圖示HDMI發送單元中包括的HDMI發送器以及HDMI接收單元中包括的 HDMI接收器的示例配置的塊圖。圖99是圖示TMDS發送數據的示例配置(在發送具有水平方向上1920像素和垂直方向上1080行的圖像數據的情況下)的示圖。圖100是圖示其間連接HDMI線纜的信源裝置和信宿裝置的HDMI端子的引腳陣列 (類型A)的示圖。圖101是圖示E-EDID的示例數據結構的示圖。圖102是圖示廠商專用區域(HDMI廠商專用數據塊)的示例數據結構的示圖。圖103是圖示作為立體圖像數據的一種TMDS發送數據結構的、幀封裝方法(frame packing method)的3D視頻格式的示圖。
圖104是圖示作為立體圖像數據的一種TMDS發送數據結構的、線交替方法(line alternative method)的3D視頻格式的示圖。圖105是圖示作為立體圖像數據的一種TMDS發送數據結構的、并排(全) (side-by-side (Full))方法的3D視頻格式的示圖。圖106是用于將視差矢量與分量元素ID相關聯的另一種方法的示圖。圖107是圖示立體圖像顯示系統的另一示例配置的示圖。圖108是圖示在屏幕上對象的左右圖像的顯示位置與其立體圖像的回放位置之間，利用雙目視差的立體圖像顯示中的關系的示圖。
具體實施例方式以下將描述實現本發明的方式(以下稱為“實施例”)。注意，該描述將按以下順
序給出。1、實施例2、示例改進<1、實施例〉[立體圖像顯示系統的示例配置]圖1圖示了作為實施例的立體圖像顯示系統10的示例配置。立體圖像顯示系統 10包括廣播站100、機頂盒(STB =Set Top Box) 200和電視接收器300。機頂盒200 和電視接收器 300 經由 HDMI (High Definition Multimedia Interface,高清多媒體接口)線纜400相互連接。機頂盒200提供有HDMI端子202。電視接收器300提供有HDMI端子302。HDMI線纜400的一端連接到機頂盒200的HDMI端子 202，而HDMI線纜400的另一端連接到電視接收器300的HDMI端子302。[廣播站的描述]廣播站100發送在廣播波上攜帶的位流數據。位流數據包含包括左眼圖像數據和右眼圖像數據的立體圖像數據、音頻數據和重疊信息數據，并且還包含視差信息(視差矢量)等。這里，重疊信息數據是閉路字幕(closed caption)數據、字幕數據、圖形數據、文本數據等。[發送數據產生單元的示例配置]圖2圖示產生上述位流數據的廣播站100中的發送數據產生單元110的示例配置。這個示例配置是發送視差矢量作為數字信息的示例。發送數據產生單元110包括相機 IllL和111R、視頻成幀單元112、視頻編碼器113、視差矢量檢測單元114和視差矢量編碼器 115。此外，發送數據產生單元110包括麥克風116、音頻編碼器117、字幕/圖形生成單元118、字幕/圖形編碼器119、文本產生單元120、文本編碼器121和多路復用器122。注意，在本實施例中，假設文本產生單元120還將用作閉路字幕數據產生單元。閉路字幕數據是用于閉路字幕的字幕顯示的文本數據。相機IllL拍攝左眼圖像以獲得用于立體圖像顯示的左眼圖像數據。相機IllR拍攝右眼圖像以獲得用于立體圖像顯示的右眼圖像數據。視頻成幀單元112將由相機IllL 獲得的左眼圖像數據以及由相機IllR獲得的右眼圖像數據修改并處理成根據發送方法的狀態。[立體圖像數據的發送方法的示例]盡管這里給出如下第一至第三方法作為立體圖像數據(3D圖像數據)的發送方法，但可以使用任意其他發送方法。這里如圖3所示，將就這樣的情況給出描述左眼(L) 和右眼(R)的每個圖像數據是具有確定的分辨率(例如，作為示例，1920X1080p的像素格式)的圖像數據。第一發送方法是“上下”方法，如圖4中的(a)所示，其是這樣的方法在垂直方向的上一半中發送左眼圖像數據的每一行的數據，而在垂直方向的下一半中發送右眼圖像數據的每一行的數據。在這種情況下，由于左眼圖像數據和右眼圖像數據的行被抽減 (decimate)到1/2，所以垂直分辨率為原始信號的分辨率的一半。第二發送方法是“并排”方法，如圖4中的(b)所示，其是這樣的方法在水平方向的前一半中發送左眼圖像數據的每一行的數據，而在水平方向的后一半中發送右眼圖像數據的每一行的數據。在這種情況下，左眼圖像數據和右眼圖像數據中的每一個在水平方向上的像素數據被抽減到1/2。水平分辨率為當前信號的一半。第三發送方法是“幀順序”方法，如圖4中的(C)所示，其是這樣的方法在每一場順序切換左眼圖像數據和右眼圖像數據的同時，發送左眼圖像數據和右眼圖像數據。返回圖2，視頻編碼器113對于由視頻成幀單元112修改并處理的立體圖像數據使用MPEG4-AVC、MPEG2、VC-I等執行編碼，以獲得編碼視頻數據。此外，視頻編碼器113在其后級包括流格式器113a。流格式器113a允許產生視頻的基本流，所述視頻的基本流在有效載荷部分中包括編碼視頻數據。視差矢量檢測單元114基于左眼圖像數據和右眼圖像數據檢測視差矢量，該視差矢量是圖像中預定位置處關于左眼圖像和右眼圖像之一相對于另一個的視差信息。這里， 圖像中的預定位置包括所有像素位置、多個像素形成的每一個區域的代表性位置、要重疊重疊信息(這里為圖形信息或文本信息)的區域的代表性位置等。[視差矢量的檢測]將描述視差矢量的檢測示例。這里，將給出對于檢測右眼圖像關于左眼圖像的視差矢量的示例的描述。如圖5所示，假設左眼圖像是檢測圖像，而右眼圖像是參考圖像。在這個示例中，檢測位置(xi,yi)和(xj,yj)處的視差矢量。通過示例，將描述檢測位置(xi，yi)處的視差矢量的情況。在這種情況下，例如， 在左眼圖像中設置左上像素處于位置(xi，yi)的8X8或16X16像素塊(視差檢測塊)Bi。 然后，在右眼圖像中，搜索匹配像素塊Bi的像素塊。在這種情況下，在右眼圖像中，設置以位置(xi，yi)作為中心的搜索范圍，并且例如，通過使用搜索范圍中的每個像素作為感興趣像素來順序地設置與上述像素塊Bi類似的8X8或16X16對照塊。對于每一個對應像素，確定在像素塊Bi與順序設置的每一個對照塊之間的絕對差值的總和。這里，如圖6所圖示，當像素塊Bi的像素值由L(x，y)表示，并且對照塊的像素值由R(x，y)表示時，像素塊Bi與某個對照塊之間的絕對差值的總和由Σ L(χ,y)-R(χ, y) I表示。當在右眼圖像中設置的搜索范圍包括η個像素時，最終確定η個總和Sl至Sn，并且選擇它們之中的最小總和Smin。然后，獲得對其獲得了總和Smin的對照塊的左上像素的位置(xi'，yi')。從而，以諸如(xi' -xi, yi' -yi)的方式檢測位置(xi，yi)處的視差矢量。雖然省略了詳細描述，但通過在左眼圖像中設置例如左上像素處于位置(xj，yj) 的8X8或16X16像素塊Bj，同樣使用類似的處理步驟檢測位置(xj，yj)處的視差矢量。圖7(a)圖示圖像中的預定位置處的視差矢量VV(其由視差矢量檢測單元114檢測)的示例。這種情況意味著如圖7(b)所示，在圖像中的預定位置處，由視差矢量VV移位的左眼圖像(檢測圖像)交迭右眼圖像(參考圖像)。回來參考圖2，視差矢量編碼器115產生視差矢量基本流(包括由視差矢量檢測單元114等檢測到的視差矢量)。這里，視差矢量的基本流包括下列內容。S卩，將ID(ID_ Block)、垂直位置信息(Vertical_Position)、水平位置信息(Horizontal_Position)和視差矢量(VieW_Vect0r)設置為一個集合。然后，將這個集合重復N(其數量等于視差檢測塊的數量)次。圖8圖示了視差矢量的發送內容。視差矢量包括垂直方向分量(VieW_VeCtor_ Vertical)和水平方向分量(View_Vector_Horizontal)。注意，視差檢測塊的垂直和水平位置是從圖像的左上原點到該塊的左上像素在垂直方向和水平方向上的偏移值。向每一個視差矢量的發送分配視差檢測塊的ID，以便確保到要在圖像上重疊和顯示的重疊信息(諸如閉路字幕信息、字幕信息、圖形信息或文本信息)的圖案的鏈接。注意，在圖8的示例中，水平和垂直視差矢量(視差信息)由16位信息表示。然而，視差矢量(視差信息)的位數不限于16位。根據顯示尺寸、要給出的視差等，可以使用下面所述的適當的位數(如，8位)。例如，如圖9(a)所示，當存在視差檢測塊A至F時，如圖9 (b)所示，發送內容包括視差檢測塊A至F的ID、垂直和水平位置信息和視差矢量。例如，在圖9(b)中，對于視差檢測塊A，ID2指示視差檢測塊A的ID，(Ha, Va)指示視差檢測塊A的垂直和水平位置信息， 而視差矢量a指示視差檢測塊A的視差矢量。這里，將描述檢測和發送視差矢量的定時。關于該定時，例如，可以想到下列第一至第四示例。在第一示例中，如圖10(a)所示，該定時與畫面的編碼同步。在這種情況下，以畫面為單位發送視差矢量。畫面的單位是用于視差矢量發送的最小單位。在第二示例中，如圖10(b)所示，該定時與視頻場景同步。在這種情況下，以場景為單位發送視差矢量。在第三示例中，如圖10(c)所示，該定時與編碼視頻的I-畫面(內畫面)或 GOP(畫面組)同步。在第四示例中，如圖11所示，該定時與要在圖像上重疊和顯示的字幕信息、圖形信息、文本信息等的顯示開始的定時同步。返回圖2，麥克風116檢測與使用相機IllL和IllR拍攝的圖像對應的音頻，并獲得音頻數據。音頻編碼器117對由麥克風116獲得的音頻數據使用MPEG-2音頻AAC等執行編碼，并產生音頻基本流。字幕/圖形生成單元118生成要重疊在圖像上的字幕信息或圖形信息的數據(字幕數據、圖形數據)。字幕信息例如是字幕。除此而外，圖形信息例如是徽標(logo)等。字幕數據和圖形數據是位圖數據。字幕數據和圖形數據被添加了指示在圖像上的重疊位置的空閑(idling)偏移信息。
該空閑偏移信息指示例如在垂直方向和水平方向上從圖像的左上原點到字幕信息或圖形圖像的重疊位置的左上像素的偏移值。注意，已經通過使用DVB(其為歐洲數字廣播標準)將用以將字幕數據作為位圖數據發送的標準標準化為DVB_Subtitling，并且操作所述標準。字幕/圖形編碼器119接收由字幕/圖形生成單元118生成的字幕信息和圖形信息的數據(字幕數據、圖形數據)作為輸入。然后，字幕/圖形編碼器119產生在有效載荷部分中包括這些數據的基本流。文本生成單元120生成要重疊在圖像上的文本信息的數據(文本數據)。文本信息例如是電子節目指南、電視文字廣播的內容等。與上述圖形數據類似地，文本數據被添加了指示在圖像上的重疊位置的空閑偏移信息。該空閑偏移信息指示例如在垂直方向和水平方向上從圖像的左上原點到文本信息的重疊位置的左上像素的偏移值。注意，文本數據的發送的示例包括作為節目預約操作的EPG以及作為美國數字陸路標準的ATSC的CC_數據 (閉路字幕)。文本編碼器121接收由文本生成單元120生成的文本數據作為輸入。然后，文本編碼器121產生在有效載荷部分中包括這些數據的基本流。多路復用器122多路復用從編碼器113、115、117、119和121輸出的分包基本流。 然后，多路復用器122輸出作為發送數據的位流數據(傳送流)BSD。將簡要地描述在圖2中所示的發送數據產生單元110的操作。在相機IllL中，拍攝左眼圖像。將用于立體圖像顯示的、由相機IllL獲得的左眼圖像數據供應到視頻成幀單元112。此外，在相機IllR中，拍攝右眼圖像。將用于立體圖像顯示的、由相機IllR獲得的右眼圖像數據供應到視頻成幀單元112。在視頻成幀單元112中，將左眼圖像數據和右眼圖像數據修改和處理為根據發送方法的狀態，并且獲得立體圖像數據(參看圖4(a)至4(c))。將由視頻成幀單元112獲得的立體圖像數據供應到視頻編碼器113。在視頻編碼器113中，對立體圖像數據執行使用MPEG4-AVC、MPEG2、VC-1等的編碼，并產生包括編碼視頻數據的視頻基本流。將該視頻基本流供應到多路復用器122。此外，通過視頻成幀單元112將由相機IllL和IllR獲得的左眼圖像數據和右眼圖像數據供應到視差矢量檢測單元114。在視差矢量檢測單元114中，基于左眼圖像數據和右眼圖像數據，將視差檢測塊設置為圖像中的預定位置，并檢測作為關于左眼圖像和右眼圖像之一相對于另一個的視差信息的視差矢量。將由視差矢量檢測單元114檢測到的、圖像中的預定位置處的視差矢量供應到視差矢量編碼器115。在這種情況下，視差檢測塊的ID、視差檢測塊的垂直位置信息、視差檢測塊的水平位置信息和視差矢量被作為一個集合而傳遞。在視差矢量編碼器115中，產生包括視差矢量的發送內容的視差矢量基本流(參看圖8)。將視差矢量基本流供應到多路復用^1 122 ο此外，在麥克風116中，檢測與使用相機11IL和IllR拍攝的圖像對應的音頻。將由麥克風116獲得的音頻數據供應到音頻編碼器117。在音頻編碼器117中，對于音頻數據執行使用MPEG-2音頻AAC等的編碼，并且產生包括編碼音頻數據的音頻基本流。將音頻基本流供應到多路復用器122。此外，在字幕/圖形生成單元118，生成要在圖像上重疊的字幕信息或圖形信息的數據(字幕數據、圖形數據)。將這種數據(位圖數據)供應到字幕/圖形編碼器119。字幕/圖形數據被添加了指示在圖像上的重疊位置的空閑偏移信息。在字幕/圖形編碼器 119中，對于圖形數據執行預定編碼，并且產生包括編碼數據的基本流。將該基本流供應到多路復用器122。此外，在文本生成單元120中，生成要在圖像上重疊的文本信息的數據(文本數據)。將文本數據供應到文本編碼器121。與上述圖形數據類似地，文本數據被添加了指示在圖像上的重疊位置的空閑偏移信息。在文本編碼器121中，對于文本數據執行預定編碼， 并且產生包括編碼數據的基本流。將該基本流供應到多路復用器122。在多路復用器122中，多路復用從相應編碼器供應的基本流的包，并獲得用作發送數據的位流數據(傳送流)BSD。圖12圖示了在圖2中所示的發送數據產生單元110中被多路復用的相應數據流的示例。注意，這個示例指示了以視頻場景為單位檢測并發送視差矢量的情況(參看圖10 中的(b))。注意，用于同步顯示的時間戳被添加到每一個流的包，并且在接收側，可以控制在圖像上重疊字幕信息、圖形信息、文本信息等的定時。“發送數據產生單元的另一示例配置”注意，在上述圖2中圖示的發送數據產生單元110被配置為將視差矢量的發送內容(參看圖8)發送到接收側作為獨立基本流。然而，也可以想到，通過嵌入另一流的狀態來發送視差矢量的發送內容。例如，通過嵌入作為用戶數據的視頻流的狀態來發送視差矢量的發送內容。此外，例如，通過嵌入字幕、圖形或文本的流的狀態來發送視差矢量的發送內容。圖13圖示發送數據產生單元IlOA的示例配置。這個示例也是發送視差矢量作為數字信息的示例。發送數據產生單元IlOA被配置為通過將視差矢量的發送內容嵌入作為用戶數據的視頻流的狀態來發送該視差矢量的發送內容。在圖13中，與圖2中的這些對應的部分被分配了同樣的附圖標記，并且省略了其詳細描述。在發送數據產生單元IlOA中，將由視差矢量檢測單元114檢測到的、圖像中預定位置處的視差矢量供應到視頻編碼器113中的流格式器113a。在這種情況下，視差檢測塊的ID、視差檢測塊的垂直位置信息、視差檢測塊的水平位置信息和視差矢量作為一個集合被傳遞。在流格式器113a中，將視差矢量的發送內容(參看圖8)嵌入作為用戶數據的視頻流。雖然省略了詳細描述，但是在圖13中圖示的發送數據產生單元IlOA的其他組件以與在圖2中圖示的發送數據產生單元110相同的方式配置。圖14圖示在圖13中所示的發送數據產生單元IlOA中多路復用的圖像數據流、字幕或圖形數據流和文本數據流的示例。通過嵌入圖像數據流的狀態來發送視差矢量(視差“發送數據產生單元的另一示例配置”圖15圖示了發送數據產生單元IlOB的示例配置。該示例也是發送視差矢量作為數字信息的示例。發送數據產生單元IlOB被配置為通過將視差矢量的發送內容嵌入字幕或圖形數據流的狀態來發送該視差矢量的發送內容。在圖15中，對應于圖2的部分被分配了同樣的附圖標記，并且省略了其詳細描述。
在發送數據產生單元IlOB中，將由視差矢量檢測單元114檢測到的圖像中預定位置處的視差矢量供應到字幕/圖形編碼器119中的流格式器119a。在這種情況下，視差檢測塊的ID、視差檢測塊的垂直位置信息、視差檢測塊的水平位置信息和視差矢量作為一個集合被傳遞。在流格式器119a中，將視差矢量的發送內容(參見圖8)嵌入字幕或圖形數據流。雖然省略了詳細描述，但是在圖15中圖示的發送數據產生單元IlOB的其他組件以與在圖2中圖示的發送數據產生單元110相同的方式配置，并且以類似的方式操作。圖16圖示了在圖15中所示的發送數據產生單元IlOB中多路復用的圖像數據流、 字幕或圖形數據流和文本數據流的示例。通過將視差矢量(視差信息)嵌入字幕或圖形數據流的狀態來發送該視差矢量。“發送數據產生單元的另一示例配置”此外，圖2、圖13和圖15中所示的以上發送數據產生單元110U10A和IlOB發送
視差矢量作為數字信息(參見圖8)。然而，代替發送視差矢量作為數字信息，也可以想到， 在預先將視差信息反映在要重疊在圖像上的重疊信息(如，字幕信息、圖形信息或文本信息)的數據中的同時，在發送側發送視差信息。例如，在圖形信息的數據中反映視差信息的情況下，在發送側產生與要重疊在左眼圖像上的左眼圖形信息和要重疊在右眼圖像上的右眼圖形信息兩者對應的圖形數據。在這種情況下，左眼圖形信息和右眼圖形信息是同樣的圖形信息。然而，例如，圖像中右眼圖形信息的顯示位置被配置為在水平方向上移動與相對于左眼圖形信息的顯示位置對應的視差矢量的水平方向分量。例如，在圖像中多個位置處檢測到的視差矢量之中，使用與其重疊位置對應的視差矢量作為視差矢量。此外，例如，在圖像中多個位置處檢測到的視差矢量之中，使用就透視而言被辨認為最近的位置處的視差矢量作為視差矢量。注意，雖然省略了詳細描述，但在字幕信息或圖形信息的數據中反映視差信息的情況下同樣如此。圖17(a)圖示在發送方法為上述第一發送方法(“上下”方法)的情況下左眼圖形信息和右眼圖形信息的重疊位置。左眼圖形信息和右眼圖形信息為同一信息。然而，要被重疊在右眼圖像頂上的右眼圖形信息RGI被配置為處于相對于要重疊在左眼圖像IL上的左眼圖形信息LGI在水平方向上移位了視差矢量的水平方向分量VVT的位置處。如圖17(a)所示，產生圖形數據以便將圖形信息LGI和RGI分別重疊在圖像IL和頂上。從而，如圖17 (b)所示，觀察者可以通過使用視差，與圖像IL和頂一起觀察圖形信息LGI和RGI，并且還能夠識別出圖形信息的透視。例如，如圖18(a)所示，產生圖形信息LGI和RGI的圖形數據作為單一區域的數據。在這種情況下，可以將圖形信息LGI和RGI以外的部分的數據產生為透明數據。此外， 例如，如圖18(b)所示，將圖形信息LGI和RGI的圖形數據產生為不同區域的數據。圖19(a)圖示在發送方法為上述第二發送方法(“并排”方法)的情況下左眼圖形信息和右眼圖形信息的重疊位置。左眼圖形信息和右眼圖形信息為同一信息。然而，要重疊在右眼圖像頂上的右眼圖形信息RGI被配置為處于相對于要重疊在左眼圖像IL上的左眼圖形信息LGI在水平方向上移位了視差矢量的水平方向分量VVT的位置處。注意，IT 是空閑偏移值。
產生圖形數據，以便如圖19(a)所示，將圖形信息LGI和RGI分別重疊在圖像IL 和IR上。從而，如圖19(b)所示，觀察者可以通過使用視差，與圖像IL和頂一起觀察圖形信息LGI和RGI，并且還能夠識別出圖形信息的透視。例如，如圖20所示，將圖形信息LGI和RGI的圖形數據產生為單一區域的數據。在這種情況下，可以將在圖形信息LGI和RGI以外的部分的數據產生為透明數據。圖21圖示發送數據產生單元IlOC的示例配置。該發送數據產生單元IlOC被配置為在將視差信息反映在重疊信息(如，閉路字幕信息、字幕信息、圖形信息或文本信息) 的數據中的同時，發送視差信息。在圖21中，與圖2中的那些組件對應的組件被分配了相同的附圖標記，其詳細描述將被省略。在發送數據產生單元1IOC中，在字幕/圖形生成單元118與字幕/圖形編碼器119 之間插入字幕/圖形處理單元124。此外，在發送數據產生單元IlOC中，在文本生成單元 120與文本編碼器121之間插入文本處理單元125。然后，將由視差矢量檢測單元114檢測到的、圖像中預定位置處的視差矢量供應到字幕/圖形處理單元1 和文本處理單元125。在字幕/圖形處理單元124中，產生要重疊在左眼圖像IL和右眼圖像頂上的左眼和右眼字幕或圖形信息項LGI和RGI的數據。在這種情況下，基于由字幕/圖形生成單元118生成的字幕數據或圖形數據產生字幕或圖形信息項。左眼和右眼字幕信息項或圖形信息項是相同的信息。然而，例如，圖像中右眼字幕信息或圖形信息的重疊位置被配置為相對于左眼字幕信息或圖形信息在水平方向上移位了視差矢量的水平方向分量VVT(參看圖 17(a)和圖 19(a))。將以這種方式由字幕/圖形處理單元IM產生的字幕數據或圖形數據供應到字幕 /圖形編碼器119。注意，字幕數據或圖形數據添加有指示圖像上的重疊位置的空閑偏移信息。在字幕和圖形編碼器119中，產生由字幕/圖形處理單元IM產生的字幕數據或圖形數據的基本流。此外，在文本處理單元125中，基于由文本生成單元120生成的文本數據，產生要重疊在左眼圖像上的左眼文本信息的數據以及要重疊在右眼圖像上的右眼文本信息的數據。在這種情況下，左眼文本信息和右眼文本信息為同一文本信息。但是，例如，圖像中的右眼文本信息的重疊位置被配置為相對于左眼文本信息在水平方向上移位了視差矢量的水平方向分量VVT。將以這種方式由文本處理單元125產生的文本數據供應到文本編碼器121。注意， 文本數據添加有指示圖像上的重疊位置的空閑偏移信息。在文本編碼器121中，產生由文本處理單元產生的文本數據的基本流。盡管將省略詳細描述，但是圖21中所示的發送數據產生單元IlOC的其他組件以與圖2中所示的發送數據產生單元110相同的方式配置。“發送數據產生單元的另一示例配置”在圖2、圖13和圖15中所示的發送數據產生單元110、110A和IlOB中，在視差矢量檢測單元114中，基于左眼圖像數據和右眼圖像數據，檢測圖像中預定位置處的視差矢量(視差信息)。發送數據產生單元110U10A和IlOB被配置為將由視差矢量檢測單元114 檢測到的、圖像中預定位置處的視差信息原樣發送到接收側。然而，例如，可以想到的是，對于以與圖像數據相關聯的方式在數據記錄介質中記錄的基于像素的視差矢量執行小型化處理，并且創建包括屬于通過將屏幕分割為預定尺寸而獲得的一個或多個區域的視差信息的視差信息集。在這種情況下，例如，基于接收側的要求(如，視差矢量的空間密度或發送帶)，選擇每一個區域的尺寸。此外，考慮將通用視差信息集和特定服務使用的視差信息集用作視差信息集。特定服務使用的示例包括閉路字幕用途和字幕用途。然后，對于要發送到接收側的視差信息集，可以考慮如下情況。(1)僅發送通用視差信息集(在與特定服務沒有關系的情況下)(2)僅發送通用視差信息集(在與特定服務有關系的情況下)(3)發送通用視差信息集和特定服務使用的視差信息集二者
(4)僅發送特定服務使用的視差信息集圖22圖示發送數據產生單元IlOD的示例配置。發送數據產生單元IlOD被配置為創建與以上情況(1)到(4)之一對應的視差信息集中的預定集，并將視差信息集中的該預定集發送到接收側。在圖22中，對應于圖2的部分以相同的附圖標記表示，并且將適當地省略其詳細描述。發送數據產生單元IlOD包括數據獲取單元(存檔單元)130、視差信息集創建單元 131、視頻編碼器113和音頻編碼器117。此外，發送數據產生單元IlOD包括字幕/圖形生成單元118、字幕/圖形編碼器119、文本生成單元120、文本編碼器121和多路復用器122。數據記錄介質130a例如以可拆卸的方式與數據獲取單元130連接。音頻數據和視差矢量與包括左眼圖像數據和右眼圖像數據的立體圖像數據一起記錄在該數據記錄介質130a中以便彼此對應。數據獲取單元130從數據記錄介質130a中獲取立體圖像數據、音頻數據、視差矢量等，并將其輸出。數據記錄介質130a是盤狀記錄介質、半導體存儲器等。這里，數據記錄介質130a中記錄的立體圖像數據被設計為對應于由圖2中所示的發送數據產生單元Iio的視頻成幀單元112獲得的立體圖像數據。此外，數據記錄介質 130a中記錄的視差矢量例如是構成圖像的基于像素的視差矢量。視差信息集創建單元131具有取景器功能。視差信息集創建單元131對于從數據獲取單元130輸出的視差矢量(S卩，基于像素的視差矢量)執行小型化處理，并產生屬于預定區域的視差矢量。圖23圖示作為各個像素的亮度值而給出的相對深度方向上的數據的示例。這里， 可以將相對深度方向上的數據通過預定轉換作為每一個像素的視差矢量來處理。在該示例中，人物部分具有高亮度值。這意味著人物部分的視差矢量的值很大，因此，在立體圖像顯示中，這意味著感覺人物部分處于漂浮狀態(floating state)。此外，在該示例中，背景部分具有低亮度值。這意味著背景部分的視差矢量的值小，因此，在立體圖像顯示中，這意味著感覺該背景部分處于沉埋狀態(sunken state)。圖M圖示基于塊(Block)的視差矢量的示例。塊對應于位于底層的像素以上的上層。通過在水平方向和垂直方向上以預定尺寸劃分圖像(畫面)區域來構成所述塊。每一塊的視差矢量例如通過從塊中存在的所有像素的視差矢量之中選擇具有最大值的視差矢量來獲得。在該示例中，每一塊的視差矢量由箭頭表示，并且箭頭的長度對應于視差矢量的量值。圖25圖示由視差信息集創建單元131執行的小型化處理的示例。首先，如25(a)所示，視差信息集創建單元134使用基于像素的視差矢量來確定基于塊的視差矢量。如上所述，塊對應于位于底層的像素以上的上層，并且通過在水平方向和垂直方向上以預定尺寸劃分圖像(畫面)區域而形成。然后，例如，每一塊的視差矢量通過從塊中存在的所有像素的視差矢量之中選擇具有最大值的視差矢量來獲得。接著，如圖25(b)所示，視差信息集創建單元131使用基于塊的視差矢量來確定基于組(Group Of Block)的視差矢量。組對應于塊以上的上層，并且通過共同地分組多個相鄰塊來獲得。在圖25(b)的示例中，每一組由以虛線框括在一起的四個塊組成。然后，例如，每一組的視差矢量通過從組中的所有塊的視差矢量之中選擇具有最大值的視差矢量來獲得。接著，如圖25(c)所示，視差信息集創建單元131使用基于組的視差矢量來確定基于分區(Partition)的視差矢量。分區對應于組以上的上層，并且通過共同地分組多個相鄰組來獲得。在圖25(c)的示例中，每一分區由以虛線框括在一起的兩個組構成。然后，例如，通過從分區中的所有組的視差矢量之中選擇具有最大值的視差矢量，來獲得每一分區的視差矢量。接著，如圖25(d)所示，視差信息集創建單元131使用基于分區的視差矢量來確定位于頂層的整個畫面(整個圖像)的視差矢量。在圖25(d)的示例中，整個畫面包括以虛線框括在一起的四個區域。然后，例如，通過從整個畫面中包括的所有區域的視差矢量之中選擇具有最大值的視差矢量，獲得整個畫面的視差矢量。在這種情況下，除了整個畫面的視差矢量之外，可以確定關于從其獲得了視差矢量的原始像素的位置(在圖中以“ + ”指示) 的信息，并且用作視差矢量的附加信息。在確定上述塊、組和分區的視差矢量時同樣如此。因此，視差信息集創建單元131通過對于位于底層的每一個像素的視差矢量執行小型化處理，可以確定各個層中的各個區域，即塊、組、分區和整個畫面中的視差矢量。注意，在圖25中所示的小型化處理的示例中，最終，確定像素層以外的四個層(即，塊、組、分區和整個畫面)中的視差矢量。然而，層的數量、如何將每一個層劃分為區域和區域的數量不限于以上那些。視差信息集創建單元131通過上述小型化處理創建視差信息集，所述視差信息集包括具有預定尺寸的每一區域的視差矢量。視差信息集被添加有指示每一條視差信息所屬的屏幕區域的信息。例如，作為指示屏幕區域的信息，添加指示屏幕上的分區數量的信息， 如零個分區、四個分區、九個分區、十六個分區。此外，例如，添加指示區域大小(塊大小) 的信息，如16X16,32X32,64X64等作為指示屏幕區域的信息。如果以掃描順序排列視差信息集中的各條視差信息，則可以使用指示屏幕上的分區數量的信息或指示區域大小的信息來掌握每一條視差信息所屬的屏幕區域。在這個意義上，指示屏幕上的分區數量的信息、或者指示區域大小的信息變為指示每一條視差信息所屬的屏幕區域的信息。此外，視差信息集創建單元131根據需要創建特定服務使用的視差信息集。例如， 根據需要，創建對于閉路字幕用途、字幕用途、特定應用(窗口小部件)圖形用途等的視差信息集。在這種情況下，通過上述小型化處理，創建屬于一個或多個屏幕區域的視差矢量， 所述一個或多個屏幕區域對應于重疊信息(閉路字幕信息、字幕信息、圖形信息等)的一個或多個顯示區域。
圖沈仏)圖示圖像上字幕和應用圖形的顯示示例。圖沈…)圖示圖像、字幕和應用圖形的透視。例如，如圖所示，期望顯示在屏幕下半部的中心區域中的字幕在圖像中最近的位置前面進一步被識 別。在這種情況下，在視差信息集創建單元131中，根據字幕的顯示區域和對應圖像區域的視差矢量，創建用于向字幕賦予視差的視差矢量。此外，例如，如圖所示，期望顯示在屏幕的右下邊緣區域中的應用圖形在字幕前面進一步被識別。在這種情況下，在視差信息集創建單元131中，根據應用圖形的顯示區域和對應圖像區域的視差矢量，創建用于向應用圖形賦予視差的視差矢量。這里，如上所述，視差信息集創建單元131具有取景器功能。在該視差信息集創建單元131中，實際上顯示如圖^(a)所示的立體圖像。因此，將從數據獲取單元130輸出的立體圖像數據(左眼圖像數據、右眼圖像數據)提供到該視差信息集創建單元131。此外， 將由字幕/圖形生成單元118生成的字幕數據或圖形數據以及由文本生成單元120生成的文本數據(包括閉路字幕數據)提供到視差信息集創建單元131。對于由視差信息集創建單元131創建的、且與立體圖像數據一起發送的視差信息集中的每一集合被添加有視差序列ID(DiSparity_kquence_id)。視差序列ID是指示重疊信息(其中，對于其要使用視差信息集中包括的視差信息)的類型的標識信息。通過該視差序列ID，識別視差信息集是通用視差信息集還是特定服務使用視差信息集。此外，通過該標識信息，識別特定服務使用的視差信息集表示什么種類的服務使用視差信息集。如圖27所示，DisparityJequencejd = 0指示通用視差信息集。該視差信息集基于預先記錄的視差信息來創建。在該視差信息集與特定服務不相關聯的情況下，不需要使用例如視差鏈接描述符(DiSparity_Linkage_DeScriptor)等來與特定服務相關聯。此外，Disparity_Sequence_id = 1到255指示通過使用例如視差鏈接描述符等關聯的特定服務使用的視差信息集。[視差信息集]將關于上述情況(1)到中的每一個，進一步描述由視差信息集創建單元131 創建的視差信息集。“情況(1)，，如上所述，情況(1)是僅發送通用視差信息集的情況。在情況(1)中，僅創建通用視差信息集。注意，在情況(1)中，視差信息集中包括的視差信息與特定服務沒有關系。圖觀圖示了在情況(1)中創建的視差信息集的示例。在該示例中，視差信息集包括屬于通過將屏幕劃分為九個部分而獲得的各個屏幕區域的視差矢量(水平視差矢量)PO 到P8。例如，通過使用基于像素的視差矢量的上述小型化處理來確定視差矢量PO到P8。在圖觀中，箭頭指示視差矢量，而箭頭的長度對應于視差矢量的量值。該視差信息集是通用視差信息集。因此，如圖四所示，要添加到該視差信息集的標識信息“Disparityjequencejd”被設置為“0”，其指示通用視差信息集。這里，通用視差信息集是對于圖像數據的每一預定單元(如，對于編碼視頻的每一畫面)的視差信息集。如下所述，將圖像數據分割為特定時間段，并且在特定時間段的圖像數據的發送之前，發送每一特定時間段的圖像數據所對應的多個視差信息集O^cked Disparity Set)的一個集合。因此，如圖四所示，向每一個預定單元的視差信息集添加偏移(Offset)作為指示使用視差信息集的定時的時間信息。添加到每一個視差信息集的偏移表示從第一視差信息集的使用時間(以時間戳(Time Stamp)指示)起的時間。“情況(2)，，如上所述，情況( 是僅發送通用視差信息集的情況。在情況( 中，僅創建通用視差信息集。注意，在情況⑵中，視差信息集中包括的視差信息與特定服務有關系。圖30圖示了在情況(2)中創建的視差信息集的示例。在該示例中，視差信息集包括屬于通過將屏幕劃分為九個部分而獲得的各個屏幕區域的視差矢量(水平視差矢量)PO 到P8。例如，通過使用基于像素的視差矢量的上述小型化處理來確定每一個視差矢量PO到 P8。在圖30中，箭頭指示視差矢量，而箭頭的長度對應于視差矢量的量值。該視差信息集是通用視差信息集。因此，如圖31所示，要添加到該視差信息集的標識信息“Disparityjequencejd”被設置為“0”，其指示通用視差信息集。這里，通用視差信息集是對于圖像數據的每一預定單元(如，對于編碼視頻的每一畫面)的視差信息集。如下所述，將圖像數據分割為特定時間段，并且在特定時間段的圖像數據的發送之前，發送每一個特定時間段的圖像數據所對應的多個視差信息集(lacked Disparity Set)的一個集合。因此，如圖31所示，向每一個預定單元的視差信息集添加偏移Offset)作為指示使用視差信息集的定時的時間信息。添加到每一個視差信息集的偏移指示從第一視差信息集的使用時間(以時間戳(Time Stamp)指示)起的時間。如上所述，在情況(2)中，視差信息集中包括的視差信息與特定服務有關系。圖31 圖示視差矢量P7和閉路字幕數據DFO彼此相關聯的示例。注意，如圖30所示，根據該閉路字幕數據DFO的閉路字幕信息顯示在視差矢量P7所屬的屏幕區域中。在這種情況下，指示顯示該閉路字幕信息的屏幕區域的分量元素ID(C0mp0nent_Element ID)和視差矢量P7彼此相關聯。圖32圖示了在這種情況下分量元素ID與視差矢量之間的關聯表(Component Linked_Info)的示例。在這種情況下，由分區位置ID(Partition_Position_ID)指定視差矢量的目標位置。分區位置ID指示多個屏幕區域(所述屏幕區域由分區數量或塊大小來指定)之中的哪一個屏幕區域。注意，圖31中所示的示例圖示了其中一條視差信息與一條閉路字幕數據相關聯的示例。然而，也可以想到的是，多條視差信息與一條閉路字幕數據相關聯。以這種方式， 在多條視差信息與一條閉路字幕數據相關聯的情況下，在接收側，可以選擇并使用特定一條視差信息，以便向基于該條閉路字幕數據的閉路字幕信息賦予視差。圖33圖示了視差矢量P6和P7、與閉路字幕數據DFl之間的關聯性并且進一步視差矢量P7和P8與閉路字幕數據DF2之間的關聯性的示例。在這種情況下，執行指示用于根據閉路字幕數據DFl顯示閉路字幕信息的屏幕區域的分量元素ID與視差矢量P6和P7 之間的關聯。此外，類似地，執行指示用于根據閉路字幕數據DF2顯示閉路字幕信息的屏幕區域的分量元素ID與視差矢量P7和P8之間的關聯。圖34圖示了在這種情況下，分量元素ID與視差矢量之間的關聯表(Component Linked_Info)。在這種情況下，由分區位置ID (Partition_Position_ID)來指定視差矢量。 分區位置ID指示多個屏幕區域(所述屏幕區域由分區的數量或塊大小指定)之中的哪一個屏幕區域。“情況(3) ”
情況C3)是如上所述發送通用視差信息集和特定服務使用的視差信息集二者的情況。在情況(3)中，創建通用視差信息集和特定服務使用的視差信息集二者。在這種情況下，要添加到通用視差信息集的標識信息(Disparityjequencejd)被設置為“0”。此外，要添加到特定服務使用的視差信息集的標識信息(Disparityjiequencejd)被設置為“0”以外的值。例如，通過如上所述將信息插入到用戶數據，執行標識信息(Disparity, Sequence_id)與服務之間的關聯。可替代地，例如，使用如上所述的視差鏈接描述符 (Disparity_Linkage—Descriptor)來執行該關聯。圖35圖示了在情況(3)中創建的視差信息集的示例。在該示例中，通用視差信息集包括屬于通過將屏幕劃分為九個部分而獲得的各個屏幕區域的視差矢量(水平視差矢量)PO到P8。例如，通過使用基于像素的視差矢量的以上小型化處理，確定視差矢量PO到 P8。在圖35中，箭頭指示視差矢量，而箭頭的長度對應于視差矢量的量值。此外，創建用于閉路字幕用途的視差信息集，作為特定服務使用的視差信息集。用于閉路字幕用途的視差信息集包括與閉路字幕信息“Caption 1”對應的視差矢量CCl和與閉路字幕信息“Caption 2”對應的視差矢量CC2。這里，視差信息集是對于圖像數據的每一預定單元(如，對于編碼視頻的每一個畫面)的視差信息集。如下所述，將圖像數據分割為特定時間段，并且在特定時間段的圖像數據的發送之前，發送每一特定時間段的圖像數據所對應的多個視差信息集(lacked Disparity Set)的一個集合。因此，如圖36所示，為每一預定單位的視差信息集添加偏移 (Offset)作為指示使用視差信息集的定時的時間信息。添加到每一個視差信息集的偏移表示從第一視差信息集的使用時間(以時間戳(Time Stamp)指示)起的時間。如上所述，特定服務使用的視差信息集是用于閉路字幕用途的視差信息集。圖35 圖示了視差矢量CCl和閉路字幕數據DFl之間的關聯，以及進一步視差矢量CC2與閉路字幕數據DF2之間的關聯的示例。在這種情況下，執行指示顯示閉路字幕信息的屏幕區域的分量元素ID(Component_Element ID)與視差矢量CCl和CC2之間的關聯。圖37圖示了在這種情況下分量元素ID與視差矢量之間的關聯表(Component Linked_Info)。在這種情況下，由分區位置ID(Partition_Position_ID)指定視差矢量的對象位置。分區位置ID指示多個屏幕區域(所述屏幕區域由分區數量或塊大小指定)之中的哪一個屏幕區域。“情況(4)，，如上所述，情況(4)是僅發送特定服務使用的視差信息集的情況。在情況⑷中， 僅創建特定服務使用的視差信息集。在這種情況下，要添加到特定服務使用的視差信息集的標識信息(Disparityjequencejd)被設置為“0”。例如，通過如上所述將信息插入到用戶數據，執行標識信息(Disparityjiequencejd)與服務之間的關聯。可替代地，例如，使用如上所述的視差鏈接描述符(DiSparity_Linkage_DesCript0r)來執行該關聯。圖38圖示了在情況⑷中創建的視差信息集的示例。在該示例中，創建用于閉路字幕用途的視差信息集，作為特定服務使用的視差信息集。用于閉路字幕用途的視差信息集包括與閉路字幕信息“Caption 1”對應的視差矢量CCl和與閉路字幕信息“Caption 2” 對應的視差矢量CC2。這里，視差信息集是對于圖像數據的每一個預定單元(如，對于編碼視頻的每一個畫面)的視差信息集。如下所述，將圖像數據分割為特定時間段，并且在特定時間段的圖像數據的發送之前，發送每一特定時間段的圖像數據所對應的多個視差信息集O^cked Disparity Set)的一個集合。因此，如圖39所示，為每一預定單位的視差信息集添加偏移 (Offset)作為指示使用視差信息集的定時的時間信息。添加到每一個視差信息集的偏移表示從第一視差信息集的使用時間(以時間戳(Time Stamp)指示)起的時間。如上所述，特定服務使用的視差信息集是用于閉路字幕用途的視差信息集。圖39 圖示了視差矢量CCl和閉路字幕數據DFl之間的關聯以及進一步視差矢量CC2和閉路字幕數據DF2之間的關聯的示例。在這種情況下，執行指示顯示閉路字幕信息的屏幕區域的分量元素ID(Component_Element ID)與視差矢量CCl和CC2之間的關聯(參見圖37)。注意，在圖32、圖34和圖37中，圖示了這樣的示例其中，分量元素ID與視差矢量之間的關聯表，其中，分量元素ID是閉路字幕的窗口 ID (Window ID)。例如，在DVB字幕的情況下，分量元素ID是DVB字幕的區域ID (Regionjd)。在DVB字幕的情況下，例如，如圖40所示，通過使用基本PID (Elementary PID)來執行字幕片段(Subtitle Segment)與視差矢量數據(Disparity Data)之間的關聯。接下來，字幕片段中的頁面ID(Pagejd)和視差矢量數據的標識信息(Disparityjequenc^ id)彼此相關。此外，區域 ID (Region ID)和視差矢量(Disparity_Vector_horizontal)彼此相關。視頻編碼器113對于從數據獲取單元130提供的立體圖像數據執行使用 MPEG4-AVC、MPEG2、VC-1等的編碼，以獲得編碼視頻數據。此外，視頻編碼器113通過使用其后級中提供的流格式器113a，在有效載荷部分產生包括編碼視頻數據的視頻基本流。如上所述，將由視差信息集創建單元131創建的視差信息集中的預定集提供到視頻編碼器113 中的流格式器113a。流格式器113a將視差信息集中的預定集作為用戶數據嵌入視頻流中。圖41示意性地圖示視頻基本流(Video Elementary Stream)的示例結構。在視頻基本流中，在開頭排列包括每一序列的參數的序列頭部。在該序列頭部部分之后，排列包括每一畫面的參數和用戶數據的畫面頭部。在畫面頭部部分之后，排列包括畫面數據的有效載荷部分。其后，重復地排列畫面頭部部分和有效載荷部分。上述視差信息集例如嵌入畫面頭部部分的用戶數據區域中。圖42圖示了用戶數據的示例配置。圖42(a)圖示了在編碼方法是MPEG2的情況下用戶數據的配置。圖42 (b) 圖示了在編碼方法是HJ64AVC(MPEG4-AVC)的情況下用戶數據的配置。進一步，圖42(c) 圖示了在編碼方法是VC-I的情況下用戶數據的配置。盡管將省略詳細描述，但是各個方法的用戶數據的配置基本上類似。即，在開頭排列指示用戶數據開始的代碼，然后排列指示數據種類的標識符“userjdentifier”， 進一步，其后排列數據主體“user_structure”。下面將描述包括視差信息(Disparity_ Information)的用戶數據的詳細配置。音頻編碼器117對于從數據獲取單元130提供的音頻數據執行使用MPEG-2Audio AAC等的編碼，并產生音頻基本流。多路復用器122多路復用從編碼器113、117、119和121 輸出的打包基本流。接下來，多路復用器122輸出用作發送數據的位流數據(傳送流)BSD。盡管將省略描述，但是圖22中所示的發送數據產生單元110D的其他組件以與圖 2中所示的發送數據產生單元110相同的方式配置。
將簡要描述圖22中所示的發送數據產生單元IlOD的操作。將從數據獲取單元 130輸出的立體圖像數據提供到視頻編碼器113。在視頻編碼器113中，對于立體圖像數據執行使用MPEG-4-AVC、MPEG2、VC-l等的編碼，并產生包括編碼視頻數據的視頻基本流。將視頻基本流提供到多路復用器122。此外，將從數據獲取單元130輸出的基于像素的視差矢量提供到視差信息集創建單元131。在視差信息集創建單元131中，對于視差矢量執行小型化處理等，并創建要發送的視差信息集中的預定集(情況(1)到G))。將由視差信息集創建單元131創建的視差信息集中的預定集提供到視頻編碼器113中的流格式器113a。在流格式器113a中，將視差信息集中的預定集作為用戶數據嵌入視頻流中。此外，將從數據獲取單元130輸出的音頻數據提供到音頻編碼器117。在音頻編碼器117中，對于音頻數據執行使用MPEG-2 Audio AAC等的編碼，并且產生包括編碼音頻數據的音頻基本流。將音頻基本流提供到多路復用器122。此外，將包括關于字幕數據或圖形數據的編碼數據的基本流從字幕/圖形編碼器 119提供到多路復用器122。此外，將包括關于文本數據的編碼數據的基本流從文本編碼器 121提供到多路復用器122。接下來，在多路復用器122中，多路復用從各個編碼器提供的基本流的包，并且獲得用作發送數據的位流數據(傳送流)BSD。[服務分量和每一個流的視差信息之間的關聯、視差信息集標識信息和服務之間的關聯]通過使用視差鏈接描述符(DiSparity_Linkage_DeSCript0r)來執行各個相關聯的流中的服務分量和視差信息之間的關聯。此外，通過使用視差鏈接描述符，還執行各個流中的視差信息集標識信息(Disparityjiequencejd)和服務之間的關聯。視差鏈接描述符被排列在多路復用的流的頭部區域中，或者多路復用的流中的描述符表(如PMT)中。圖43圖示在這種情況下視差鏈接描述符的示例配置。圖44圖示圖43中所示的配置中每一條信息的內容。“descriptoLtag”是指示描述符類型的8位數據。這里，設置 “OxDO”，其指示視差鏈接描述符。“descriptorjength”是指示信息的長度(大小)的8位數據。“number_of_Linked_Mreams” 是指示根據視差信息數據(Disparity_Data)的限定兩個流之間的關聯且各流相關聯的基本流的數量的5位數據。"ElementaryPID_ of_disparity，，是指示包括視差信息數據(Disparity_Data)的基本流(PES)的PID (節目ID)的13位數據。"ElementaryPID_of_Service_Component"是指示包括服務分量(如，字幕、字幕、 文本或圖形)的基本流(PEQ的PID(節目ID)的13位數據。通過這兩個PID，對于每一個相關聯的基本流執行視差信息和服務分量之間的關聯。"number_of_linked_sequences“是指示要關聯以便對應于每一個相關聯的基本流的視差信息集(視差信息，Disparity Information)的數量的5位數據。"Service_id 是指示用于標識服務的唯一字的32位數據。例如，對于ATSC分配“0x47413934”。“Data_ Type”是指示由“Servicejd”標識的服務中的數據類型的8位數據。例如，“0x03”指示閉
路字幕數據。排列視差序列ID “Disparity_kquence_id”和服務頁面ID
"Service_page_id”，其數量對應于由"number_of_linked_sequences”指示的值。 “Disparityjequencejd”是作為用于標識每一個服務的標識信息的8位數據。“krviCe_ page_id”是用于指定服務(如字幕頁面)的8位數據。因此，預定數量的視差序列ID和服務頁面 ID 與預定 “Service_page_id” 和 “Data_Type (i) ”相關聯。將描述圖43中所示的視差鏈接描述符的示例配置中的每一項的特定示例。圖 45(a)圖示了在將視差信息集插入圖像數據流的用戶數據區域并將其發送到接收側(如圖 22中所示的發送數據產生單元IlOD那樣)的情況下PID的示例。在該示例中，將視差鏈接描述符(Disparity_Linkage_Descriptor)排列在多路復用的流(TS)中的PMT中。接下來，在該示例中，多路復用的流(化)中包括的包含視差信息數據(Disparity Data)的視頻(圖像數據)基本流(PES)的PID被設置為“PID_0”。此外，在該示例中，多路復用的流(TS)中包括的音頻基本流(PES)的PID被設置為“PID_1”。此外，在該示例中， 多路復用的流(TS)中包括的字幕基本流(PES)的PID被設置為“PID_2”。圖45(b)圖示了在產生包括視差信息集的視差矢量基本流(PES)，且與另一個流多路復用該獨立的流，并將其發送到接收側(如后面描述的圖62中的發送數據產生單元 IlOE那樣)的情況下PID的示例。在該示例中，將視差鏈接描述符(DiSparity_Linkage_ Descriptor)排列在多路復用的流(TS)中的PMT中。接下來，在該示例中，多路復用的流(TS)中包括的視頻(圖像數據)基本流(PES) 的PID被設置為“PID_0”。此外，在該示例中，多路復用的流(TS)中包括的音頻基本流 (PES)的PID被設置為“PID_1”。此外，在該示例中，多路復用的流(TS)中包括的字幕基本流(PES)的PID被設置為“PID_2”。此外，在該示例中，多路復用的流(TS)中包括的視差矢量基本流(PES)的PID被設置為“PID_3”。圖46(a)圖示了這樣的示例其中，添加了“Disparity_kquence_id = 1”的視差信息集與字幕相關聯(鏈接)。在該示例中，視差信息集包括與字幕信息“Subtitle 1”對應的視差矢量“Region 1”以及與字幕信息“Subtitle 2”對應的視差矢量“Region 2”。圖 46(b)圖示了這樣的示例其中，添加了 “Disparityjequencejd = 2”的視差信息集與閉路字幕相關聯(鏈接)。在該示例中，視差信息集包括與閉路字幕信息“Caption 1”對應的視差矢量CCl以及與閉路字幕信息“Caption 2”對應的視差矢量CC2。圖47圖示了上述圖45 (a)的情況下視差信息集與字幕相關聯的情況。在這種情況下，將“ElementaryPID_ofJervice_Component，，設置為字幕基本流的PID (Subtitle PID)。 并且在，這種情況下，將“ElementaryPID_of_disparity”設置為視頻基本流的PID (Video PID)。圖48圖示了上述圖45(b)的情況下視差信息集與字幕相關聯的情況。在這種情況下，將 “ElementaryPID_of_Service_Component” 設置為字幕基本流的 PID (Subtitle PID)。此外，在這種情況下，將“ElementaryPID_0f_diSparity”設置為視差矢量基本流的 PID (Disparity PID)。圖49圖示了在上述圖45(a)的情況下(其中，在將閉路字幕數據插入圖像數據流的用戶數據區域的狀態下，將其發送到接收側)，視差信息集與閉路字幕相關聯的情況。這里，“krvicejd”指示ATSC，并且表示“Data_Type” =閉路字幕(CC)。在這種情況下，將 “ElementaryPID_of_Service_Component，，設置為視頻基本流的 PID (Video PID)。此外，在這種情況下，還將“ElementaryPID_of_disparity”設置為視頻基本流的PID (Video PID)。注意，例如，盡管將省略詳細描述，但是ID的現有操作數如下“krviCe_id = 0x47413934” 表示 “ATSC”，其中 “Data_Type = 0x03” 表示“閉路字幕”，且 “Data_Type = 0x06”表示“Bar_data(郵箱或郵筒區域)”。此外，“krvice_id = 0x44544731”指示“AFD”。圖50圖示在上述圖45(b)的情況下(其中，在將閉路字幕數據插入圖像數據流的用戶數據區域的狀態下，將其發送到接收側)，視差信息集與閉路字幕相關聯的情況。這里，"Service_id"表示ATSC，并且表示“Data_Type” =閉路字幕(CC)。在這種情況下，將 “ElementaryPID_of_Service_Component，，設置為視頻基本流的 PID (Video PID)。此外，在這種情況下，將“ElementaryPID_of_disparity”設置為視差矢量基本流的 PID (Disparity PID)。[包括視差信息(Disparityjnformation)的用戶數據的詳細配置]圖51圖示了包括視差信息(Disparityjnformation)的用戶數據的詳細配置的示例。該示例是在編碼方法為MPEG2的情況下的示例。當開始碼(uSer_data_Start_COde) 之后的數據標識符是視差信息標識符(Disparity Jnformationjdentifier)時，排列視差信息(Disparityjnformation)作為數據標識符之后的數據主體(data body)。圖52圖示了視差信息(Disparityjnformation)的配置，并且其中排列視差信息數據(DisparityJnformatioruData)。該視差信息數據可以具有與上述圖43中的視差鏈接描述符(DiSparity_Linkage_DesCript0r)的信息類似的信息。在這種情況下，視差信息數據包括DSL(DisparityJnformation_LinkJnformation)，其具有圖 53 中圖示的配置。此外，視差信息數據包括DHI (DisparityJfeaderJnformation)，其具有圖M和圖55中圖示的配置。此外，視差信息數據包括DDS (Disparity Data Set)，其具有圖56中圖示的配置。 圖57到圖60圖示了在圖53到圖56中所示的配置中每一條信息的內容。將參照圖57描述DSL。DSL是用于將視差序列ID(Disparity_Sequence_id)與服務進行關聯的信息。“DisparityJnfo_Length” 是指示該信息的長度(大小)的16位數據。“Disparityjnfojype”是指示該信息的類型的2位數據，并且這里設置為“0x0”，其指示該信息是“DSL”。盡管將省略詳細描述，但是〃 number_of_Linked_Mreams〃，“ EIementaryPID_of_disparity “ 、 “ ElementaryPID_of_Service_ Component“、‘‘ number_of_linked_sequences" 、 ‘‘ Service_id" 、 ‘‘ Data_Type"禾口“ Disparity_kquence_id〃各項與圖 43 中所述的相同。將參照圖M和圖55描述DHI。DHI也包括用于將每一服務分量和分區位置 ID(Partition_Position_ID)進行關聯的信息，所述分區位置ID指定要用于該分量的視差矢量。“DisparityJnfc^Length”是指示該信息的長度(大小)的16位數據。"Disparity, hfojype”是指示該信息的類型的2位數據，并且這里設置為“0x1”，其指示該信息是 "DHI“VieWS_0ffSet”是指示將偏移的擴展應用于“第二視圖”(如，僅右眼圖像)還是 “兩個視圖”(即，左眼圖像和右眼圖像二者)的1位數據。在“VieWS_0ffSet”是“1”的情況下，指示到“兩個視圖”的應用。在“0”的情況下，指示到“第二視圖”的應用。“Disparity, precision”是指示重疊信息關于視差矢量移位的程度的2位數據。在“Disparity, precision”是“0”的情況下，指示移位了對應于視差矢量的1/2的量。在“1”的情況下，指示移位了對應于視差矢量的量。在“2”的情況下，指示移位了對應于視差矢量的單位值的量，其中一個單位等于兩個像素。例如，如果視差矢量是“7”時，則執行2X7= 14個像素的移位。在“3”的情況下， 指示移位了對應于視差矢量的單位值的量，其中一個單位等于三個像素。例如，如果視差矢量是“7”時，則執行3X7 = 21個像素的移位"Disparity_Sequence_id"是作為用于標識每一個服務的標識信息的8位數據。 “Service_Linked_flag”是指示是否存在與上述DSL中的服務相關聯的視差矢量(視差信息)的1位數據。在“1”的情況下，這指示存在與服務相關聯的視差矢量。相比之下，在 “0”的情況下，這指示不存在與服務相關聯的視差矢量。"Target_Resolution_Type"是用于指定關于目標視頻的編碼的視差信息集的分辨率的2位數據。在“0x0”的情況下，指示1920X1080的分辨率。在“0x1”的情況下，指示1440X1080的分辨率。在“0x2”的情況下，指示1280X720的分辨率。“Block_SiZe”是用于指定塊大小的2位數據。“Block_SiZe”是構成指示屏幕區域的信息的、指示區域大小的信息。在“0x0”的情況下，指示16像素X 16像素的塊大小。在 “0x1”的情況下，指示的32像素X32像素的塊大小。在“0x2”的情況下，指示64像素X64 像素的塊大小。此外，在“0x3”的情況下，指示1 像素XU8像素的塊大小。“Link_S0UrCe”指示視差信息集(源)是通用視差信息集還是特定服務使用的視差信息集。當設置“1”時，這指示視差信息集是具有通過劃分屏幕而獲得的屏幕區域的視差矢量的通用視差信息集。當設置“0”時，這指示視差信息集是具有與服務分量元素對應的視差矢量的特定服務使用的視差信息集。“Partition”指示劃分屏幕的模式。該“Partition”是構成指示屏幕區域的信息的、指示屏幕分區的數量的信息。在“0x0”的情況下，這指示如圖61 (a)所示，圖像(畫面) 區域未劃分，且發送表示該圖像(畫面)區域的一個視差矢量(視差信息)。在“0x1”的情況下，如圖61(b)所示，這指示將圖像(畫面)區域劃分為四個部分，并且發送表示各個子區域的四個視差矢量(視差信息)。在這種情況下，以這種方式排列視差矢量，以便左上區域的視差矢量變為第一個，而右下區域中的視差矢量變為最后一個(以圖61(b)中0到 3的順序)。在“0x2”的情況下，如圖61 (c)所示，這指示將圖像(畫面)區域劃分為九個部分， 并且發送表示各個子區域的九個視差矢量(視差信息)。在這種情況下，以這種方式排列視差矢量，以便左上區域中的視差矢量變為第一個，而右下區域中的視差矢量變為最后一個 (以圖61(c)中0到8的順序)。在“0x3”的情況下，如圖61(d)所示，這指示將圖像(畫面)區域劃分為十六個部分，并且發送表示各個子區域的十六個視差矢量(視差信息)。在這種情況下，以這種方式排列視差矢量，以便左上區域中的視差矢量變為第一個，而右下區域中的視差矢量變為最后一個(以圖61 (d)中0到15的順序)。在“0x7”的情況下，這指示將圖像(畫面)區域劃分為多個塊，并且發送表示各個子區域的多個視差矢量(視差信息)。在這種情況下，以這種方式排列視差矢量，以便左上區域中的視差矢量變為第一個，而右下區域中的視差矢量變為最后一個。"Number_of_Component_Elements"是指示由上述"Partition，，或“Block_Size，， 指定的屏幕區域的數量，或者相關聯的服務中的分量元素的數量的13位數據。接下來，在上述“ServidLinkecLflag”是“1”的情況下，排列分量鏈接信息 (C0mp0nent_Linkage_Inf0)，其量對應于與視差信息集中的視差矢量(視差信息)相關聯的服務數量(number of service)。在分量鏈接信息中，如圖55中所示，對于分量元素的數量，排列關于分量元素與視差矢量之間的對應性的信息。"Component_Element"是指示分量元素ID的8位數據。例如，分量元素ID是閉路字幕的窗口 ID (Window ID)、DVB 字幕的區域 ID (region_idga)等。"Element_Linkage_ Length”是指示信息的長度(大小)的8位數據。“nUmber_0f_mUtiple_link”指示與分量元素ID相關聯的視差矢量的數量。“Partiti0n_P0Siti0n_id”是用于指定視差矢量的13位信息。該“Partiti0n_P0Siti0n_id”指示在多個屏幕區域(所述屏幕區域由以上“Partition” 或“Bl0Ck_size”指定)之中的哪一個屏幕區域。將參照圖56描述DDS。DDS包括關于每一個視差信息集中包括的視差矢量的信息。“DisparityJnfo_Length”是指示信息的長度(大小)的16位數據。“Disparity_ hfo_Type”是指示信息的類型的2位數據，并且這里設置為“0x2”，其指示該信息是“DID”。 “Disparityjiequencejd”是用于標識通用視差信息集或特定服務使用的視差信息集，并且用于標識在特定服務使用的情況下的服務的8位數據。"Number_of_Component_Elements"是指示由上述"Partition，，或“Block_Size，， 指定的屏幕區域的數量或相關聯的服務中分量元素的數量的13位數據。排列用于視頻數據的某一時間段(如，15幀的時間段)期間的每一幀的視差信息集中包括的P個視差矢量的值。“Disparityjetsjruperiod”是指示用于提供視頻數據的某一時間段中包括的偏移的視差矢量(視差信息)集的數量的8位數據。“Offset_Frame_In_disparity_set”是指示使用每一個視差信息集的定時的時間信息。該時間信息指示從由時間戳(Time Stamp)指示的第一個視差信息集的使用時間起的時間(幀數)。"Disparity_Vector_Horozontal (i) ”指示作為第i個視差矢量的值的水
平視差矢量的值。注意，在之前的描述中，已經示出了這樣的示例其中，排列用于將視差序列 ID(Disparity_Sequence_id)和服務進行關聯的信息，作為用作用戶數據的視差信息中的DSL0然而，可以想到的是，通過視差鏈接描述符(Disparity_Linkage_Descriptor) 來執行視差序列ID(DiSparityJ5eqUence_id)和服務之間的關聯。該視差鏈接描述符 (Disparity_Linkage_Descriptor) DLD例如排列在多路復用的流(位流數據BSD)中的PMT 表中。在圖22中所示的發送數據產生單元110D中，與包括用于顯示立體圖像的左眼圖像數據和右眼圖像數據的立體圖像數據一起，發送每一個均添加了指示要使用視差信息的重疊信息的種類的標識信息的視差信息集中的預定集。因此，在接收側，通過使用適于該重疊信息的種類的視差信息集，可以將適當的視差賦予要重疊在左眼圖像和右眼圖像上的相同的重疊信息(比如，閉路字幕信息、字幕信息、圖形信息或文本信息)。注意，在圖22中所示的發送數據產生單元110D的以上描述中，已經描述了視差信息集創建單元131對于底層中的每一個像素的視差矢量執行小型化處理以確定每一層的每一區域的視差矢量。然而，可以在數據記錄介質130a上記錄每一層中的每一個區域的視差矢量，并且視差信息集創建單元131可以利用它。“發送數據產生單元的另一個示例配置”此外，圖22中所示的發送數據產生單元IlOD被配置為以將由視差信息集創建單元131創建的視差信息集中的預定集插入到圖像數據流中的狀態來將其發送到接收側。然而，也可以使用這樣的配置其中，以將由視差信息集創建單元131創建的視差信息集中的預定集插入到圖像數據流以外的不同數據流的狀態，將其發送到接收側。此外，也可以使用這樣的配置其中，產生包括由視差信息集創建單元131創建的視差信息集中的預定集的視差矢量基本流(視差矢量流)，并將該視差矢量流與另一個流多路復用并將其發送到接收側。圖62圖示了在這種情況下發送數據產生單元IlOE的示例配置。在該圖62中，對應于圖22的部件以相同的附圖標記表示，并且將省略其詳細描述。與圖2中的發送數據產生單元110類似地，該發送數據產生單元IlOE被配置為包括視差矢量編碼器115。將由視差信息集創建單元131創建的視差信息集中的預定集發送到視差矢量編碼器115。接下來，在該視差矢量編碼器115中，產生包括視差矢量集中的預定集的視差矢量基本流(視差矢量流)。接下來，將該視差矢量流提供到多路復用器122。 在多路復用器122中，還與其他數據流一起多路復用視差矢量流，并產生位流數據BSD。盡管將省略描述，但是在該發送數據產生單元IlOE中，其他配置和操作與圖22中所示的發送數據產生單元IlOD的那些相同。此外，在發送數據產生單元IlOE中，可以獲得與圖22中所示的發送數據產生單元IlOD的那些類似的優點。“發送數據產生單元的另一示例配置”在圖22中所示的發送數據產生單元IlOD中，作為視差信息集，可以發送通用視差信息集和特定服務使用的視差信息集之一或二者。然而，也可以想到的是，設計發送受限使用的視差信息(如，閉路字幕信息或字幕信息)，并且使用能夠易于與現有廣播標準(如 ATSC和CEA)協調的簡單數據結構。圖63圖示了在這種情況下發送數據產生單元IlOF的示例配置。發送數據產生單元IlOF被配置為創建視差信息(其用途受限于閉路字幕信息)并且將視差信息發送到接收側。在圖63中，與圖2中的那些組件對應的組件分配了相同的附圖標記，并且省略其詳細描述。發送數據產生單元IlOF包括數據獲取單元(存檔單元)130、視差信息創建單元 131、CC(閉路字幕)編碼器133、視頻編碼器113、音頻編碼器117和多路復用器122。數據記錄介質130a例如以可拆卸的方式連接到數據獲取單元130。與包括左眼圖像數據和右眼圖像數據的立體圖像數據一起，將音頻數據和視差矢量(視差信息)記錄在數據記錄介質130a上，以便彼此對應。數據獲取單元130從數據記錄介質130a獲取立體圖像數據、音頻數據、視差矢量等，并輸出它們。數據記錄介質130a是盤形記錄介質、半導體存儲器等。這里，數據記錄介質130a上記錄的立體圖像數據被設計為對應于由圖2中所示的發送數據產生單元Iio的視頻成幀單元112獲得的立體圖像數據。此外，數據記錄介質 130a上記錄的視差矢量例如是形成圖像的基于像素的視差矢量。
CC編碼器133是遵照CEA-708的編碼器，并且輸出用于以閉路字幕顯示字幕的CC 數據(閉路字幕信息的數據)。在這種情況下，CC編碼器133順序地輸出要以時間順序顯示的各條閉路字幕信息的CC數據。視差信息創建單元132對于從數據獲取單元130輸出的視差信息(即，基于像素的視差矢量)執行小型化處理，并輸出與從CC編碼器113輸出的CC數據中包括的每一個窗口 ID(WindoW ID)相關的視差信息(視差矢量)。視差信息已經添加了移位目標指定信息， 其在要重疊在左眼圖像上的閉路字幕信息和要重疊在右眼圖像上的閉路字幕信息之中，指定基于視差信息移位的閉路字幕信息。這里，視差信息創建單元132與從CC編碼器133輸出的每一條閉路字幕信息的CC 數據對應地，輸出在預定數量幀的時間段(其間顯示閉路字幕信息)期間使用的視差信息。 視差信息例如是在預定數量幀的時間段(其間顯示閉路字幕信息)期間各個幀中共同使用的視差信息，或者是各個幀中順序地更新的視差信息。然后，視差信息已經添加了標志信息，其指示在各個幀中共同使用的視差信息，或者在各個幀中順序地更新的視差信息。例如，在圖像的運動很大的情況下，視差信息創建單元132創建在各個幀中順序地使用的視差信息，而在圖像的運動很小的情況下，視差信息創建單元132創建在各個幀中共同使用的視差信息。視差信息創建單元132形成在各個幀中順序地更新的視差信息，例如，其由關于第一幀的視差信息和關于第二幀和接下來的幀相對于之前幀的偏移信息組成。以這種方式，關于第二和接下來的幀的視差信息由相對于關于之前幀的視差信息的偏移信息形成， 由此允許視差信息的數據量的抑制，并且還允許各個幀中視差信息的更新的平滑感覺。視頻編碼器113對于從數據獲取單元130提供的立體圖像數據執行使用 MPEG4-AVC、MPEG2、VC-1等的編碼，以獲得編碼的視頻數據。此外，視頻編碼器113使用在其后級中提供的流格式器113a，產生在有效載荷部分中包括編碼的視頻數據的視頻基本流。從上述CC編碼器133輸出的CC數據以及由上述視差信息創建單元131創建的視差信息被提供到視頻編碼器113中的流格式器113a。流格式器113a將CC數據和視差信息作為用戶數據嵌入到視頻基本流中。換言之，在視頻基本流的有效載荷部分中包括立體圖像數據，并且CC數據以及另外視差信息包括在頭部部分的用戶數據區域中。如上述圖41中所示，在視頻基本流中，在開頭排列包括每一序列的參數的序列頭部部分。包括每一畫面的參數和用戶數據的畫面頭部排列在序列頭部部分之后。包括畫面數據的有效載荷部分排列在畫面頭部部分之后。接下來，重復地排列畫面頭部部分和有效載荷部分。例如，將上述CC數據和視差信息嵌入到畫面頭部部分的用戶數據區域中。在這種情況下，作為用戶數據嵌入的CC數據和視差信息被設計為可由用戶數據類型代碼標識。換言之，添加到視差信息的用戶數據類型代碼被設計為與添加到CC數據的用戶數據類型代碼不同。音頻編碼器117對于從數據獲取單元130提供的音頻數據執行使用MPEG-2 Audio AAC等的編碼，并產生音頻基本流。多路復用器122多路復用從編碼器113和117輸出的打包基本流。然后，多路復用器122輸出用作發送數據的位流數據(傳送流)BSD。將簡要描述圖63中所示的發送數據產生單元IlOF的操作。將從數據獲取單元130輸出的立體圖像數據提供到視頻編碼器113。在視頻編碼器113中，對于立體圖像數據執行使用MPEG4-AVC、MPEG2、VC-I等的編碼，并且產生包括編碼的視頻數據的視頻基本流。 將視頻基本流提供到多路復用器122。此外，在CC編碼器133中，輸出用于以閉路字幕顯示字幕的CC數據(閉路字幕信息的數據)。在這種情況下，在CC編碼器133中，順序地輸出以時間順序顯示的各條閉路字幕信息的CC數據。此外，將從數據獲取單元130輸出的基于像素的視差矢量提供到視差信息創建單元132。在視差信息創建單元132中，對于視差矢量執行小型化處理等，并且輸出與從CC 編碼器133輸出的CC數據中包括的每一個窗口 ID (Window ID)有關的視差信息(視差矢
量)O將從CC編碼器133輸出的CC數據以及由視差信息創建單元132創建的視差信息提供到視頻編碼器113的流格式器113a。在流格式器113a中，將CC數據和視差信息以這樣的方式嵌入到視頻基本流的頭部部分的用戶數據區域中，以便CC數據和視差信息可以由用戶數據標識信息(用戶數據類型代碼)識別。此外，將從數據獲取單元130輸出的音頻數據提供到音頻編碼器117。在音頻編碼器117中，對于音頻數據執行使用MPEG-2 Audio AAC等的編碼，并且產生包括編碼的音頻數據的音頻基本流。將音頻基本流提供到多路復用器122。在多路復用器122中，多路復用從各個編碼器提供的基本流包，并且獲得用作發送數據的位流數據BSD。[包括視差信息(Capti0n_diSparity_data)的用戶數據的詳細配置]接著，將描述包括視差信息(Capti0n_diSparity_data)的用戶數據的詳細配置。 圖64圖示了用戶數據的示例。圖65圖示了圖64中所示的配置中的每一條信息的內容。該示例是在編碼方法為MPEG2的情況下的示例。在32位開始代碼(user_data_start_code) 之后，排列用于標識廣播標準“ATSC”的32位代碼“0x47413934”。此外，在它之后，排列8位用戶數據類型代碼(uSer_data_type_COde)。當設置 "user_data_type_code = 0x07”時，排列視差信息(caption_disparity_data)作為跟隨的數據主體。注意，當設置“uSer_data_type_COde = 0x03”時，排列CC數據(CC_data)作為數據主體，而當設置“uSer_data_type_COde = 0x06”時，排列條數據(bar_data)作為數據主體。接著，將描述視差信息(Capti0n_diSparity_data)的詳細配置。圖66圖示了視差信息的示例。圖67和圖68圖示了圖66中所示的配置中每一條信息的內容。“service number”是指定閉路字幕的信道的信息。“servicejumber與CEA-708中的“字幕服務”相關。當對于閉路字幕存在多個信道(例如，英語和日語)時，排列每一個信道的視差信息。 注意，“service_number = 0”指示在多個字幕窗口(Caption Window)之間共享一條視差信息(視差矢量)的特殊模式。"select_view_shift"是形成移位目標指定信息的2位信息。“SeleCt_VieW_Shift ”在要重疊在左眼圖像上的閉路字幕信息和要重疊在右眼圖像上的閉路字幕信息之中，指定基于視差信息移位的閉路字幕信息。例如，假設“SeleCt_ view_shift = 00” 表示備用。此外，例如，當設置“SeleCt_VieW_Shift = 01”時，指示僅將要重疊在左眼圖像上的閉路字幕信息在水平方向上移位與視差信息(視差)對應的量。這里，當視差信息(視差)是正值時，在右方向上移位要重疊在左眼圖像上的閉路字幕信息。相反，當視差信息 (視差)是負值時，在左方向上移位要重疊在左眼圖像上的閉路字幕信息。此外，例如，當設置“SeleCt_VieW_Shift = 10”時，指示僅將要重疊在右眼圖像上的閉路字幕信息在水平方向上移位與視差信息(視差)對應的量。這里，當視差信息(視差)是正值時，在右方向上移位要重疊在右眼圖像上的閉路字幕信息。相反，當視差信息 (視差)是負值時，在左方向上移位要重疊在右眼圖像上的閉路字幕信息。此外，例如，當設置“SeleCt_VieW_Shift = 11”時，指示在水平方向上以相反的方向移位要重疊在左眼圖像上的閉路字幕信息和要重疊在右眼圖像上的閉路字幕信息二者。 這里，當視差信息(視差)是偶數值時，當它是正值時，將要重疊在左眼圖像上的閉路字幕信息在右方向上移位與“視差/2”對應的量，而當它是負值時，在左方向上移位與“視差/2” 對應的量。此外，在視差信息(視差)是偶數值的情況下，當它是正值時，將要重疊在右眼圖像上的閉路字幕信息在左方向上移位與“視差/2”對應的量，而當它是負值時，在右方向上移位與“視差/2”對應的量。此外，在視差信息(視差)是奇數值的情況下，當它是正值時，將要重疊在左眼圖像上的閉路字幕信息在右方向上移位與“(視差+1)/2”對應的量，而當它是負值時，在左方向上移位與“(視差+1)/2”對應的量。例如，在視差信息(視差)是奇數值的情況下，當它是正值時，將要重疊在右眼圖像上的閉路字幕信息在左方向上移位與“(視差_1)/2”對應的量，而當它是負值時，在右方向上移位與“(視差-1)/2”對應的量。"number_of_caption_windows"是指示與視差信息(視差)相關聯的字幕窗口 (Caption Window)的數量的3位信息。字幕窗口的數量最多是八個。對于每一個字幕窗口排列視差信息(視差)。“captioruwindowjd”是指示CEA-708的“字幕窗口
，，的3 位信息。"temporal_extension_flag"是用于與"caption_window_id，，指示的字幕窗口對應的視差信息的1位標志信息。標志信息指示在閉路字幕信息的顯示幀時間段期間各個幀中共同使用的視差信息或者在各個幀中順序地更新的視差信息。當設置“temporal extensioruflag= 1”時，指示在顯示幀時間段期間各個幀中更新的視差信息的值。此外， 當設置“temporalextensioruflag = 0”時，使用相同的視差信息，而不更新顯示幀時間段期間各個幀中視差信息的值。“視差”是指示顯示幀時間段期間關于第一幀的視差信息的值的8位信息，并且取得范圍從-1 到 +127 的值。當設置上述“temporal_extension_flag = 0”時，與“caption_ wind0w_id”指示的字幕窗口對應的視差信息僅為8位信息，即“視差”。相反，當設置上述 "temporal_extension_flag = 1，，時，作為與“caption_window_id，，指示的字幕窗口對應的視差信息，除了關于8位“視差”的第一幀的視差信息之外，還存在關于第二和接下來的幀的視差信息。給出關于第二和接下來的幀的視差信息，作為相對于關于之前幀的視差信息的偏移信息。“nUmber_0f_frame_set”是指示在以11幀為單位劃分顯示幀時間段期間的第二和接下來的幀的數量的情況下，需要多少單位的8位信息。例如，在顯示幀時間段是30幀的情況下，第二和接下來的幀的數量是29，并且由“nUmber_0f_frame_set”指示的單位的數量是“3”。“offsetsequence”是用作相對于關于之前幀的視差信息的偏移信息的信息。 "offset_sequence = 00”指示偏移值是“0”。"offset_sequence = 01，，指示偏移值是“+1，，。 "offset_sequence = 10”指示偏移值是“_1，，。此外，"offset_sequence = 11”指示沒有向幀分配偏移值。在上述顯示幀時間段是30 幀的情況下，在以11幀為單位劃分30幀的情況下獲得的第三單位中，“offset_sequence_7” 及其后被設置為 “offset_sequence = 11”。“offset_precision”是指示上述“offset_sequence”指示的偏移值中的“1”的精度(換言之，具有“1”的像素數量)的1位信息。當設置“Offset_precision = 0”時，指示偏移值“1”表示一個像素。此外，當設置“offseLprecision = 1”時，偏移值“1”表示兩個像素。在圖63所示的發送數據產生單元IlOF中，以將包括用于顯示立體圖像的左眼圖像數據和右眼圖像數據的立體圖像數據包括在視頻基本流的有效載荷部分中的狀態對其進行發送。此外，以將CC數據和用于向基于CC數據的閉路字幕信息賦予視差的視差信息包括在視頻基本流的頭部部分的用戶數據區域中的狀態對其進行發送，以便可由用戶數據標識信息(user_data_type_code)識另lj。因此，在接收側，立體圖像數據可以從視頻基本流獲取，并且重疊信息的附加數據和視差信息可以易于獲取。此外，在接收側，通過使用視差信息，可以向重疊在左眼圖像和右眼圖像上的相同閉路字幕信息賦予適當的視差。因此，在重疊信息的顯示中，可以將重疊信息與圖像中每一個物體之間的透視的一致性維持到最佳狀態。此外，在圖63中所示的發送數據產生單元1IOF中，視差信息已經添加了移位目標指定信息(seleCt_VieW_shift)，其在要重疊在左眼圖像上的左眼閉路字幕信息和要重疊在右眼圖像上的右眼閉路字幕信息之中，指定基于視差信息移位的閉路字幕信息。因此， 移位目標指定信息使得可以僅移位左眼閉路字幕信息、僅移位右眼閉路字幕信息或移位二者，如期望的那樣。此外，在圖63中所示的發送數據產生單元IlOF中，選擇在預定數量的幀(其中顯示閉路字幕信息(字幕))中共同使用的視差信息或預定數量的幀中順序地更新的視差信息，作為視差信息。視差信息添加有指示它們之一的標志信息(temporalextensioru flag)。因此，根據例如圖像的內容，可以選擇性地發送各個幀中共同使用的視差信息或各個幀中順序地更新的視差信息。即，在圖像的運動很好大的情況下，發送各個幀中順序地更新的視差信息，并且在接收側，根據圖像的內容中的改變可以動態地改變要賦予重疊信息的視差。此外，在圖像的運動很小的情況下，發送在各個幀中共同使用的視差信息，因此允許視差信息的數據量的抑制。此外，在圖63中所示的發送數據產生單元IlOF中，各個幀中順序更新的視差信息被設計為包括在預定數量的幀的時間段期間關于第一幀的視差信息，以及相對于關于之前幀的視差信息的、關于第二和接下來的幀的偏移信息。因此，可以抑制視差信息的數據量。圖69圖示了圖66中所示的視差信息(caption_disparity_data)的配置中數據量(數據大小)的計算的示例。項(1-1)表示在對于八個字幕窗口的每一個，在閉路字幕信息的顯示時間段期間，在各個幀中共同使用一條視差信息的情況下的計算示例。在這種情況下，視差信息(Capti0n_diSparity_data)的數據量是18字節。此外，項(1-2)圖示了在使用一個字幕窗口或者對于所有字幕窗口使用相同視差信息的情況下以及在閉路字幕信息的顯示時段期間在各個幀中共同地使用一條視差信息的情況下的計算示例。在這種情況下，視差信息(capti0n_diSparity_data)的數據量是4字節。項O)圖示了在使用閉路字幕信息的顯示時間段的各個幀中順序地更新的視差信息用于八個字幕窗口的每一個的情況下以及在例如顯示時間段是5秒(150幀)的情況下的計算示例。在這種情況下，視差信息(capti0n_diSparity_data)的數據量是362字節。注意，通過示例，在其用途限于閉路字幕信息的視差信息的發送方面，已經圖示了圖63中所示的發送數據產生單元110F。盡管省略了詳細描述，但是例如，發送用途受限于任意其他重疊信息(如字幕信息)的視差信息的發送數據產生單元也以類似的方式配置。[機頂盒的描述]回來參考圖1，機頂盒200接收在廣播波上攜帶且從廣播站100發送的位流數據 (傳送流)。該位流數據包含包括左眼圖像數據和右眼圖像數據的立體圖像數據、音頻數據、重疊信息數據，并且還包含視差信息(視差矢量)。這里，重疊信息數據例如是字幕數據、圖形數據、文本數據(包括閉路字幕數據)等。機頂盒200包括位流處理單元201。該位流處理單元201從位流數據中提取立體圖像數據、音頻數據、重疊信息數據、視差矢量等。位流處理單元201使用立體圖像數據、重疊信息數據(字幕數據、圖形數據、文本數據)等以產生已經重疊了重疊信息的左眼圖像和右眼圖像的數據。這里，在將視差矢量作為數字信息發送的情況下，基于視差矢量和重疊信息數據產生要分別重疊在左眼圖像和右眼圖像上的左眼重疊信息和右眼重疊信息。在這種情況下，左眼重疊信息和右眼重疊信息為同一重疊信息。然而，例如，圖像中的右眼重疊信息被配置為相對于左眼重疊信息在水平方向上移位視差矢量的水平方向分量。圖70(a)圖示在發送方法為上述第二發送方法(“并排”方法)的情況下左眼圖形信息和右眼圖形信息的重疊位置。要重疊在右眼圖像頂上的右眼圖形信息RGI被設置為相對于要重疊在左眼圖像IL上的左眼圖形信息LGI在水平方向上移位視差矢量的水平方向分量VVT的位置處。注意，IT是空閑偏移值。在位流處理單元201中，產生圖形數據以便以如圖70(a)所圖示的方式在圖像IL 和頂上重疊各條圖形信息LGI和RGI。位流處理單元201將所產生的左眼圖形數據和右眼圖形數據與從位流數據提取的立體圖像數據(左眼圖像數據、右眼圖像數據)進行組合， 并獲取處理之后的立體圖像數據。根據立體圖像數據，如圖70(b)所示，觀察者可以與圖像 IL和頂一起觀察具有視差的各條圖形信息LGI和RGI，并且還能夠感覺圖形信息的透視。注意，圖71(a)圖示了在圖像IL和頂上照原樣重疊根據從位流數據提取的圖形數據的圖形圖像的狀態。在這種情況下，如圖71(b)所示，觀察者觀察連同左眼圖像IL的左半圖形信息和連同右眼圖像頂的右半圖形信息。因而，阻止了正確地識別圖形信息。雖然圖70圖示了圖形信息的情況，但對其他重疊信息(閉路字幕信息、字幕信息或文本信息)同樣如此。即，在將視差矢量作為數字信息發送的情況下，基于視差矢量和重疊信息數據產生要分別重疊在左眼圖像和右眼圖像上的左眼重疊信息和右眼重疊信息。在這種情況下，左眼重疊信息和右眼重疊信息為同一重疊信息。然而，例如，圖像中的右眼重疊信息的重疊位置被配置為關于左眼重疊信息在水平方向移位視差矢量的水平方向分量。這里，可以想到，將以下視差矢量用作賦予左眼重疊信息與右眼重疊信息之間的視差的視差矢量。例如，可以想到，將在圖像中的多個位置處檢測到的視差矢量之中，采用就透視而言被辨認為最近的位置處的視差矢量作為視差矢量。圖72(a)、72(b)、72 (c)和 72(d)圖示了時間TO、Tl、T2和T3處三個對象位置處的視差矢量(View Vector)。在時間TO處，與對象0對應的位置(H0，V0)處的視差矢量VV0-1是最大視差矢量 Max VV(TO)。在時間Tl處，與對象1對應的位置(H1，V1)處的視差矢量VVl-I是最大視差矢量Max VV(Tl)。在時間T2處，與對象2對應的位置(H2，V2)處的視差矢量VV2-2是最大視差矢量Max VV (T2)。在時間T3處，與對象3對應的位置(H3，V3)處的視差矢量VV3-0 是最大視差矢量Max VV (T3)。以這種方式，在圖像中的多個位置處檢測到的視差矢量之中，將就透視而言被辨認為最近的位置處的視差矢量用作視差矢量，因而可以將重疊信息顯示在就透視而言圖像中最近的對象的前面。圖73(a)圖示了圖像上的字幕(例如閉路字幕信息、字幕信息)的顯示示例。在這個顯示示例中，字幕被重疊在由背景和前景對象形成的圖像上。圖73(b)圖示了背景、前景對象和字幕的透視，并圖示了字幕被辨認為是最近的。圖74(a)圖示了與圖73(a)相同的、圖像上的字幕(例如閉路字幕信息、字幕信息)的顯示示例。圖74(b)圖示了用于顯示字幕的左眼字幕信息LGI和右眼字幕信息RGI。 圖74(c)圖示了將視差賦予各條字幕信息LGI和RGI以便允許被識別的字幕位于最近。此外，可以想到，在圖像中多個位置處檢測到的視差矢量(包括視差信息集中包括的每一層的每一個區域的視差矢量)之中，采用與其重疊位置對應的視差矢量作為視差矢量。圖75(a)圖示了根據從位流數據中提取的圖形數據的圖形信息以及根據從位流數據中提取的文本數據的文本信息。圖75 (b)圖示了已經將左眼圖形信息LGI和左眼文本信息LTI重疊在左眼圖像上的狀態。在這種情況下，在水平方向上通過空閑偏移值(IT-O)來調整左眼圖形信息LGI的重疊位置。此外，在水平方向上通過空閑偏移值(IT-I)來調整左眼文本信息LTI的重疊位置。圖75 (c)圖示了已經將右眼圖形信息RGI和右眼文本信息RTI重疊在右眼圖像上的狀態。在這種情況下，在水平方向上通過空閑偏移值(IT-O)來調整右眼圖形信息RGI的重疊位置，并且相對于左眼圖形信息LGI的重疊位置進一步移位與重疊位置對應的視差矢量的水平方向分量VVT-0。此外，在水平方向上通過空閑偏移值(IT-I)來調整右眼文本信息RTI的重疊位置，并且相對于左眼文本信息LTI的重疊位置進一步移位與重疊位置對應的視差矢量的水平方向分量WT-I。注意，在圖75中的示例中，圖示了相對于要重疊在左眼圖像上的相同圖形信息和文本信息，要重疊在右眼圖像上的圖形信息和文本信息的重疊位置的移位。也就是說，在圖 75的示例中，執行用于僅移位要重疊在右眼圖像上的圖形信息和文本信息的重疊位置的處理。然而，還可以想到，執行處理，以便移位左眼圖像和右眼圖像上的重疊位置二者。圖76(a)圖示了根據從位流數據提取的圖形數據的圖形信息以及根據從位流數據提取的文本數據的文本信息。圖76(b)圖示了在二維顯示中圖形信息GI和文本信息TI的重疊位置。在這種情況下，文本信息的重疊位置是(xl，yl)，而圖形信息的重疊位置是 (x2, y2)。圖76(c)圖示了已經在左眼圖像上重疊左眼圖形信息LGI和左眼文本信息LTI的狀態。在這種情況下，相對于二維顯示中圖形信息GI的重疊位置，將左眼圖形信息LGI在右方向上移位與該圖形信息對應的視差矢量Dl的像素數所對應的量。此外，相對于二維顯示中文本信息LTI的重疊位置，將左眼文本信息LTI在右方向上移位與該文本信息對應的視差矢量DO的像素數所對應的量。圖76(d)圖示了已經在右眼圖像上重疊右眼圖形信息RGI和右眼文本信息RTI的狀態。在這種情況下，相對于二維顯示中圖形信息GI的重疊位置，將右眼圖形信息RGI在左方向上移位與該圖形信息對應的視差矢量Dl的像素數所對應的量。此外，相對于二維顯示中文本信息LT的重疊位置，將右眼文本信息RTI在左方向上移位與該文本信息對應的視差矢量DO的像素數所對應的量。注意，在圖76(c)和(d)的示例中，通過示例的方式，將偏移的擴展應用左眼圖像和右眼圖像中的每一個，并且另外地設置以提供移位了與視差矢量的像素數對應的量。實際上，例如，如上述圖M中所示，偏移的擴展由“VieWS_0ffSet”表示，并且重疊信息相對于視差矢量移位的量由“Disparity_precision”表示。此外，圖77(a)圖示了從位流數據提取的兩個字幕窗口的各條閉路字幕信息 Cl( “字幕1”)和C2( “字幕2”)。圖77(b)圖示了在二維顯示中各條閉路字幕信息Cl和 C2的重疊位置。在這種情況下，閉路字幕信息Cl的重疊位置是(xl，yl)，并且閉路字幕信息C2的重疊位置是(x2, y2)。圖77 (c)圖示了已經在左眼圖像上重疊了各條左眼閉路字幕信息LCl和LC2的狀態。在這種情況下，相對于二維顯示中閉路字幕信息Cl的重疊位置，將左眼閉路字幕信息 LCl在右方向上移位了與閉路字幕信息對應的視差矢量DO的像素數所對應的量。此外，相對于二維顯示中閉路字幕信息C2的重疊位置，將左眼閉路字幕信息LC2在右方向上移位了與閉路字幕信息對應的視差矢量Dl的像素數所對應的量。圖77 (d)圖示了已經在右眼圖像上重疊了各條右眼閉路字幕信息RCl和RC2的狀態。在這種情況下，相對于二維顯示中閉路字幕信息Cl的重疊位置，將右眼閉路字幕信息 RCl在左方向上移位了與閉路字幕信息對應的視差矢量DO的像素數所對應的量。此外，相對于二維顯示中閉路字幕信息C2的重疊位置，將右眼閉路字幕信息RC2在左方向上移位了與閉路字幕信息對應的視差矢量Dl的像素數所對應的量。注意，在圖77(c)和圖77(d)的示例中，通過示例，將偏移的擴展應用于每一個左眼圖像和右眼圖像，并且另外地設置以提供移位了與視差矢量的像素數對應的量。實際上， 例如，如上述圖66中所示，例如，偏移的擴展由“select_View_shift”表示，并且相對于視差矢量移位重疊信息的量由“offset_precision”表示。已經給出了如下情況的以上描述其中，基于從位流數據提取的圖形數據的圖形信息或基于從位流數據提取的文本數據的文本信息被重疊在左眼圖像和右眼圖像上。除此之外，還可想到的是如下的情況其中，在機頂盒200中產生圖形數據或文本數據，并且其中在左眼圖像和右眼圖像上重疊基于數據的信息。即使在這種情況下，通過利用從位流數據提取出的圖像中的預定位置處的視差矢量，可以在左眼圖形信息和右眼圖形信息之間或者左眼文本信息和右眼文本信息之間引入視差。因此，可以在圖形信息或文本信息的顯示中給出適當的透視，以便在信息與圖像中的每一個對象之間維持透視的一致性。圖78(a)圖示了在圖像中對象A、B和C以及例如指示在對象附近的位置處的每一個對象的注釋的文本信息的重疊的存在。圖78(b)圖示了在將視差賦予指示對象A、B、C的注釋的文本信息的情況下，利用指示對象A、B和C的位置與該位置處的視差矢量之間的對應性的視差矢量列表以及各個視差矢量。例如，在對象A附近重疊文本信息“Text”，但在左眼文本信息與右眼文本信息之間賦予與對象A的位置(Ha，Va)處的視差矢量VV_a所對應的視差。注意，對于在對象B和C附近重疊的文本信息同樣如此。注意，圖75和圖76圖示了重疊信息包括圖形信息和文本信息的情況。此外，圖77 圖示了重疊信息是閉路字幕信息的情況。此外，圖78圖示了重疊信息是文本信息的情況。 雖然將省略詳細描述，但在其他重疊信息的情況下同樣如此。接下來，將描述這樣的情況在將視差矢量事先反映在重疊信息(例如，閉路字幕信息、字幕信息、圖形信息或文本信息)的數據中的同時發送視差矢量。在這種情況下，從位流數據中提取的重疊信息數據包含已經使用視差矢量賦予了視差的左眼重疊信息和右眼重疊信息的數據。因而，位流處理單元201簡單地將從位流數據提取的重疊信息數據與從位流數據提取的立體圖像數據(左眼圖像數據、右眼圖像數據)進行組合，并獲取處理后的立體圖像數據。注意，對于文本數據(包括閉路字幕數據)，例如將字符代碼轉換為位圖數據的處理是必須的。[機頂盒的示例配置]將描述機頂盒200的示例配置。圖79圖示了機頂盒200的示例配置。機頂盒200 包括位流處理單元201、HDMI端子202、天線端子203、數字調諧器204、視頻信號處理電路 205,HDMI發送單元206和音頻信號處理電路207。此外，機頂盒200包括CPU 211、閃速ROM 212、DRAM 213、內部總線214、遙控接收單元215和遙控發送器216。天線端子203是輸入由接收天線(未圖示)接收到的電視廣播信號的端子。數字調諧器204處理輸入到天線端子203的電視廣播信號，并輸出與用戶選擇的頻道對應的預定位流數據(傳送流)。如上所述，位流處理單元201從位流數據提取立體圖像數據(左眼圖像數據、右眼圖像數據)、音頻數據、重疊信息數據、視差信息(視差矢量)等。重疊信息數據包括字幕數據、圖形數據、文本數據(包括閉路字幕數據)等。如上所述，位流處理單元201將重疊信息(閉路字幕信息、字幕信息、圖形信息、文本信息等)的數據與立體圖像數據進行組合，并獲取顯示立體圖像數據。此外，位流處理單元201輸出音頻數據。下面將描述位流處理單元201的詳細配置。視頻信號處理電路205按照需要，對于從位流處理單元201輸出的立體圖像數據執行圖像質量調整處理等，并且將處理后的立體圖像數據供應到HDMI發送單元206。音頻信號處理電路207按照需要，對于從位流處理單元201輸出的音頻數據執行音頻質量調整處理等，并且將處理后的音頻數據供應到HDMI發送單元206。HDMI發送單元206使用遵循HDMI的通信，發送來自HDMI端子202的基帶圖像(視頻)和音頻的數據。在這種情況下，封裝圖像和音頻的數據，并經由HDMI TMDS信道將其從 HDMI發送單元206輸出到用于發送的HDMI端子202。下面將描述該HDMI發送單元206的細節。CPU 211控制機頂盒200的每一個單元的操作。閃速ROM 212存儲控制軟件并保存數據。DRAM 213構成CPU 211的工作區域。CPU 211將從閃速ROM 212讀取的軟件和數據擴展到DRAM 213上，以啟動軟件并控制機頂盒200的每一個單元。遙控接收單元215接收從遙控發送器216發送的遙控信號(遙控代碼)，并將該遙控信號供應到CPU 211。CPU 211基于該遙控代碼控制機頂盒200的每一個單元。CPU 211、 閃速ROM 212和DRAM 213連接到內部總線214。將簡要地描述機頂盒200的操作。將輸入到天線端子203的電視廣播信號供應到數字調諧器204。在數字調諧器204中，處理電視廣播信號，并且輸出與用戶選擇的通道對應的預定位流數據(傳送流)。將從數字調諧器204輸出的位流數據供應到位流處理單元201。在位流處理單元 201中，從位流數據提取立體圖像數據(左眼圖像數據、右眼圖像數據)、音頻數據、圖形數據、文本數據、視差矢量等。此外，在位流處理單元201中，將重疊信息(閉路字幕信息、字幕信息、圖形信息、文本信息等)的數據與立體圖像數據組合，并且產生顯示立體圖像數據。按照需要，由視頻信號處理電路205將由位流處理單元201產生的顯示立體圖像數據經歷圖像質量調整處理，并且其后供應到HDMI發送單元206。此外，按照需要，由音頻信號處理電路207將由位流處理單元201獲得的音頻數據經歷音頻質量調整處理，并且其后供應到HDMI發送單元206。將供應到HDMI發送單元206的立體圖像數據和音頻數據通過HDMI TMDS通道從HDMI端子202發送到HDMI線纜400。[位流處理單元的示例配置]圖80圖示位流處理單元201的示例配置。位流處理單元201具有這樣的配置使其對應于在圖2和圖62中所圖示的發送數據產生單元110和IlOE的配置。位流處理單元 201包括多路分用器220、視頻解碼器221、字幕/圖形解碼器222、文本解碼器223、音頻解碼器2 和視差矢量解碼器225。此外，位流處理單元201包括立體圖像字幕/圖形生成單元226、立體圖像文本生成單元227、視頻重疊單元2 和多聲道揚聲器控制單元229。多路分用器220從位流數據BSD提取視頻、音頻、視差矢量、字幕、圖形、文本等的包，并將所述包發送到各個解碼器。視頻解碼器221執行與上述發送數據產生單元110的視頻編碼器113的處理相反的處理。即，視頻解碼器221從由多路分用器220提取的視頻包重構視頻基本流，執行解碼處理，并獲得包括左眼圖像數據和右眼圖像數據的立體圖像數據。該立體圖像數據的發送方法的示例包括上述第一發送方法(“上下”方法)、第二發送方法(“并排”方法)、第三發送方法(“幀順序”方法)等(參看圖4(a)至4(c))。字幕/圖形解碼器222執行與上述發送數據產生單元110的字幕/圖形編碼器 119的處理相反的處理。即，字幕/圖形解碼器222從由多路分用器220提取的字幕或圖形的包重構字幕或圖形基本流。然后，字幕/圖形解碼器222進一步執行解碼處理來獲得字幕數據或圖形數據。文本解碼器223執行與上述發送數據產生單元110的文本編碼器121的處理相反的處理。即，文本解碼器223從由多路分用器220提取的文本的包重構文本基本流，并執行解碼處理來獲得文本數據(包括閉路字幕數據)。音頻解碼器2M執行與上述發送數據產生單元110的音頻編碼器117的處理相反的處理。即，音頻解碼器2M從由多路分用器220提取的音頻的包重構音頻基本流，并執行解碼處理來獲得音頻數據。視差矢量解碼器225執行與上述發送數據產生單元110的視差矢量編碼器115的處理相反的處理。即，視差矢量解碼器225從由多路分用器220提取的視差矢量的包重構視差矢量基本流，并執行解碼處理來獲得圖像中的預定位置處的視差矢量。立體圖像數據字幕/圖形生成單元2 產生要分別重疊在左眼圖像和右眼圖像上的左眼和右眼字幕信息或圖形信息。基于由解碼器222獲得的字幕數據或圖形數據和由解碼器225獲得的視差矢量執行該產生處理。在這種情況下，左眼和右眼字幕信息項或圖形信息項是同一信息。然而，例如，圖像中的右眼字幕信息或圖形信息的疊加位置被配置為相對于左眼字幕信息或圖形信息在水平方向上移位視差矢量的水平方向分量。然后，立體圖像數據字幕/圖形生成單元2 輸出所產生的左眼和右眼字幕信息或圖形信息的數據(位圖數據)。立體圖像文本生成單元227基于由解碼器223獲得的文本數據和由解碼器225 獲得的視差矢量，產生要分別重疊在左眼圖像和右眼圖像上的左眼文本信息和右眼文本信息。在這種情況下，左眼文本信息和右眼文本信息為同一文本信息。但是，圖像中的右眼文本信息的重疊位置被配置為相對于左眼文本信息在水平方向上移位視差矢量的水平方向分量。然后，立體圖像文本生成單元227輸出所產生的左眼文本信息和右眼文本信息的數據(位圖數據)。視頻重疊單元2 在由視頻解碼器221獲得的立體圖像數據(左眼圖像數據、右眼圖像數據)上重疊由生成單元2 和227生成的數據，并獲得顯示立體圖像數據Vout。 注意，通過使用系統層中的時間戳開始重疊信息數據在立體圖像數據(左眼圖像數據、右眼圖像數據)上的重疊。多聲道揚聲器控制單元2 對于由音頻解碼器2M獲得的音頻數據執行用于產生多聲道揚聲器的音頻數據的處理以實現例如5. 1-聲道環繞等、用于添加預定聲場特性的處理等。此外，多聲道揚聲器控制單元2 基于由解碼器225獲得的視差矢量控制多聲道揚聲器的輸出。提供了這樣的效果視差矢量的量值變得越大，則立體效果越明顯。按照立體程度控制多聲道揚聲器的輸出，因而可以實現提供進一步的立體體驗。圖81圖示了在以電視顯示器的方向觀看時左手側的視頻對象具有大視差矢量 VVl的情況下揚聲器輸出控制的示例。在這個控制示例中，多聲道揚聲器的左后揚聲器音量被設置為高，左前揚聲器音量被設置為中，并且進一步，右后揚聲器音量被設置為低。以這種方式，將視頻內容(立體圖像數據)的視差矢量應用到接收側上的其他媒體數據(諸如音頻數據)，因而使得可以允許觀看者以整體的方式體驗立體效果。將簡要地描述在圖80中圖示的位流處理單元201的操作。將從數字調諧器 204(參看圖79)輸出的位流數據BSD供應到多路分用器220。在多路分用器220中，從位流數據BSD提取視頻、音頻、視差矢量、字幕或圖形和文本的TS包，并供應到各個解碼器。
在視頻解碼器221中，根據從多路分用器220提取的視頻包重構視頻基本流，并進一步執行解碼處理，以獲得包括左眼圖像數據和右眼圖像數據的立體圖像數據。將該立體圖像數據供應到視頻重疊單元228。此外，在視差矢量解碼器225中，根據從多路分用器 220提取的視差矢量包重構視差矢量基本流，并進一步執行解碼處理，以獲得圖像中的預定位置處的視差矢量(參看圖8、圖四等)。在字幕/圖形解碼器222中，從由多路分用器220提取的字幕或圖形的包重構字幕或圖形基本流。在字幕/圖形解碼器222中，對于字幕或圖形基本流進一步執行解碼處理，并獲得字幕數據或圖形數據。將該字幕數據或圖形數據供應到立體圖像字幕/圖形生成單元226。也將由視差矢量解碼器225獲得的視差矢量供應到立體圖像字幕/圖形生成單元M6。在立體圖像字幕/圖形生成單元226中，產生要分別重疊在左眼圖像和右眼圖像上的左眼和右眼字幕信息項或圖形信息項的數據。基于由解碼器222獲得的字幕數據或圖形數據以及由解碼器225獲得的視差矢量執行該產生處理。在這種情況下，例如，圖像中的右眼字幕信息或圖形信息的重疊位置被配置為在水平方向上關于左眼字幕信息或左眼圖形信息移位視差矢量的水平方向分量。從該立體圖像字幕/圖形生成單元2 輸出所產生的左眼和右眼字幕信息項或圖形信息項的數據(位圖數據)。此外，在文本解碼器223中，從由多路分用器220提取的文本的TS包來重構文本基本流，并進一步執行解碼處理，以獲得文本數據。將該文本數據供應到立體圖像文本生成單元227。也將由視差矢量解碼器225獲得的視差矢量供應到該立體圖像文本生成單元 227。在立體圖像文本生成單元227中，基于由解碼器223獲得的文本數據和由解碼器 225獲得的視差矢量，產生要分別重疊在左眼圖像和右眼圖像上的左眼文本信息和右眼文本信息。在這種情況下，左眼文本信息和右眼文本信息為同一文本信息。但是，例如，圖像中右眼文本信息的重疊位置被配置為在水平方向上關于左眼文本信息移位視差矢量的水平方向分量。從立體圖像文本生成單元227輸出所產生的左眼文本信息和右眼文本信息的數據(位圖數據)。注意，在由視差矢量解碼器225獲得的視差矢量包括在視差信息集中的預定集的情況下，基于標識信息(DiSparity_kquence_id)，可以采用適于疊加信息的視差信息集。 即，通過使用相關聯的視差矢量，可以向疊加信息(如，閉路字幕信息、字幕信息等)賦予適當的視差。除了來自上述視頻解碼器221的立體圖像數據(左眼圖像數據、右眼圖像數據) 之外，還將從字幕/圖形生成單元2 和文本生成單元227輸出的數據供應到視頻重疊單元228。在視頻重疊單元228中，將由字幕/圖形生成單元2 和文本生成單元227生成的數據重疊在立體圖像數據(左眼圖像數據、右眼圖像數據)上，并獲得顯示立體圖像數據Vout。將顯示立體圖像數據Vout作為發送圖像數據經由視頻信號處理電路205供應到 HDMI發送單元206 (參看圖79)。此外，在音頻解碼器224中，根據由多路分用器220提取的音頻TS包重構音頻基本流，并進一步執行解碼處理，以獲得音頻數據。將音頻數據供應到多聲道揚聲器控制單元229。在多聲道揚聲器控制單元2 中，對于音頻數據執行用于產生多聲道揚聲器的音頻數據以實現例如5. 1聲道環繞等的處理、用于給出預定聲場特性的處理等。也將由視差矢量解碼器225獲得的視差矢量供應到多聲道揚聲器控制單元229。 然后，在多聲道揚聲器控制單元229中，基于視差矢量控制多聲道揚聲器的輸出。經由音頻信號處理電路207將由多聲道揚聲器控制單元2 獲得的多聲道音頻數據作為發送音頻數據供應到HDMI發送單元206 (參看圖79)。[對于重疊信息的視差的賦予]這里，將給出圖80中所示的位流處理單元201的立體圖像字幕/圖形生成單元 226和立體圖像文本生成單元227中對于重疊信息的視差的賦予的進一步描述。例如，如圖82和圖83所示，與圖像數據流、字幕或圖形數據流和文本數據流一起，從廣播站100(參見圖1)發送包括視差矢量的視差矢量流(參見圖8、圖四等)。在這種情況下，根據每一個特定時間段(如，編碼視頻的GOP (Group Of Pictures)、I (Intra Picture)畫面或場景)的開始定時，統一地發送與每一個特定時間段對應的預定單元下的視差矢量。例如，可以想到的是，預定單元是畫面(幀)單元、整數個畫面的單元等。例如，在立體圖像字幕/圖形生成單元226以及立體圖像文本生成單元227中，在重疊信息的重疊時間段期間，通過使用預定單元中的對應視差矢量(視差信息)，向重疊信息賦予視差。在圖82中添加到字幕(圖形)數據流和文本數據流的一部分的箭頭指示視差賦予預定單元中的重疊信息的定時。通過以這種方式將視差賦予重疊信息的配置，可以根據圖像內容的變化來動態地改變要賦予重疊信息的視差。此外，例如，在立體圖像字幕/圖形生成單元226以及立體圖像文本生成單元227 中，在重疊信息的重疊時間段期間，通過使用從與重疊時間段對應的視差矢量選擇的預定視差矢量(視差信息)，將視差賦予預定單元中的重疊信息。例如，預定視差矢量被設置為在對應于重疊時間段的視差信息內呈現最大視差的視差信息。在圖83中，添加到字幕(圖形)數據流和文本數據流的一部分的箭頭指示將視差賦予重疊信息的定時。在這種情況下，在重疊時間段開始的時候，將視差賦予重疊信息，其后，使用已經賦予了視差的重疊信息作為要重疊在左眼圖像和右眼圖像上的重疊信息。通過以這種方式將視差賦予重疊信息的配置，例如，可以將重疊信息的重疊時間段內的最大視差賦予重疊信息，而不管圖像內容如何。此外，例如，如圖84所示，從廣播站100(參見圖1)發送圖像數據、閉路字幕數據和圖形數據。視差信息集(參見圖29、圖31、圖33和圖36)作為視差矢量流發送。在這種情況下，根據每一個特定時間段(如，編碼視頻的GOP (Group Of Pictures)、I (Intra Picture)畫面、場景等)的開始定時，統一地發送與各個特定時間段對應的預定單元下的視差信息集。例如，可以想到的是，預定單元是畫面(幀)單元、整數個畫面的單元等。例如，在立體圖像字幕/圖形生成單元226以及立體圖像文本生成227中，在重疊信息的重疊時間段期間，在預定單元中，使用對應的視差矢量(視差信息)，將視差賦予重疊信息。在圖84中，添加到閉路字幕數據和圖形數據的一部分的箭頭指示將視差賦予預定單元中的重疊信息的定時。通過以這種方式將視差賦予重疊信息的配置，可以根據圖像重疊信息的內容的改變，動態地改變要賦予重疊信息的視差。“位流處理單元的另一示例配置”
圖85中所示的位流處理單元201A具有對應于圖13和圖22中所示的上述發送數據產生單元IlOA和IlOD的配置。在圖85中，對應于圖80的部分以同樣的附圖標記表示， 并且將省略其詳細描述。代替圖72中的位流處理單元201的視差矢量解碼器255，位流處理單元20IA提供有視差矢量獲取單元231。視差矢量獲取單元231從通過視頻解碼器221獲得的視頻流中獲取嵌入其用戶數據區域的視差矢量。然后，視差矢量獲取單元231將所提取的視差矢量供應到立體圖像字幕/圖形生成單元226、立體圖像文本生成單元227和多聲道揚聲器控制單元2四。盡管將省略詳細描述，但是圖85中所圖示的位流處理單元201A的其他組件以與圖80中所圖示的位流處理單元201的那些類似的方式配置，并且以類似的方式工作。[對于重疊信息的視差的賦予]這里，將給出關于在圖85中所示的位流處理單元201A的立體圖像字幕/圖形生成單元226以及立體圖像文本生成單元227中對于重疊信息的視差的賦予的進一步描述。例如，如圖86所示，從廣播站100(參見圖1)發送圖像數據流、字幕或圖形數據流以及文本數據流。接下來，通過將視差矢量(參見圖8、圖四等)嵌入圖像數據流來發送視差矢量。在這種情況下，在圖像數據的預定單元(如，在編碼視頻的畫面單元)中，以將與預定單元對應的視差矢量嵌入圖像數據流的狀態來對其進行發送。在立體圖像字幕/圖形生成單元226以及立體圖像文本生成單元227中，在重疊信息的重疊時間段期間，在預定單元中，通過使用對應的視差矢量(視差信息)，將視差賦予重疊信息。在圖86中，添加到字幕(圖形)數據流和文本數據流的一部分的箭頭指示將視差賦予預定單元中的重疊信息的定時。通過以這種方式將視差賦予重疊信息的配置，可以根據圖像內容的改變，來動態地改變賦予重疊信息的視差。此外，例如，如圖87和圖88所示，從廣播站100(參見圖1)發送圖像數據流、字幕或圖形數據流以及文本數據流。接下來，以將視差矢量(參見圖8、圖四等)嵌入圖像數據流的狀態來對其進行發送。在這種情況下，根據每一個特定時間段(如，編碼視頻的G0P、I 畫面或場景)的開始定時，統一地發送與各個特定時間段對應的每一個預定單元的視差矢量。例如，可以想到的是，預定單元是畫面(幀)單元、整數個畫面的單元等。例如，在立體圖像字幕/圖形生成單元226以及立體圖像文本生成單元227中，在重疊信息的重疊時間段期間，在預定單元中，通過使用對應的視差矢量(視差信息)，將視差賦予重疊信息。在圖87中，添加到字幕(圖形)數據流和文本數據流的一部分的箭頭指示將視差賦予預定單元中的重疊信息的定時。通過以這種方式將視差賦予重疊信息的配置，可以根據圖像內容的改變，來動態地改變賦予重疊信息的視差。此外，例如，在立體圖像字幕和圖形生成單元226以及立體圖像文本生成單元227 中，在重疊信息的重疊時間段期間，在預定單元中，通過使用從與重疊時間段對應的各視差矢量之中選擇出的預定視差矢量(視差信息)，將視差賦予重疊信息。預定視差矢量例如被設置為在對應于重疊時間段的視差信息內呈現最大視差的視差信息。在圖88中，添加到字幕(圖形)數據流和文本數據流的一部分的箭頭指示將視差賦予重疊信息的定時。在這種情況下，在重疊時間段開始的時候，將視差賦予重疊信息，并且其后，使用已經賦予了視差的重疊信息，作為要重疊在左眼圖像和右眼圖像上的重疊信息。通過以這種方式將視差賦予重疊信息的配置，例如，可以向重疊信息賦予重疊信息的重疊時間段內的最大視差，而不管圖像內容如何。此外，例如，如圖89所示，從廣播站100 (參見圖1)發送圖像數據、閉路字幕數據和圖形數據。以將視差信息集(參見圖四、圖31、圖33和圖36)嵌入圖像數據流的狀態來對其進行發送。在這種情況下，根據與每一個特定時間段(如，編碼視頻的G0P、I畫面或場景)的開始定時，統一地發送與各個特定時間段對應的預定單元中的視差信息集。例如，可以想到的是，預定單元是畫面(幀)單元、整數個畫面的單元等。例如，在立體圖像字幕/圖形生成單元226以及立體圖像文本生成單元227中，在重疊信息的重疊時間段期間，在預定單元中，通過使用對應的視差矢量(視差信息)，將視差賦予重疊信息。在圖89中，添加到閉路字幕數據和圖形數據的一部分的箭頭指示將視差添加到預定單元中的重疊信息的定時。通過以這種方式將視差賦予重疊信息的配置，可以根據圖像內容的改變，來動態地改變要賦予重疊信息的視差。“位流處理單元的另一示例配置”圖90中所示的位流處理單元201B具有對應于圖15中所示的上述發送數據產生單元IlOB的配置。在該圖90中，對應于圖80的部分以同樣的附圖標記表示，并且將省略其詳細描述。代替圖80中所示的位流處理單元201的視差矢量解碼器255，位流處理單元201B 提供有視差矢量獲取單元232。視差矢量獲取單元232從通過字幕/圖形解碼器222獲得的字幕或圖形流獲取其中嵌入的視差矢量。接下來，該視差矢量獲取單元232將獲取的視差矢量提供到立體圖像字幕/圖形生成單元226、立體圖像文本生成單元227和多聲道揚聲器控制單元229。盡管將省略詳細描述，但是圖90中所示的位流處理單元201B的其他組件以與圖 80中所示的位流處理單元201類似的方式配置，并且以類似的方式工作。注意，在圖90中的位流處理單元201B中對于重疊信息的視差的賦予與上述圖85中的位流處理單元201A 中對于重疊信息的視差的賦予類似(參見圖86到圖89)。“位流處理單元的另一示例配置”圖91中所圖示的位流處理單元201C具有對應于圖21中所圖示的上述發送數據產生單元IlOC的配置。在圖91中，對應于圖80的部分以同樣的附圖標記表示，并且將省略其詳細描述。位流處理單元201C被配置為從圖80中所示的位流處理單元201中除去視差矢量解碼器255、立體圖像字幕/圖形生成單元226以及立體圖像文本生成單元227。在這種情況下，視差矢量預先反映在字幕信息、圖形信息和文本信息的數據中。如上所述，發送的字幕數據或圖形數據包括要重疊在左眼圖像上的左眼字幕信息或圖形信息的數據以及要重疊在右眼圖像上的右眼字幕信息或圖形信息的數據。類似地，如上所述，發送的文本數據包括要重疊在左眼圖像上的左眼文本信息的數據以及要重疊在右眼圖像上的右眼文本信息的數據。因此，視差矢量解碼器255、立體圖像字幕/圖形生成單元226以及立體圖像文本生成單元227是不需要的。注意，由于由文本解碼器223獲得的文本數據是代碼數據(字符代碼)，因此需要用于將其轉換為位圖數據的處理。例如，在文本解碼器223的最終級執行該處理，或者在視頻重疊單元228的輸入級執行該處理。“位流處理單元的另一示例配置”圖92中所示的位流處理單元201C具有對應于圖63中所示的上述發送數據產生單元IlOF的配置。在圖92中，與圖80中的那些組件對應的組件分配了相同的附圖標記， 并且適當地省略其描述。位流處理單元201D包括多路分用器220、視頻解碼器221、音頻解碼器224、視頻重疊單元2 和多聲道揚聲器控制單元229。此外，位流處理單元20ID包括視差信息獲取單元235、CC解碼器233和立體圖像CC生成單元234。如上所述，CC數據和視差信息嵌入到從圖63中所示的發送數據產生單元IlOF的視頻編碼器113輸出的視頻基本流的頭部部分中的用戶數據區域中，以便可以由用戶數據類型代碼(用戶數據標識信息)來識別CC數據和視差信息。CC解碼器233從通過視頻解碼器221獲得的視頻基本流中獲取CC數據。此外， CC解碼器223對于每一個字幕窗口(Caption Window)，獲取閉路字幕信息(字幕的字符代碼)，并且進一步從CC數據獲取重疊位置和顯示時間的控制數據。然后，CC解碼器233將閉路字幕信息以及重疊位置和顯示時間的控制數據提供到立體圖像CC生成單元234。視差信息獲取單元235從通過視頻解碼器221獲得的視頻基本流中獲取視差信息。視差信息與每一個字幕窗口(Caption Window)的閉路字幕數據(字幕的字符代碼) 有關，其由上述CC解碼器233獲取。視差信息已經添加了在要重疊在左眼圖像上的閉路字幕信息和要重疊在右眼圖像上的閉路字幕信息之中指定要基于視差信息移位的閉路字幕信息的移位目標指定信息。視差信息獲取單元235與由CC解碼器233獲取的、每一個字幕窗口的閉路字幕數據對應地，獲取要在基于該數據的閉路字幕信息的顯示幀時間段中使用的視差信息。例如， 視差信息是在閉路字幕信息的顯示幀時間段期間各個幀中共同使用的視差信息，或者是在各個幀中順序更新的視差信息。視差信息已經添加了指示在顯示幀時間段期間各個幀中共同使用的視差信息或在顯示幀時間段期間各個幀中順序更新的視差信息的標志信息。視差信息獲取單元235獲取有關第一幀的視差信息以及關于第二和接下來的幀相對于有關之前幀的視差信息的偏移信息，作為在各個幀中順序更新的視差信息。如上所述，有關第二和接下來的幀的視差信息被設置為相對于有關之前幀的視差信息的偏移信息。此外，視差信息獲取單元235獲取例如有關第一幀的視差信息作為在各個幀中共同使用的視差信息。立體圖像CC生成單元2；34對于每一個字幕窗口(Caption Window)產生分別要重疊在左眼圖像和右眼圖像上的左眼閉路字幕信息(字幕)和右眼閉路字幕信息(字幕)的數據。該產生處理基于由CC解碼器233獲得的閉路字幕數據和重疊位置控制數據以及由視差信息獲取單元235獲取的視差信息(視差矢量)來執行。立體圖像CC生成單元234基于移位目標指定信息，執行用于將視差賦予左眼閉路字幕信息和右眼閉路字幕信息之一或二者的移位處理。此外，立體圖像CC生成單元234根據由視差信息獲取單元235獲取的視差信息是各個幀中共同使用的視差信息還是各個幀中順序更新的視差信息、以如下方式將視差賦予閉路字幕信息。即，當獲取的視差信息是各個幀中共同使用的視差信息時，立體圖像CC生成單元234基于公共視差信息，將視差賦予要重疊在左眼圖像和右眼圖像上的閉路字幕信息。相反，當獲取的視差信息是各個幀中順序更新的視差信息時，立體圖像CC生成單元234基于每幀更新的視差信息，將視差賦予要重疊在左眼圖像和右眼圖像上的閉路字幕信息。如上所述，各個幀中順序更新的視差信息例如由有關幀的視差信息和關于第二和接下來的幀相對于之前幀的視差信息的偏移信息組成。在這種情況下，在第一幀中，基于有關第一幀的視差信息，將視差賦予要重疊在左眼圖像和右眼圖像上的閉路字幕信息。然后， 在第二和接下來的幀中，參照已經將視差賦予之前幀的狀態，通過與偏移信息對應的量，進一步將視差賦予要重疊在左眼圖像和右眼圖像上的閉路字幕信息。圖93圖示了基于各個幀中順序更新的視差信息，將視差賦予要重疊在左眼圖像和右眼圖像上的閉路字幕信息的處理。在第一幀(幀N)中，基于有關第一幀的視差信息 DPO執行移位處理，并且將視差賦予左眼閉路字幕信息LC和右眼閉路字幕信息RC。在接下來的幀(幀N+1)中，對于各條信息LC和RC進一步執行“+1”量(其為相對于幀(幀N)的狀態的偏移信息(差分，Differential))的移位處理。在接下來的幀(幀N+2)中，對于各條信息LC和RC進一步執行“+1”量(其為相對于幀(幀N+1)的狀態的偏移信息)的移位處理。在接下來的幀(幀N+； )中，由于偏移信息是“0”，因此將各條信息LC和RC的移位狀態維持到與幀(幀N+2)相同的狀態。此外，在接下來的幀(幀N+3)中，對于各條信息LC和RC進一步執行“+1”量(其為相對于幀(幀 N+3)的狀態的偏移信息)的移位處理。視頻重疊單元2 將由立體圖像CC生成單元2；34獲得的左眼和右眼閉路字幕信息的數據重疊在由視頻解碼器221獲得的立體圖像數據(左眼圖像數據、右眼圖像數據) 上，并獲得顯示立體圖像數據Vout。注意，使用系統層中的時間戳來開始立體圖像數據中閉路字幕信息的數據的重疊。此外，基于關于閉路字幕信息的顯示時間的控制數據來控制重疊持續時間。盡管省略了詳細描述，但是圖92中所示的位流處理單元201D的其他組件以與圖 80中所示的位流處理單元201的那些類似的方式配置。將簡要描述圖92中所示的位流處理單元201D的操作。將從數字調諧器204(參見圖79)輸出的位流數據BSD提供到多路分用器220。在多路分用器220中，從位流數據 BSD提取視頻和音頻的TS包，并將其提供到各個解碼器。在視頻解碼器221中，根據從多路分用器220提取的視頻包重構視頻的基本流，并且進一步執行解碼處理以獲得包括左眼圖像數據和右眼圖像數據的立體圖像數據。將立體圖像數據提供到視頻重疊單元228。此外，將由視頻解碼器221重構的視頻基本流提供到CC解碼器223。在CC解碼器223中，從視頻基本流獲取CC數據。然后，在CC解碼器223中，從CC數據獲取閉路字幕信息(字幕的字符代碼)以及進一步每一個字幕窗口(Caption Window)的重疊位置和顯示時間的控制數據。將閉路字幕信息以及重疊位置和顯示時間的控制數據提供到立體圖像 CC生成單元234。此外，將由視頻解碼器221重構的視頻基本流提供到視差信息獲取單元235。在視差信息獲取單元235中，從視頻基本流獲取視差信息。視差信息與由上述CC解碼器233獲取的每一個字幕窗口(Caption Window)的閉路字幕數據(字幕的支持代碼)相關。將視差信息提供到立體圖像CC生成單元234。
在立體圖像CC生成單元234中，對于每一個字幕窗口(Caption Window)，產生分別要重疊在左眼圖像和右眼圖像上的左眼閉路字幕信息(字幕)和右眼閉路字幕信息(字幕)的數據。基于由CC解碼器233獲得的閉路字幕數據和重疊位置控制數據并基于由視差信息獲取單元235獲取的視差信息(視差矢量)來執行該產生處理。在立體圖像CC生成單元234中，基于視差信息中包括的移位目標指定信息，執行用于將視差賦予左眼閉路字幕信息和右眼閉路字幕信息之一或二者的移位處理。在這種情況下，當由視差信息獲取單元235獲取的視差信息是各個幀中共同使用的視差信息時，基于公共的視差信息，將視差賦予要重疊在左眼圖像和右眼圖像上的閉路字幕信息。此外，當由視差信息獲取單元235獲取的視差信息是各個幀中順序更新的視差信息時，基于每幀更新的視差信息，將視差賦予要重疊在左眼圖像和右眼圖像上的閉路字幕信息(參見圖93)。以這種方式，將由每一個字幕窗口(Caption Window)的立體圖像CC生成單元234 產生的左眼和右眼閉路字幕信息項的數據(位圖數據)與顯示時間的控制數據一起，提供到視頻重疊單元228。在視頻重疊單元228中，將從立體圖像CC生成單元234提供的閉路字幕信息的數據重疊在由視頻解碼器221獲得的立體圖像數據(左眼圖像數據、右眼圖像數據)上，并獲得顯示立體圖像數據Vout。此外，在音頻解碼器224中，從由多路分用器220提取的音頻的TS包來重構音頻的基本流，并且進一步執行解碼處理，以獲得音頻數據。將音頻數據提供到多聲道揚聲器控制單元229。在多聲道揚聲器控制單元2 中，對于音頻數據執行用于產生多聲道揚聲器的音頻數據以實現5. 1聲道環繞等的處理、用于給出預定聲場特性的處理等。然后，從多聲道揚聲器控制單元2 獲得多聲道揚聲器的輸出。在圖92中所示的位流處理單元201D中，可以從視頻基本流的有效載荷部分獲取立體圖像數據，并且此外，可以從頭部部分的用戶數據區域獲取CC數據和視差信息。在這種情況下，在用戶數據區域中包括CC數據和視差信息，以便CC數據和視差信息可以由用戶數據標識信息(uSer_data_type_COde)來識別。因此，基于用戶數據標識信息，從用戶數據區域，與CC數據一起可以順利地獲取視差信息。此外，在圖92中所示的位流處理單元201D中，使用適于閉路字幕信息的視差信息，可以將適當的視差賦予要重疊在左眼圖像和右眼圖像上的閉路字幕信息。因此，在閉路字幕信息的顯示中，可以將信息與圖像中每一個對象之間的透視的一致性維持到最佳狀態。此外，在圖92中所示的位流處理單元201D中，基于添加到視差信息的移位目標指定信息(SeleCt_View_Shift)，可以執行僅左眼閉路字幕信息的移位、僅右眼閉路字幕信息的移位或者二者的移位。換言之，可以將反映發送側意圖(intension)的視差賦予左眼閉路字幕信息和右眼閉路字幕信息。此外，在圖92中所示的位流處理單元201D中，接收在閉路字幕信息的顯示時間段期間在各個幀中共同使用的視差信息或在各個幀中順序更新的視差信息。可以使用標志信息(temporalextensioruflag)來確定已經接收了它們中的哪些。然后，在接收到的視差信息是各個幀中順序更新的視差信息時，可以根據圖像內容的改變來動態地改變要賦予閉路字幕信息的視差。此外，在接收到的視差信息是各個幀中共同使用的視差信息時，可以減小處理負荷，并且也可以抑制存儲視差信息的存儲器的容量。
注意，通過示例，在用途限于閉路字幕信息的視差信息的接收方面，已經圖示了圖 92中所示的位流處理單元201D。盡管省略了詳細描述，但是，例如，接收并處理用途限于任何其他重疊信息(如，字幕信息)的視差信息的位流處理單元也可以以類似的方式配置。[機頂盒的另一示例配置]圖94圖示了機頂盒200A的另一示例配置。在圖94中，對應于圖79和圖85的部分以相同的附圖標記表示，并且將適當地省略其詳細描述。機頂盒200A包括位流處理單元 201D、HDMI端子202、天線端子203、數字調諧器204、視頻/圖形處理電路205A、HDMI發送單元206以及音頻信號處理電路207。此外，機頂盒200A包括CPU 211、閃速ROM 212,DRAM 213、內部總線214、遙控接收單元215、遙控發送器216、網絡端子217和以太網接口 218。注意，“以太網”是注冊商標。位流處理單元201D從由數字調諧器204獲得的位流數據BSD提取立體圖像數據 (左眼圖像數據、右眼圖像數據)、音頻數據、重疊信息數據、視差信息(視差矢量)等。在該示例中，重疊信息數據是字幕數據。位流處理單元201D具有與圖77中所示的位流處理單元201A基本上類似的配置。位流處理單元201D包括多路分用器220A、視頻解碼器221、字幕解碼器222k和音頻解碼器224。此外，位流處理單元201D包括立體圖像字幕/圖形生成單元226A、視頻重疊單元2 和視差矢量獲取單元231。多路分用器220A從位流數據BSD提取視頻、音頻和字幕的包，并將其發送到各個解碼器。視頻解碼器221根據由多路分用器220A提取的視頻包重構視頻基本流，并執行解碼處理，以獲得包括左眼圖像數據和右眼圖像數據的立體圖像數據。字幕解碼器222A根據由多路分用器220A提取的字幕包重構字幕基本流。接下來，字幕解碼器222k進一步執行解碼處理，以獲得字幕數據。音頻解碼器2M根據由多路分用器220A提取的音頻包重構音頻基本流，執行解碼處理，以獲得音頻數據，并將其輸出到位流處理單元201的外部。視差矢量獲取單元231從通過視頻解碼器221獲得的視頻流獲取嵌入在其用戶數據區域中的視差矢量(視差信息集)。接下來，視差矢量獲取單元231將獲取的視差矢量提供到立體圖像字幕生成單元226，并且還輸出到位流處理單元201D的外部。立體圖像字幕生成單元226A分別生成要疊加在左眼圖像和右眼圖像上的左眼和右眼字幕信息項。該生成處理基于由字幕解碼器222A獲得的字幕數據以及從視差矢量獲取單元231提供的視差矢量(視差信息集)來執行。在這種情況下，左眼和右眼字幕信息項是同一信息。然而，圖像中的右眼字幕信息或圖形信息的重疊位置被配置為關于左眼字幕信息或圖形信息在水平方向上移位視差矢量的水平方向分量。接下來，立體圖像字幕生成單元226A輸出左眼和右眼字幕信息項的數據(位圖數據)。視頻重疊單元2 將由字幕生成單元226A生成的左眼和右眼字幕信息項的數據重疊在由視頻解碼器221獲得的立體圖像數據(左眼圖像數據、右眼圖像數據)上，并獲得顯示立體圖像數據。注意，通過使用系統層中的時間戳來開始立體圖像數據(左眼圖像數據、右眼圖像數據)上的重疊信息數據的重疊。接下來，視頻重疊單元2 將顯示立體圖像數據輸出到位流處理單元201D的外部。以太網接口 2 經由網絡端子227連接到圖中未示出的網絡(如，因特網等)。以太網接口 2 還可以根據用戶的操作，通過使用Widget (窗口小部件)，經由網絡獲得要經歷圖形顯示的各種信息(例如，天氣預報、股票市場信息)。以太網接口 2 連接到內部總線 214。根據需要，視頻/圖形處理電路205對于從位流處理單元201D輸出的立體圖像數據執行圖像質量調整處理。此外，視頻/圖形處理電路205A例如將根據Widget的圖形信息的數據重疊在從位流處理單元201D輸出的顯示立體圖像數據中。將從上述位流處理單元201D輸出的視差矢量(視差信息集)提供到視頻/圖形處理電路205A。視頻和圖形處理電路205A基于該視差矢量(視差信息集)，將視差賦予要重疊在左眼圖像和右眼圖像上的同一圖形信息。因此，在圖像中根據每一對象的透視已經經歷了視差調整的圖形信息可以用作要重疊在左眼圖像和右眼圖像上的相同圖形信息，并且在該圖形信息的顯示中，可以設計維持信息與圖像中每一個對象之間的透視的一致性。視頻/圖形處理電路205A將處理后的顯示立體圖像數據提供到HDMI發送單元 206。根據需要，音頻信號處理電路207對于從位流處理單元201D輸出的音頻數據執行音頻質量調整處理等，并將處理后的音頻數據提供到HDMI發送單元206。HDMI發送單元206 通過使用遵循HDMI的通信，從HDMI端子202發送基帶圖像(視頻)和音頻的數據。在這種情況下，HDMI發送單元206為了通過使用HDMI TMDS通道發送數據，封包圖像和音頻的數據，并將數據輸出到HDMI端子202。盡管將省略詳細描述，但是圖94中所示的機頂盒200A的其他組件以與圖79中所示的機頂盒200類似的方式配置。將簡要描述圖94中所示的機頂盒200A的操作。將輸入到天線端子203的電視廣播信號提供到數字調諧器204。在數字調諧器204中，處理電視廣播信號，并獲得支持用戶選擇的頻道的預定位流數據BSD。將位流數據BSD提供到位流處理單元201D。在位流處理單元201D中，從位流數據提取立體圖像數據(左眼圖像數據、右眼圖像數據)、音頻數據、字幕數據、視差矢量(視差信息集)等。此外，在位流處理單元201D 中，將字幕信息的數據與立體圖像數據組合，并產生顯示立體圖像數據。在這種情況下，在位流處理單元201D中，基于視差矢量，將視差賦予要重疊在左眼圖像和右眼圖像上的相同的字幕信息。因此，已經經歷了根據圖像中獲得的每一個的透視的視差調整的字幕信息可以用作要重疊在左眼圖像和右眼圖像上的相同的字幕信息，并且在字幕信息的顯示中，設計維持信息與圖像中每一個對象之間的透視的一致性。根據需要，由視頻和圖像處理電路205A使得由位流處理單元201D產生的顯示立體圖像數據經歷圖像質量調整處理。此外，在視頻和圖形處理電路205A中，根據需要，將根據Widget (窗口小部件)的圖形信息的數據與由位流處理單元201D產生的顯示立體圖像數據組合。在這種情況下，在視頻/圖形處理電路205A中，基于從位流處理單元20ID提供的視差矢量(視差信息集)，將視差賦予要重疊在左眼圖像和右眼圖像上的相同的圖形信息。 因此，已經經歷了根據圖像中每一個對象的透視的視差調整的圖形信息可以用作要重疊在左眼圖像和右眼圖像上的相同的圖形信息，并且在圖形信息的顯示中，設計維持信息與圖像中每一個對象之間的透視的一致性。將從視頻/圖形處理電路205A獲得的處理后的顯示立體圖像數據提供到HDMI發送單元206。此外，根據需要，由音頻信號處理電路207使得由位流處理單元201D獲得的音頻數據經歷音頻質量調整處理等，然后提供到HDMI發送單元206。通過HDMI TMDS通道，將提供到HDMI發送單元206的立體圖像數據和音頻數據從HDMI端子202發送到HDMI線纜 400。在圖94中所示的機頂盒200A中，在位流處理單元201D中，基于由位流處理單元 201D的視差矢量獲取單元231獲取的視差矢量(視差信息集)，將視差賦予要重疊在左眼圖像和右眼圖像上的相同的字幕信息。此外，在視頻/圖形處理電路205A，基于視差矢量 (視差信息集)，將視差賦予要重疊在左眼圖像和右眼圖像上的相同的圖形信息。因此，不僅在從廣播站發送的字幕信息，而且在該機頂盒200A中產生的圖形信息的顯示中，可以設計維持信息與圖像中的每一個對象之間的透視的一致性。圖95圖示了在圖94中所示的機頂盒200A中，左眼圖像和右眼圖像上的字幕信息和圖形信息的重疊示例。圖95(a)圖示了左眼圖像。在位流處理單元201D中，將字幕信息 "Subtitle 1”重疊在位置(xl，yl)，并且將字幕信息“Subtitle 2”重疊在位置(x2, y2)。 此外，在視頻/圖形處理電路205A中，將圖形信息“Graphics 1”重疊在位置(x3，y3)。圖95(b)圖示了右眼圖像。在位流處理單元201D中，將字幕信息“Subtitlel”重疊在關于左眼圖像上的重疊位置，基于對應的視差矢量移位了偏移l(0ffset 1)的位置。 類似地，在位流處理單元201D中，將字幕信息“Subtitle2”重疊在關于左眼圖像上的重疊位置，基于對應的視差矢量移位了偏移2 (Offset 2)的位置。此外，在視頻/圖形處理電路 205A中，將圖形信息“Graphicsl”重疊在關于左眼圖像上的重疊移位了偏移3(0ffset 3) 的位置。注意，在圖94中所示的機頂盒200A中，位流處理單元201D處理字幕信息，并且另外，視頻/圖形處理電路205A處理圖形信息。但是，還以類似的方式配置處理其他重疊信息的裝置。[電視接收機的描述]返回到圖1，電視接收機300經由HDMI線纜400接收從機頂盒200發送的立體圖像數據。電視接收機300包括3D信號處理單元301。3D信號處理單元301對于立體圖像數據執行與發送方法對應的處理(解碼處理)，并產生左眼圖像數據和右眼圖像數據。即，3D 信號處理單元301執行與圖2、圖13、圖15和圖21中所示的發送數據產生單元110、110A、 IlOB和IlOC中的視頻成幀單元112相反的處理。接下來，3D信號處理單元301獲得構成立體圖像數據的左眼圖像數據和右眼圖像數據。[電視接收機的示例配置]將描述電視接收機300的示例配置。圖96圖示了電視接收機300的示例配置。電視接收機300包括3D信號處理單元301、HDMI端子302、HDMI接收單元303、天線端子304、 數字調諧器305和位流處理單元306。此外，電視接收機300包括視頻/圖形處理電路307、面板驅動電路308、顯示面板 309、音頻信號處理電路310、音頻放大電路311和揚聲器312。此外，電視接收機300包括 CPU 321、閃速ROM 322、DRAM 323、內部總線324、遙控接收單元325和遙控發送器326。天線端子304是用于輸入由接收天線(未示出)接收到的電視廣播信號的端子。 數字調諧器305處理輸入到天線端子304的電視廣播信號，并輸出與用戶選擇的頻道對應的預定位流數據(傳送流)。
位流處理單元306被配置為具有與圖79中所示的機頂盒200的位流處理單元201 類似的配置。位流處理單元306從位流數據中提取立體圖像數據(左眼圖像數據、右眼圖像數據)、音頻數據、重疊信息數據、視差矢量(視差信息)等。重疊信息數據包括字幕數據、圖形數據、文本數據(包括閉路字幕數據)等。位流處理單元306將重疊信息處理與立體圖像數據組合，并獲得顯示立體圖像數據。此外，位流處理單元306輸出音頻數據。HDMI接收單元303通過使用遵循HDMI的通信，經由HDMI線纜400接收提供到 HDMI端子302的非壓縮圖像數據和音頻數據。例如，假設HDMI接收單元303的版本例如是 HDMI 1.4，并且可以處理立體圖像數據。稍后將描述該HDMI接收單元303的細節。3D信號處理單元301對于由HDMI接收單元303接收到的、或者由位流處理單元 306獲得的立體圖像數據執行解碼處理，并產生左眼圖像數據和右眼圖像數據。在這種情況下，3D信號處理單元301對于由位流處理單元306獲得的立體圖像數據執行與發送方法 (參見圖4)對應的解碼處理。此外，3D信號處理單元301對于由HDMI接收單元303接收到的立體圖像數據執行與稍后描述的TMDS發送數據結構對應的解碼處理。視頻/圖形處理電路307基于由3D信號處理單元301產生的左眼圖像數據和右眼圖像數據，產生用于顯示立體圖像的圖像數據。此外，視頻/圖形處理電路307根據需要， 對于圖像數據執行圖像質量調整處理。此外，視頻/圖形處理電路307根據需要，將重疊信息(如，菜單或節目指南)的數據與圖像數據組合。面板驅動電路308基于從視頻/圖形處理電路307輸出的圖像數據來驅動顯示面板309。顯示面板309例如由IXD(液晶顯示器)、PDP(等離子顯示面板)等構成。音頻信號處理電路310對于由HDMI接收單元303接收到的、或者由位流處理單元 306獲得的音頻數據執行必要的處理(如，D/A轉換等)。音頻放大器電路311放大從音頻信號處理電路310輸出的音頻信號，并將產生的信號提供到揚聲器312。CPU 321控制電視接收機300的每一個單元的操作。閃速ROM 322存儲控制軟件并保存數據。DRAM 323構成CPU 321的工作區域。CPU 321將從閃速RAM 322讀出的軟件和數據擴展到DRAM 323上，以啟動軟件，并控制電視接收機300的每一個單元。遙控接收單元325接收從遙控發送器3 發送的遙控信號(遙控代碼)，并將遙控信號提供到CPU 321。CPU 321基于該遙控代碼控制電視接收機300的每一個單元。CPU 321、閃速ROM 322和DRAM 323連接到內部總線324。將簡要描述圖96中所示的電視接收機300的操作。在HDMI接收單元303中，接收從經由HDMI線纜400連接到HDMI端子302的機頂盒200發送的立體圖像數據和音頻數據。將由HDMI接收單元303接收到的立體圖像數據提供到3D信號處理單元301。此外，將由HDMI接收單元303接收到的音頻數據提供到音頻信號處理單元310。將輸入到天線端子304的電視廣播信號提供到數字調諧器305。在數字調諧器305 中，處理電視廣播信號，并輸出與用戶選擇的頻道對應的預定位流數據(傳送流)。將從數字調諧器305輸出的位流數據提供到位流處理單元306。在位流處理單元 306中，從位流數據提取立體圖像數據(左眼圖像數據、右眼圖像數據)、音頻數據、重疊信息數據、視差矢量(視差信息)等。此外，在位流處理單元306中，將重疊信息(閉路字幕信息、字幕信息、圖形信息或文本信息)的數據與立體圖像數據組合，并產生顯示立體圖像數據。
將由位流處理單元306產生的顯示立體圖像數據提供到3D信號處理單元301。此外，將由位流處理單元306獲得的音頻數據提供到音頻信號處理電路310。在3D信號處理單元301中，對于由HDMI接收單元303接收到的或者由位流處理單元306獲得的立體圖像數據執行解碼處理，并且產生左眼圖像數據和右眼圖像數據。將左眼圖像數據和右眼圖像數據提供到視頻/圖形處理電路307。在視頻/圖形處理電路307 中，基于左眼圖像數據和右眼圖像數據，產生用于顯示立體圖像的圖像數據，并且還根據需要執行圖像質量調整處理或用于組合重疊信息數據的處理。將由視頻/圖形處理電路307獲得的圖像數據提供到面板驅動電路308。因此，通過使用顯示面板309來顯示立體圖像。例如，根據左眼圖像數據的左眼圖像和根據右眼圖像數據的右眼圖像以時分方式交替地顯示在顯示面板309上。通過佩戴左眼快門和右眼快門與顯示面板309上的顯示同步地交替地開啟的快門眼鏡，觀看者可以僅通過左眼觀看左眼圖像，并且僅通過右眼觀看右眼圖像，并且可以感受立體圖像。此外，在音頻信號處理電路310中，對于由HDMI接收單元303接收到的或者由位流處理單元306獲得的音頻數據執行必要的處理，如D/A轉換等。由音頻放大電路311放大音頻數據，然后將其提供到揚聲器312。因此，從揚聲器312輸出音頻。[HDMI發送單元和HDMI接收單元的示例配置]圖97圖示了圖1中的立體圖像顯示系統10中，機頂盒200的HDMI發送單元(HDMI 信源)206和電視接收器300的HDMI接收單元(HDMI信宿)303的示例配置。在有效圖像時間段(在下文中，適當地也稱為“活動視頻時間段”)期間，HDMI發送單元206通過多個通道單向地將與一個屏幕的非壓縮圖像的像素數據對應的差分信號發送到HDMI接收單元303。這里，有效圖像時間段是通過從一個垂直同步信號到下一個垂直同步信號之間的時間段中去除了水平消隱時間段和垂直消隱時間段而獲得的時間段。此外，在水平消隱時間段或垂直消隱時間段期間，HDMI發送單元206通過多個通道單向地向 HDMI接收單元303發送至少與附著于圖像的音頻數據、控制數據、其他輔助數據等對應的差分信號。由HDMI發送單元206和HDMI接收單元303形成的HDMI系統的發送通道包括下列發送通道。即，存在用作用于與像素時鐘同步的、從HDMI發送單元206到HDMI接收單元 303的像素數據和音頻數據的單向串行發送的發送通道的三個TMDS通道#0至#2。此外， 存在用作發送像素時鐘的發送通道的TMDS時鐘通道。HDMI發送單元206包括HDMI發送器81。發送器81例如將非壓縮圖像的像素數據轉換為對應的差分信號，并通過作為多通道的三個TMDS通道#0、#1和#2串行地將差分信號單向地發送到經由HDMI線纜400連接的HDMI接收單元303。此外，發送器81將附著于非壓縮圖像的音頻數據以及必要數據、其他輔助數據等轉換為對應的差分信號，并通過三個TMDS通道#0、#1和#2串行地將差分信號單向地發送到HDMI接收單元303。此外，發送器81通過TMDS時鐘通道，將與通過三個TMDS通道#0、#1和#2發送的像素數據同步的像素時鐘發送到經由HDMI線纜400連接的HDMI接收單元303。這里，在像素時鐘的一個時鐘期間，通過一個TMDS通道#i (i = 0，1,2)發送10位像素數據。 HDMI接收單元303接收與在活動視頻時間段中，通過使用多個通道從HDMI發送單元206單向地發送的像素數據對應的差分信號。此外，HDMI接收單元303接收與在水平消隱時間段或垂直消隱時間段中，通過使用多通道從HDMI發送單元206單向地發送的音頻數據或控制數據對應的差分信號。g卩，HDMI接收單元303包括HDMI接收器82。HDMI接收器82接收通過使用TMDS 通道#0、#1和#2從HDMI發送單元206單向地發送的、與像素數據對應的差分信號以及與音頻數據或控制數據對應的差分信號。在這種情況下，與通過TMDS時鐘通道從HDMI發送單元206發送的像素時鐘同步地接收差分信號。除了上述TMDS通道#0至#2以及TMDS時鐘通道之外，HDMI系統的發送通道還包括被稱為DDC(顯示數據通道)83和CEC線84的發送通道。DDC 83由圖中未示出的、包括在HDMI線纜400中的兩條信號線形成。DDC83用于HDMI發送單元206以從HDMI接收單元 303讀出E-EDID (增強擴展顯示標識數據)。S卩，除了 HDMI接收器81之外，HDMI接收單元303還包括已經在其中存儲了作為關于其性能(配置/容量)的性能信息的E-EDID的EDID R0M(只讀存儲器)85。HDMI發送單元206例如根據來自CPU 211 (參看圖79)的請求，經由DDC 83從經由HDMI線纜400 連接的HDMI接收單元303中讀出E-EDID。HDMI發送單元206將所讀取的E-EDID發送到CPU 211。CPU 211在閃速ROM 212 或DRAM 213中存儲該E-EDID。CPU 211可以基于E-EDID辨認HDMI接收單元303的性能設置。例如，CPU 211辨認包括HDMI接收單元303的電視接收器300是否能夠處理立體圖像數據，而且在能夠處理立體圖像數據的情況下，進一步辨認電視接收機300可以支持哪種TMDS發送數據結構。CEC線84由圖中未示出的、包括在HDMI線纜400中的一條信號線形成，并且用于執行在HDMI發送單元206與HDMI接收單元303之間的用于控制的數據的雙向通信。該 CEC線84形成控制數據線。此外，HDMI線纜400包含連接到被稱為HPD (Hot Plug Detect，熱插拔檢測)的引腳的線(HPD線)86。信源裝置可以通過利用該線86檢測信宿裝置的連接。注意，該HPD線 86也用作形成雙向通信路徑的HEAC-線。此外，HDMI線纜400包含用于從信源裝置向信宿裝置供電的線(電源線)87。此外，HDMI線纜400包含應用線88。該應用線88也用作形成雙向通信路徑的HEAC+線。圖98圖示了在圖97中的HDMI發送器81和HDMI接收器82的示例配置。HDMI發送器81包括分別與三個TMDS通道#0、#1和#2對應的三個編碼器/串行化器81A、81B和 SlC0然后，編碼器/串行化器81A、81B和81C中的每一個編碼供應到其的圖像數據、輔助數據和控制數據，將其從并行數據轉換成串行數據，并通過使用差分信號發送產生的數據。 這里，在圖像數據包括例如R、G和B三個分量的情況下，將B分量供應到編碼器/串行化器 81A，將G分量供應到編碼器/串行化器81B，而將R分量供應到編碼器/串行化器81C。此外，輔助數據的示例包括音頻數據和控制包，例如，將控制包供應到編碼器/串行化器81A，而將該音頻數據供應到編碼器/串行化器81B和81C。此外，控制數據包括 1-位垂直同步信號(VSYNC)、1-位水平同步信號(HSYNC)和1-位控制位CTLO、CTL1、CTL2 和CTL3。將垂直同步信號和水平同步信號供應到編碼器/串行化器81A。將控制位CTLO 和CTLl供應到編碼器/串行化器81B，而將控制位CTL2和CTL3供應到編碼器/串行化器81C。編碼器/串行化器81A以時分方式發送供應到其的圖像數據的B分量、垂直同步信號、水平同步信號和輔助數據。即，編碼器/串行化器81A將供應到其的圖像數據的B分量設置為以8位(其是固定位數)為單位的并行數據。此外，編碼器/串行化器81A編碼并行數據，將其轉換為串行數據，并通過TMDS通道#0發送串行數據。此外，編碼器/串行化器81A還編碼供應到其的垂直同步信號和水平同步信號 (即，2-位并行數據)，將該數據轉換為串行數據，并通過TMDS通道#0發送串行數據。此外，編碼器/串行化器81A將供應到其的輔助數據設置為以4位為單位的并行數據。然后， 編碼器/串行化器8IA編碼并行數據，將其轉換為串行數據，并通過TMDS通道#0發送串行數據。編碼器/串行化器81B以時分方式發送供應到其的圖像數據的G分量、控制位 CTLO和CTLl以及輔助數據。即，編碼器/串行化器81B將供應到其的圖像數據的G分量設置為以8位(其是固定位數)為單位的并行數據。此外，編碼器/串行化器81B編碼并行數據，將其轉換為串行數據，并通過TMDS通道#1發送串行數據。此外，編碼器/串行化器81B編碼供應到其的控制位CTLO和CTL1( SP，2_位并行數據)，將該數據轉換為串行數據，并通過TMDS通道#1發送串行數據。此外，編碼器/串行化器81B將供應到其的輔助數據設置為以4位為單位的并行數據。然后，編碼器/串行化器81B編碼并行數據，將其轉換為串行數據，并通過TMDS通道#1發送串行數據。編碼器/串行化器81C以時分方式發送供應到其的圖像數據的R分量、控制位 CTL2和CTL3以及輔助數據。即，編碼器/串行化器81C將供應到其的圖像數據的R分量設置為以8位(其是固定位數)為單位的并行數據。此外，編碼器/串行化器81C編碼并行數據，將其轉換為串行數據，并通過TMDS通道#2發送串行數據。此外，編碼器/串行化器81C編碼供應到其的控制位CTL2和CTL3(即，2-位并行數據)，將該數據轉換為串行數據，并通過TMDS通道#2發送串行數據。此外，編碼器/串行化器81C將供應到其的輔助數據設置為以4位為單位的并行數據。然后，編碼器/串行化器81C將并行數據編碼為串行數據，并通過TMDS通道#2發送串行數據。HDMI接收器82包括分別與三個TMDS通道#0、#1和#2對應的三個恢復器/解碼器82A、82B和82C。然后，恢復器/解碼器82A、82B和82C中的每一個接收通過TMDS通道 #0、#1和#2中的對應一個、使用差分信號發送的圖像數據、輔助數據和控制數據。此外，恢復器/解碼器82A、82B和82C中的每一個將圖像數據、輔助數據和控制數據從串行數據轉換成并行數據，并進一步解碼和輸出它們。即，恢復器/解碼器82A接收通過TMDS通道#0、使用差分信號發送的圖像數據的 B分量、垂直同步信號、水平同步信號和輔助數據。然后，恢復器/解碼器82A將該圖像數據的B分量、垂直同步信號、水平同步信號和輔助數據從串行數據轉換成并行數據，并解碼和輸出它們。恢復器/解碼器82B接收通過TMDS通道#1、使用差分信號發送的圖像數據的G分量、控制位CTLO和CTLl以及輔助數據。然后，恢復器/解碼器82B將該圖像數據的G分量、 控制位CTLO和CTLl以及輔助數據從串行數據轉換成并行數據，并解碼和輸出它們。恢復器/解碼器82C接收通過TMDS通道#2、使用差分信號發送的圖像數據的R分量、控制位CTL2和CTL3以及輔助數據。然后，恢復器/解碼器82C將該圖像數據的R分量、 控制位CTL2和CTL3以及輔助數據從串行數據轉換成并行數據，并解碼和輸出它們。圖99圖示了 TMDS發送數據的示例結構。圖99圖示了在通過TMDS通道#0、#1和 #2發送在水平方向上具有1920像素且在垂直方向上具有1080行的圖像數據的情況下的各種發送數據時間段。通過HDMI的三個TMDS通道#0、#1和#2發送發送數據的視頻場(Video Field)按照發送數據的類型包括三種類型的時間段。該三種類型的時間段是視頻數據時間段(Video Data Period)、數據島時間段(Data Island Period)和控制時間段(Control Period)。這里，視頻場時間段是從某個垂直同步信號的前沿(活動沿)到下一個垂直同步信號的前沿的時間段。這個視頻場時間段可以被分隔成水平消隱時間段(水平消隱)、垂直消隱時間段(垂直消隱)和活動視頻時間段(Active Video)。活動視頻時間段是通過從視頻場時間段中去除水平消隱時間段和垂直消隱時間段而獲得的時間段。在活動視頻時間段中分配視頻數據時間段。在視頻數據部分中，發送形成一個屏幕的非壓縮圖像數據的具有1920像素X 1080行的有效像素(Active Pixels)的數據。在水平消隱時間段和垂直消隱時間段中分配數據島時間段和控制時間段。在數據島時間段和控制時間段中，發送輔助數據(Auxiliary data)。也就是說，在水平消隱時間段和垂直消隱時間段的一部分中分配數據島時間段。在數據島時間段中，發送輔助數據內與控制無關的數據，例如音頻數據的包。在水平消隱時間段和垂直消隱時間段的另一部分中分配控制時間段。在控制時間段中，發送輔助數據內與控制有關的數據，例如垂直同步信號、水平同步信號和控制包。圖100圖示了 HDMI端子的引腳陣列的示例。圖100中所圖示的引腳陣列被稱為 A型(type-A)。使用作為差分線的兩條線發送作為TMDS通道#i上的差分信號的TMDS數據#1+和TMDS數據#i-。該兩條線連接到TMDS數據#i+分配到的引腳(具有引腳號1、4 和7的引腳)以及TMDS數據#i-分配到的引腳(具有引腳號3、6和9的引腳)。此外，發送作為用于控制的數據的CEC信號的CEC線84連接到引腳號為13的引腳。此外，發送諸如E-EDID之類的SDA(Serial Data)信號的線連接到引腳號為16的引腳。發送作為在SDA信號的發送和接收期間用于同步的時鐘信號的SCLGerial Clock)信號的線連接到引腳號為15的引腳。上述DDC 83由發送SDA信號的線和發送SCL信號的線組成。此外，如上所述，由信源裝置用以檢測信宿裝置的連接的HPD線(HEAC-線)86連接到引腳號為19的引腳。此外，應用線(HEAC+線)88連接到引腳號為14的引腳。此外， 如上所述，用于供電的線87連接到引腳號為18的引腳。[E-EDID 結構]如上所述，HDMI發送單元206例如根據來自CPU 211 (參看圖79)的請求，經由DDC 83從經由HDMI線纜400連接的HDMI接收單元303中讀出E-EDID。然后，CPU 211基于該 E-EDID辨認HDMI接收單元303的性能設置，例如，HDMI接收單元303是否能夠處理立體圖
像數據。圖101圖示了 E-EDID的示例數據結構。E-EDID由基本塊和擴展塊形成。在基本塊中，在開頭處排列由“E-EDID 1.3基本結構”表示的E-EDID 1.3標準中規定的數據。在基本塊中，隨后排列由“優選定時”表示的、用于確保與傳統EDID的兼容性的定時信息。此外，在基本塊中，隨后排列由“第二定時”表示的、用于確保與傳統EDID的兼容性的、不同于 “優選定時”的定時信息。此外，在基本塊中，在“第二定時”之后，排列由“監視器名稱”表示的、指示顯示設備的名稱的信息。在基本塊中，隨后，排列指示可在高寬比為4 3和16 9的情況下顯示的像素數量的信息，由“監視器范圍限制”表示。在擴展塊的開頭，排列“簡短視頻描述符”。這是指示可顯示圖像大小(分辨率)、 幀速和隔行或逐行的信息。隨后，排列“簡短音頻描述符”。這是諸如可再現音頻編碼解碼方法、采樣頻率、截止帶、編碼解碼位數之類的信息。隨后，排列由“揚聲器分配”指示的、關于左和右揚聲器的信息。此外，在擴展塊中，在“揚聲器分配”之后，排列由“廠商專用，，表示的、對于每一個廠商唯一定義的數據。在擴展塊，排列由“第三定時”表示的、用于確保與傳統EDID的兼容性的定時信息。在擴展塊中，再隨后排列由“第四定時”表示的、用于確保與傳統EDID的兼容性的定時信息。圖102圖示了廠商專用區域(HDMI廠商專用數據塊)的示例數據結構。在廠商專用區域中，提供作為1-字節塊的第0塊至第N塊。在第0塊中，排列由“廠商專用標簽代碼(=3) ”表示的、表示數據“廠商專用”的數據區域的頭部。此外，在第0塊中，還排列由“長度(=N) ”表示的、指示數據“廠商專用” 的長度的信息。此外，在第一塊至第三塊中，排列由“對位IEEE注冊標識符(0x000C03)LSB 在前”表示的、指示對于HDMI (R)注冊的號碼“0x0000)3”的信息。此外，在第四塊和第五塊中，排列由“A”、“B”、“C”和“D”表示的、指示信宿裝置的24-位物理地址的信息。在第六塊中，排列由“Supports-AI”表示的、指示與信宿裝置對應的功能性的標志。此外，在第六塊中，排列由“DC-48位”，“DC-36位”和“DC-30位”表示的、指定每個像素的位數的各條信息。此外，在第六塊中，排列由“DC-Y444”表示的、指示信宿裝置是否支持 YCbCr 4:4:4的圖像發送的標志。此外，在第六塊中，排列由“DVI-Dual”表示的、指示信宿裝置是否支持雙重DVI (數字視頻接口)的標志。此外，在第七塊中，排列由“Max-TMDS-Clock”表示的、指示TMDS像素時鐘的最大頻率的信息。此外，在第八塊中的第六位和第七位中，排列由“等待時間”表示的、指示視頻和音頻的延遲信息的存在/不存在的標志。此外，在第八塊中的第五位中，排列由“HDMI_ Vide0_present”表示的、指示是否啟動附加HDMI視頻格式(3D，4kX^0的處理的標志。此外，在第九塊中，排列由“視頻等待時間”表示的、逐行視頻的延遲時間數據，而在第十塊中，排列由“音頻等待時間”表示的、伴隨該逐行視頻的音頻的延遲時間數據。此外，在第十一塊中，排列由“隔行視頻等待時間”表示的、隔行視頻的延遲時間數據。此外， 在第十二塊中，排列由“隔行音頻等待時間”表示的、伴隨該隔行視頻的音頻的延遲時間數據。此外，在第十三塊中的第七位中，排列由“3D_preSent”表示的、指示是否啟動3D 圖像數據的處理的標志。此外，在第十四塊中的第七至第五位中，排列由“HDMI_VIC_LEN” 表示的、指示排列在圖中未示出的第十五塊及其后中的強制3D數據以外的、可以處理的數據結構的塊大小信息。此外，在第十四塊中的第四至第零位中，排列由“HDMI_3D_LEN”表示的、指示排列在圖中未示出的第十五塊及其后中的、可以處理的的視頻格式的塊大
小信息。[立體圖像數據的TMDS發送數據結構]圖103圖示了作為立體圖像數據的一種TMDS發送數據結構的幀封裝(Frame lacking)方法中的3D視頻格式(3D Video format)。該3D視頻格式是用于將逐行 (progressive)左眼(L)和右眼(R)圖像數據作為立體圖像數據發送的格式。在3D視頻格式中，發送1920 X 1080p或1080 X 720p像素格式的圖像數據作為左眼(L)和右眼(R)圖像數據。注意，在圖103中，圖示了左眼(L)圖像數據和右眼(R)圖像數據中的每一個都具有1920行X 1080像素的示例。根據該3D視頻格式，產生這樣的發送數據其中，由垂直同步信號劃界的、包括水平消隱時間段(Hblank)、垂直消隱時間段(Vblank)和活動視頻時間段 (HactiveXVactive)的視頻場時間段用作一個單位。在3D視頻格式中，活動視頻時間段具有兩個活動視頻區域(Active Video)和在其間的一個活動空區域(Active space)。左眼(L)圖像數據被放置在第一活動視頻區域，而右眼(R)圖像數據被放置在第二活動視頻區域。圖104圖示了在作為立體圖像數據的一種TMDS發送數據結構的行交替(Line alternative)方法中的3D視頻格式(3D Video R)rmat)。3D視頻格式是用于將逐行左眼(L)和右眼(R)圖像數據作為立體圖像數據發送的格式。在3D視頻格式中，發送 1920X1080p像素格式的圖像數據，作為左眼(L)和右眼(R)圖像數據。根據該3D視頻格式，產生這樣的發送數據其中，由垂直同步信號劃界的、 包括水平消隱時間段(Hblank)、垂直消隱時間段O X Vblank)和活動視頻時間段 (HactiveX2Vactive)的視頻場時間段用作一個單位。在3D視頻格式中，在活動視頻時間段中，交替地排列一行左眼圖像數據和一行右眼圖像數據。圖105圖示了在作為立體圖像數據的一種TMDS發送數據結構的并排 (side-by-side)(全)方法中的3D視頻格式(3D Video format)。該3D視頻格式是用于將逐行左眼(L)和右眼(R)圖像數據作為立體圖像數據發送的格式。在3D視頻格式中，發送具有1920X1080p像素格式的圖像數據，作為左眼(L)和右眼(R)圖像數據。根據該3D視頻格式，產生這樣的發送數據其中，由垂直同步信號劃界的、 包括水平消隱時間段O χ Hblank)、垂直消隱時間段(Vblank)和活動視頻時間段 (2HactiveX Vactive)的視頻場時間段用作一個單位。在3D視頻格式中，在活動視頻時間段中，在水平方向的前一半中放置左眼(L)圖像數據，而在水平方向的后一半中放置右眼 (R)圖像數據。注意，雖然省略了詳細描述，但是在HDMI 1. 4中，除了上述圖103至105中所圖示的3D視頻格式之外，還定義用作立體圖像數據的TMDS發送數據結構的3D視頻格式。例如，定義了幀封裝(用于隔行格式的幀封裝)方法、場交替(Field alternative)方法、并排(side-by-side)(半)方法等。如上所述，在圖1中所示的立體圖像顯示系統10中，基于左眼圖像數據和右眼圖像數據之一關于另一個的視差信息，將視差賦予要重疊在左眼圖像數據和右眼圖像數據上的相同的重疊信息(閉路字幕信息、字幕信息、圖形信息或文本信息)。因此，可以采用根據圖像中的每一個對象的透視而已經經歷了視差調整的重疊信息作為要重疊在左眼圖像數據和右眼圖像數據上的相同的重疊信息，并且在重疊信息的顯示中，可以維持重疊信息與圖像中每一個對象之間的透視的一致性。<2.示例修改〉注意，在以上實施例中，為了將多個視差矢量與一個分量元素ID相關聯，在DHI中排列信息“number_of_mutiple_link，，(圖 54、圖 55)。根據該“number_of_mutiple_link，，， 預先指定要與分量元素ID相關聯的視差矢量的數量。然而，例如，可以想到這樣的方法其中，將連接標志(Connect_flag)添加到分區位置ID(Partition_position_id)，并且將多個視差矢量與一個分量元素ID相關聯。圖106圖示了用于將視差矢量與分量元素ID相關聯的方法的示例。這里，閉路字幕信息的分量元素ID是窗口 ID(WindoW_id)。此外，字幕信息的分量元素ID是區域 ID(region_id)。為了將視差矢量與分量元素ID相關聯，例如，將指示視差矢量所屬的屏幕區域的最大13位的分區位置ID與分量元素ID相關聯。該分區位置ID添加有1位連接標志(Cormectflag)。在將一個視差矢量與一個分量元素ID相關聯的情況下，如圖106所示，一個分區位置ID與一個分量元素ID相關聯。 在這種情況下，添加到該一個分區位置ID的連接標志被設置為“0”，這指示此后不存在相關聯的分區位置ID。此外，在將兩個視差矢量與一個分量元素ID相關聯的情況下，如圖106所示，兩個分區位置ID與該分量元素ID與相關聯。在這種情況下，添加到第一分區位置ID的連接標志被設置為“1”，這指示此后存在進一步相關聯的分區位置ID。接下來，添加到第二分區位置ID的連接標志被設置為“0”，這指示此后不存在相關聯的分區位置ID。注意，盡管在圖106中未圖示，但是在將三個或更多個視差矢量與一個分量元素 ID相關聯的情況下，這與將兩個視差矢量與一個分量元素ID相關聯的情況相同。添加到直至最后一個分區位置ID之前一個的連接標志被設置為“ 1 ”，并且僅將添加到最后一個分區位置ID的連接標志設置為“0”。此外，在以上實施例中，已經圖示了立體圖像顯示系統10，其由廣播站100、機頂盒200和電視接收機300構成。然而，如圖96中所示，電視接收機300包括具有與機頂盒 200內的位流處理單元201相同功能的位流處理單元201。因此，如圖107所示，也可以想到由廣播站100和電視接收機300構成的立體圖像顯示系統10A。此外，在以上實施例中，已經圖示了這樣的示例其中，從廣播站100廣播包括立體圖像數據的數據流(位流)。然而，不必說，本發明也可以類似地應用于具有如下配置的系統其中，通過利用網絡(如因特網等)將該數據流分發至接收端。此外，在以上實施例中，已經圖示了經由HDMI數字接口的、機頂盒200和電視接收機300之間的連接。然而，不必說，本發明也可以應用于這樣的情況其中，通過類似于HDMI 數字接口(包括線纜以外的無線)的數字接口連接它們。注意，本申請參照日本專利申請No. 2009-153686。工業實用性本發明可以應用于在圖像等上重疊重疊信息(如，閉路字幕信息、字幕信息、圖形信息、文本信息等)并顯示產生的圖像的立體圖像顯示系統。
附圖標記列表10，IOA立體圖像顯示系統；100廣播站；110，IlOA至100E發送數據產生單元； 111L，111R相機；112視頻成幀單元；113視頻編碼器；113a流格式器；114視差矢量檢測單元；115視差矢量編碼器；116麥克風；117音頻編碼器；118字幕/圖形生成單元；119字幕 /圖形編碼器；119a流格式器；120文本生成單元；121文本編碼器；122多路復用器；IM字幕/圖形處理單元；125文本處理單元；130數據獲取單元；130a數據記錄介質；131視差信息集創建單元；132視差信息創建單元；133CC編碼器；200，200A機頂盒；201，201A、201B、 201C、201D位流處理單元；202HDMI端子；203天線端子；204數字調諧器；205視頻信號處理電路；205A視頻/圖形處理單元；206HDMI發送單元；207音頻信號處理電路；21ICPU ；212 閃速ROM ；213DRAM ；214內部總線；215遙控接收單元；216遙控發送器；220，220A多路分用器；221視頻解碼器；222字幕/圖形解碼器；222A 223文本解碼器；2M音頻解碼器；225 字幕解碼器，視差矢量解碼器；2 立體圖像字幕/圖形生成單元；226A立體圖像字幕生成單元；227立體圖像文本生成單元；2 視頻重疊單元；2 多聲道揚聲器控制單元；231視差矢量提取單元；232視差信息獲取單元；233CC解碼器；2；34立體圖像CC產生單元；235視差信息獲取單元；300電視接收器；3013D信號處理單元；302HDMI端子；303HDMI接收單元； 304天線端子；305數字調諧器；306位流處理單元；307視頻/圖形處理電路；308面板驅動電路；309顯示面板；310音頻信號處理電路；311音頻放大電路；312揚聲器；321CPU ；322 閃速ROM ；323DRAM ；324內部總線；325遙控接收單元；3 遙控發送器；400HDMI線纜。
權利要求
1.一種立體圖像數據發送設備，包括立體圖像數據輸出單元，輸出包括左眼圖像數據和右眼圖像數據的立體圖像數據；重疊信息數據輸出單元，輸出要重疊在基于左眼圖像數據和右眼圖像數據的圖像上的重疊信息的數據；視差信息輸出單元，輸出用于通過移位要重疊在基于左眼圖像數據和右眼圖像數據的圖像上的重疊信息而賦予視差的視差信息；以及發送單元，發送視頻基本流，其在有效載荷部分中包括從所述立體圖像數據輸出單元輸出的立體圖像數據，并且在頭部部分的用戶數據區域中包括從所述重疊信息數據輸出單元輸出的重疊信息的數據以及從所述視差信息輸出單元輸出的視差信息，其中所述視頻基本流的頭部部分的用戶數據區域中包括的重疊信息的數據和視差信息被配置為可由用戶數據標識信息識別。
2.根據權利要求1所述的立體圖像數據發送設備，其中所述視差信息已經添加了移位目標指定信息，其在要重疊在基于所述左眼圖像數據的圖像上的重疊信息和要重疊在基于右眼圖像數據的圖像上的重疊信息之中，指定要基于所述視差信息移位的重疊信息。
3.根據權利要求1所述的立體圖像數據發送設備，其中所述視差信息是在預定數量幀的時間段期間各個幀中順序更新的視差信息，在所述預定數量幀的時間段期間顯示所述重疊信息。
4.根據權利要求3所述的立體圖像數據發送設備，其中所述視差信息包括預定數量幀的時間段期間有關第一幀的視差信息，以及有關第二和接下來的幀相對于有關之前幀的視差信息的偏移信息。
5.根據權利要求1所述的立體圖像數據發送設備，其中所述視差信息是在預定數量幀的時間段期間各個幀中共同使用的視差信息，在所述預定數量幀的時間段期間顯示所述重疊信息。
6.根據權利要求1所述的立體圖像數據發送設備，其中所述視差信息是在預定數量幀的時間段期間各個幀中共同使用的視差信息，在所述預定數量幀的時間段期間顯示所述重疊信息，或者是在預定數量幀的時間段期間各個幀中順序更新的視差信息，在所述預定數量幀的時間段期間顯示所述重疊信息，以及其中所述視差信息已經添加了指示各個幀中共同使用的視差信息或各個幀中順序更新的視差信息的標志信息。
7.一種立體圖像數據接收設備，接收單元，接收視頻基本流，所述視頻基本流在有效載荷部分中包括包含左眼圖像數據和右眼圖像數據的立體圖像數據，并且在頭部部分的用戶數據區域中包括要重疊在基于左眼圖像數據和右眼圖像數據的圖像上的重疊信息的數據和用于通過移位要重疊在基于左眼圖像數據和右眼圖像數據的圖像上的重疊信息而賦予視差的視差信息，所述頭部部分的用戶數據區域中包括的重疊信息的數據和視差信息被配置為可由用戶數據標識信息識別；立體圖像數據獲取單元，從所述接收單元接收到的所述視頻基本流的有效載荷部分獲取所述立體圖像數據；重疊信息數據獲取單元，從所述接收單元接收到的所述視頻基本流的頭部部分的用戶數據區域獲取所述重疊信息的數據；視差信息獲取單元，從所述接收單元接收到的所述視頻基本流的頭部部分的用戶數據區域獲取所述視差信息；以及圖像數據處理單元，使用由所述立體圖像數據獲取單元獲取的所述立體圖像數據中包括的左眼圖像數據和右眼圖像數據、由所述重疊信息數據獲取單元獲取的所述重疊信息的數據以及由所述視差信息獲取單元獲取的所述視差信息，將視差賦予要重疊在左眼圖像和右眼圖像上的相同重疊信息，并且獲取已經重疊了重疊信息的左眼圖像的數據和已經重疊了重疊信息的右眼圖像的數據。
8.一種立體圖像數據發送設備，包括立體圖像數據輸出單元，輸出包括左眼圖像數據和右眼圖像數據的立體圖像數據； 視差信息輸出單元，輸出用于通過移位要重疊在基于左眼圖像數據和右眼圖像數據的圖像上的重疊信息而賦予視差的視差信息；以及發送單元，發送從所述立體圖像數據輸出單元輸出的所述立體圖像數據以及從所述視差信息輸出單元輸出的所述視差信息，其中所述視差信息已經添加了移位目標指定信息，其在要重疊在基于所述左眼圖像數據的圖像上的重疊信息和要重疊在基于右眼圖像數據的圖像上的重疊信息之中，指定要基于所述視差信息移位的重疊信息。
9.一種立體圖像數據接收設備，包括接收單元，接收包括左眼圖像數據和右眼圖像數據的立體圖像數據，以及通過移位要重疊在基于左眼圖像數據和右眼圖像數據的圖像上的重疊信息而賦予視差的視差信息，所述視差信息已經添加了移位目標指定信息，其在要重疊在基于所述左眼圖像數據的圖像上的重疊信息和要重疊在基于右眼圖像數據的圖像上的重疊信息之中，指定要基于所述視差信息移位的重疊信息；以及圖像數據處理單元，使用由所述接收單元接收到的所述立體圖像數據中包括的左眼圖像數據和右眼圖像數據、由所述接收單元接收到的所述視差信息以及添加到所述視差信息的所述移位目標指定信息，將視差賦予要重疊在左眼圖像和右眼圖像上的相同重疊信息， 并獲得已經重疊了重疊信息的左眼圖像的數據和已經重疊了重疊信息的右眼圖像的數據。
10.一種立體圖像數據發送設備，包括立體圖像數據輸出單元，輸出包括左眼圖像數據和右眼圖像數據的立體圖像數據； 視差信息輸出單元，輸出用于通過移位要重疊在基于左眼圖像數據和右眼圖像數據的圖像上的重疊信息而賦予視差的視差信息；以及發送單元，發送從所述立體圖像數據輸出單元輸出的所述立體圖像數據以及從所述視差信息輸出單元輸出的所述視差信息，其中所述視差信息是在預定數量幀的時間段期間各個幀中順序更新的視差信息，在所述預定數量幀的時間段期間顯示所述重疊信息。
11.根據權利要求10所述的立體圖像數據發送設備，其中所述視差信息包括在預定數量幀的時間段期間有關第一幀的視差信息，以及有關第二和接下來的幀相對于之前幀的視差信息的偏移信息。
12.—種立體圖像數據接收設備，包括接收單元，接收包括左眼圖像數據和右眼圖像數據的立體圖像數據，以及通過移位要重疊在基于左眼圖像數據和右眼圖像數據的圖像上的重疊信息而賦予視差的視差信息，所述視差信息是在預定數量幀的時間段期間各個幀中順序更新的視差信息，在所述預定數量幀的時間段期間顯示所述重疊信息；以及圖像數據處理單元，使用由所述接收單元接收到的所述立體圖像數據中包括的左眼圖像數據和右眼圖像數據和由所述接收單元接收到的所述視差信息，將視差賦予要重疊在左眼圖像和右眼圖像上的相同重疊信息，并獲得已經重疊了重疊信息的左眼圖像的數據和已經重疊了重疊信息的右眼圖像的數據。
13.—種立體圖像數據發送設備，包括立體圖像數據輸出單元，輸出包括左眼圖像數據和右眼圖像數據的立體圖像數據； 視差信息輸出單元，輸出用于通過移位要重疊在基于左眼圖像數據和右眼圖像數據的圖像上的重疊信息而賦予視差的視差信息；以及發送單元，發送從所述立體圖像數據輸出單元輸出的所述立體圖像數據以及從所述視差信息輸出單元輸出的所述視差信息，其中所述視差信息是在預定數量幀的時間段期間各個幀中共同使用的視差信息，在所述預定數量幀的時間段期間顯示所述重疊信息，以及其中所述視差信息已經添加了指示各個幀中共同使用的視差信息或各個幀中順序更新的視差信息的信息。
14.一種立體圖像數據接收設備，包括接收單元，接收包括左眼圖像數據和右眼圖像數據的立體圖像數據，以及通過移位要重疊在基于左眼圖像數據和右眼圖像數據的圖像上的重疊信息而賦予視差的視差信息，所述視差信息是在預定數量幀的時間段期間各個幀中共同使用的視差信息，在所述預定數量幀的時間段期間顯示所述重疊信息；以及圖像數據處理單元，使用由所述接收單元接收到的所述立體圖像數據中包括的左眼圖像數據和右眼圖像數據和由所述接收單元接收到的所述視差信息，將視差賦予要重疊在左眼圖像和右眼圖像上的相同重疊信息，并獲得已經重疊了重疊信息的左眼圖像的數據和已經重疊了重疊信息的右眼圖像的數據。
15.一種立體圖像數據發送設備，包括立體圖像數據輸出單元，輸出包括左眼圖像數據和右眼圖像數據的立體圖像數據； 視差信息輸出單元，輸出用于通過移位要重疊在基于左眼圖像數據和右眼圖像數據的圖像上的重疊信息而賦予視差的視差信息；以及發送單元，發送從所述立體圖像數據輸出單元輸出的所述立體圖像數據以及從所述視差信息輸出單元輸出的所述視差信息，其中所述視差信息是在預定數量幀的時間段期間各個幀中共同使用的視差信息，在所述預定數量幀的時間段期間顯示所述重疊信息，或者是在預定數量幀的時間段期間各個幀中順序更新的視差信息，在所述預定數量幀的時間段期間顯示所述重疊信息，以及其中所述視差信息已經添加了指示各個幀中共同使用的視差信息或各個幀中順序更新的視差信息的標志信息。
16.一種立體圖像數據接收設備，包括接收單元，接收包括左眼圖像數據和右眼圖像數據的立體圖像數據，以及通過移位要重疊在基于左眼圖像數據和右眼圖像數據的圖像上的重疊信息而賦予視差的視差信息，所述視差信息是在預定數量幀的時間段期間各個幀中共同使用的視差信息，在所述預定數量幀的時間段期間顯示所述重疊信息，或者是在預定數量幀的時間段期間各個幀中順序更新的視差信息，在所述預定數量幀的時間段期間顯示所述重疊信息，以及所述視差信息已經添加了指示各個幀中共同使用的視差信息或者各個幀中順序更新的視差信息的標志信息；以及圖像數據處理單元，使用由所述接收單元接收到的所述立體圖像數據中包括的左眼圖像數據和右眼圖像數據、由所述接收單元接收到的所述視差信息以及添加到所述視差信息的所述標志信息，將視差賦予要重疊在左眼圖像和右眼圖像上的相同重疊信息，并獲得已經重疊了重疊信息的左眼圖像的數據和已經重疊了重疊信息的右眼圖像的數據。
全文摘要
提供了一種數據結構，其能夠發送用于限制閉路字幕信息等的視差信息，且能夠易于與現有廣播標準合作。CC編碼器(133)輸出用于顯示閉路字幕的CC數據。視差信息生成單元(132)輸出與CC數據中包括的每一個窗口ID相關聯的視差信息。流格式器(113a)通過用戶數據標識信息，以能夠識別的方式，將CC數據和視差信息嵌入視頻基本流的頭部部分中的用戶數據區域。指示使左眼還是右眼作為基于視差信息移位的對象的指示信息被添加到視差信息。另外，將標識信息添加到閉路字幕信息的顯示時間段的每一個幀中共同使用的視差信息，或者添加到每一個顯示時間段期間順序更新的視差信息。
文檔編號H04N13/00GK102210154SQ201080003138
公開日2011年10月5日 申請日期2010年6月22日 優先權日2009年6月29日
發明者塚越郁夫 申請人:索尼公司