專利名稱：用中間層運動數據預測產生編碼的視頻序列的設備和方法
技術領域：
本發明涉及視頻編碼系統，具體地涉及可縮放(scalable)視頻編碼系統，可結合視頻編碼標準H.264/AVC或新的MPEG視頻編碼系統一起使用。
背景技術：
標準H.264/AVC是IUT-T視頻編碼專家組VCEG和ISO/IEC運動圖像專家組(MPEG)的視頻標準化計劃的結果。該標準化計劃的主要目標是提供一種具有非常良好的壓縮行為、同時產生網絡友好的視頻表征的清晰視頻編碼概念，包括例如視頻電話的具有“通話特征”的應用以及沒有通話特征的應用(存儲、廣播、流傳輸)。
除了上述標準ISO/IEC 14496-10之外，還存在與該標準有關的多種出版物。僅作為示例，參考“The Emerging H.264-AVC standard”，RalfSchfer，Thomas Wiegand and Heiko Schwrz，EBU Technical Review，January 2003。此外，專家出版物“Overview of the H.264/AVC VideoCoding Standard”，Thomas Wiegand，Gary J.Sullivan，Gesle Bjontegaardand Ajay Lothra，IEEE Transactions on Circuits and Systems for VideoTechnology，July 2003以及專家出版物“Context-based adaptive BinaryArithmethic Coding in the H.264/AVC Video Compression Standard”，Detlev Marpe，Heiko Schwarz and Thomas Wiegand，IEEE Transactionson Circuits and Systems for Video Technology，September 2003，包括視頻編碼標準的不同方面的概述。
然而，為了更好地理解，將參考圖9至11給出視頻編碼/解碼算法的概述。
圖9示出了視頻編碼器的完整結構，視頻編碼器通常包括兩個不同級。通常，第一級通常進行有關視頻的操作，產生輸出數據，然后輸出數據經過第二級的熵編碼，第二級在圖9中由80表示。數據是數據81a、量化變換系數81b以及運動數據81c，其中，將這些數據81a、81b、81c提供給熵編碼器80，以在熵編碼器80的輸出處產生編碼的視頻信號。
具體地，將輸入視頻信號分別分割劃分為宏塊，其中每個宏塊具有16×16象素。然后，選擇宏塊與片組和片的關聯，根據該關聯，由圖8所示的操作塊網絡來處理每個片的每個宏塊。應該注意，當視頻圖像中存在不同的片時，可能高效并行處理宏塊。經由圖8中的塊編碼器控制82來執行宏塊與片組和片的關聯。存在不同的片，這些片定義如下I片I片是其中片的所有宏塊都是使用幀內預測來編碼的片。
P片除了I片的編碼類型之外，P片的某些宏塊也可利用每個預測塊的至少一個運動補償預測信號，使用幀間預測來編碼。
B片除了P片中可用的編碼類型之外，B片的某些宏塊也可利用每個預測塊的兩個運動補償預測信號，使用幀間預測來編碼。
上述三種編碼類型與早期的標準中的編碼類型非常類似，但是如下面所述的，使用參考圖像。下面片的兩種編碼類型在標準H.264/AVC中是新的SP片該片也被稱為切換P片，其編碼成可在不同預編碼圖像之間有效地切換。
SI片SI片也被稱為切換I片，其使SP片中的宏塊精確地適應直接隨機存取和錯誤恢復目的。
總而言之，片是宏塊序列，如果不使用靈活宏塊排序FMO的屬性，則按照光柵掃描的順序對片進行處理，標準中同樣定義了FMO。如圖11所示，可將圖像分割為一個或多個片。因此，圖像是一個或多個片的集合。在這點上，由于可根據比特流來分析(解析)片的語法單元，所以片是彼此獨立的，其中，可在片所表示的圖像范圍內正確地對采樣值進行解碼，只要所用的參考圖像在編碼器和解碼器中是相同的。然而，需要來自其它片的某些信息來在片邊界上應用解塊濾波器(deblocking filter)。
FMO特性通過使用片組的概念，來修改將圖像劃分為片的方式。每個片組是由宏塊到片組的映射所定義的宏塊的集合，宏塊到片組的映射由圖像參數集的內容和來自片頭的某些信息規定。該宏塊到片組的映射包括圖像中每個宏塊的片組標識號，該標識號規定了有關宏塊所屬的片組。可將每個片組劃分為一個或多個片，因此片是相同片組中的宏塊的序列，該序列按照特定片組的宏塊集合中的光柵抽樣的順序來處理。
取決于片編碼器的類型，可以以一個或多個編碼器類型來發送每個宏塊。在所有片編碼器類型中，支持被稱為intra-4×4或intra-16×16類型的幀內編碼，此外，還支持色度預測模式和I-PCM預測模式。
intra-4×4模式基于獨立的每個4×4色度塊的預測，并且非常適用于對具有突出細節的圖像部分進行編碼。另一方面，intra-16×16模式執行整個16×16色度塊的預測，并更適用于對圖像的“柔和”區域進行編碼。
除了這兩個色度預測類型之外，還執行獨立的色度預測。作為intra-4×4和intra-16×16的備選，I-4×4編碼類型使得編碼器簡單地省略預測以及變換編碼，而直接發送編碼的采樣的值。I-PCM模式具有以下目的其是編碼器精確地表征采樣的值。其提供一種精確地表征非常異常的圖像內容的值而不放大數據的方式。此外，其可以確定比特數的確切邊界，編碼器需要具有該確切邊界以處理宏塊而不損失編碼效率。
與在變換域中執行幀內預測的早期的視頻編碼標準(即H.263+和MPEG-4 visual)相反，H.264/AVC中的幀內預測總是通過參考分別在要預測的塊的左側和上方的先前編碼的塊的相鄰采樣，在空間域中執行的(圖10)。在出現傳輸錯誤的某些情況下，這會引起錯誤傳播，其中，由于幀內編碼的宏塊中的運動補償而發生該錯誤傳播。因此，可用信號通知受限的幀內編碼模式，受限的幀內編碼模式僅能夠預測幀內編碼的相鄰宏塊。
在使用intra-4×4模式時，預測空間相鄰采樣的每個4×4塊。通過使用相鄰塊中先前解碼的采樣，來預測4×4塊的16個采樣。可對每個4×4塊使用9種預測模式之一。除了“DC預測”(其中一值用于預測整個4×4塊)之外，規定8個方向預測模式。這些模式適用于預測圖像中的方向結構，例如不同角度的邊緣。
除了幀內宏塊編碼類型之外，將不同預測或運動補償編碼類型規定為P宏塊類型。每個P宏塊類型與將宏塊具體分為塊形式相對應，塊形式用于運動補償預測。語法支持以16×16、16×8、8×8或者8×16采樣的小塊尺寸進行劃分。在8×8采樣的劃分中，對于每個8×8劃分，發送附加的語法單元。該語法單元規定了是否將各個8×8劃分進一步劃分為8×4、4×8或者4×4亮度采樣和相應的色度采樣。
通過將各個參考圖像的區域移動由平移矢量和圖像參考指標規定的量，獲得每個預測編碼的M×M小塊的預測信號。因此，如果使用四個8×8劃分來編碼宏塊，并且在將每個8×8劃分進一步劃分為四個4×4劃分時，可在所謂運動場內傳輸單個P宏塊的最大量為16的運動矢量。
在H.264/AVC中，量化參數片QP用于確定變換系數的量化。該參數可假定52個值。設置這些值，使得量化參數增加1則意味著量化器步長寬度增加大約12％。這意味著量化參數增加6則使量化器步長寬度恰好增加因子2。應該注意，步長大小改變大約12％也意味著比特率減少大約12％。
塊的量化變換系數通常以Z字形路徑來采樣，并通過使用熵編碼方法來處理。按照光柵掃描順序來采樣色度分量的2×2DC次數，并且可通過使用16比特整數值的加法和移位運算來實現H.264/AVC中的所有逆變換運算。
參考圖9，對于視頻序列中的每個圖像，首先逐個圖像將輸入信號劃分為16×16象素的宏塊。然后，將每個圖像提供給減法器84，減法器84減去由包含在編碼器中的解碼器85提供的原始圖像。然后對減法結果(即空間域的殘留信號)進行變換、縮放和量化(塊86)，以獲得線81b熵的量化變換系數。為了產生要饋入減法器84的減法信號，首先再次對量化變換系數進行縮放和逆變換(塊87)，以提供給加法器88，加法器88的輸出饋入解塊濾波器89，其中，例如，在解塊濾波器的輸出處監視將要由解碼器進行解碼的輸出視頻信號，以用于控制目的(輸出90)。
通過使用輸出90處的解碼的輸出信號，在塊91中執行運動估計。對于塊90中的運動估計，從圖9中可見，提供原始視頻信號的圖像。標準允許兩種不同的運動估計，即前向運動估計和后向運動估計。在前向運動估計中，關于前一圖像來估計當前圖像的運動。然而，在后向運動估計中，使用將來的圖像來估計當前圖像的運動。將運動估計的結果(塊91)提供給運動補償塊92，特別地，在開關93切換到幀間預測模式時，就像在圖9的情況下一樣，運動補償塊92執行運動補償幀間預測。然而，如果開關93切換到幀內預測，則使用塊490來執行幀內預測。因此，由于對于幀內預測，不執行運動補償，所以不需要運動數據。
運動估計塊91分別產生運動數據和運動場，其中，將分別包括運動矢量的運動數據和運動場發送到解碼器，從而可執行相應的逆預測，即使用變換系數和運動數據的重構。應該注意，在前向預測中，可分別根據緊接的前一圖像和多個在前的圖像來計算運動矢量。除此之外，還應該注意，在后向預測中，可使用緊接的相鄰的將來圖像，當然也可使用其它的將來圖像，來計算當前圖像。
圖9所示的視頻編碼概念的缺點在于，其未提供簡單的可縮放性的可能。如本領域公知的，術語“可縮放性(scalability)”表示編碼器/解碼器概念，其中，編碼器提供縮放的數據流。縮放的數據流包括基本縮放層以及一個或多個增強縮放層。基本縮放層包括要編碼的信號的表征，通常具有較低質量，但同時具有較低數據率。增強縮放層包含視頻信號的另一表征，其提供相對于基本縮放層有提高質量的表征，典型地伴隨著基本縮放層的視頻信號表征。另一方面，當然，增強縮放層具有各自的比特需求，因此用于表示要編碼的信號的比特數隨每個增強層而增加。
取決于設計和可能性，解碼器僅對基本縮放層進行解碼，以提供由解碼信號表示的圖像的相當差質量的表征。然而，隨著每次“增加”另一縮放層，解碼器可逐步提高信號的質量(在有損比特率的情況下)。
取決于實現方式和編碼器到解碼器的傳輸通道，由于典型地基本縮放層的比特率很低而有限的傳輸通道足夠，所以傳輸至少一個基本縮放層。如果傳輸通道不再有更多的帶寬，則僅傳輸基本縮放層而不傳輸增強縮放層。結果，解碼器可只產生圖像信號的低質量表征。與數據率太高而使得傳輸系統不太可能的未縮放情況相比，低質量表征是有利的。如果傳輸通道運動傳輸一個或多個增強層，則編碼器將向解碼器傳輸一個或多個增強層，因此可根據請求，逐步地提高輸出視頻信號的質量。
關于視頻序列的編碼，可區分兩種不同的縮放。一種縮放是時間縮放，因此未傳輸視頻序列的所有視頻幀，而是為了減小數據率，例如，僅傳輸了每第二個幀、每第三個幀、每第四個幀等。
另一種縮放是SNR縮放(SNR＝信噪比)，其中，基本縮放層和第一、第二、第三、...增強縮放層包括所有的時間信息，但是具有不同的質量。因此，基本縮放層具有低數據率，但是具有低信噪比，其中，可通過每次增加一個增強縮放層來逐步地提高該信噪比。
圖9所示的編碼器概念的問題在于，它是基于殘留值僅由減法器84產生、然后被處理的事實。在圖9所示的通過使用塊86、87、88、93、94和84而形成閉合回路的設置中，基于預測算法來計算這些殘留值，其中，量化參數進入閉合回路，即進入塊86、87。如果現在實現簡單的SNR縮放，即例如首先用粗量化步來量化預測殘留信號，然后通過使用增強層，用細量化器步長來逐步量化預測殘留信號，這將具有以下結果。由于逆量化和預測，特別地，關于一方面使用原始圖像且另一方面使用量化圖像而進行的運動估計(塊91)和運動補償(塊92)，將在編碼器和解碼器中導致量化器步長的“發散”。這導致在解碼器一側產生增強縮放層非常困難。此外，在解碼器一側處理增強縮放層變得不可能，至少是關于在標準H.264/AVC中定義的單元不可能。因此，原因是圖9所示的視頻編碼器中的閉合回路包含量化。
在San Diego2003年12月2日到5日的第九屆JVT會議介紹的HsikoSchwarz，Detlev Marpe和Thomas Wiegand的題為“SNR-ScalableExtension of H.264/AVC”的標準化文獻JVT-I 032 t1中，介紹了對H.264/AVC的可縮放擴展，其中包括關于時間和信噪比的可縮放性(具有相等或不同時間精度)。因此，引入了時間子帶劃分的提升表征，這允許使用運動補償預測的公知方法。
在J.-R.Ohm，“Complexity and delay analysis of MCTF interframewavelet structures”，ISO/IECJTC1/WG11 Doc.M8520，July 2002中描述了其中提升表征用于小波分析和小波合成的基于小波的視頻編碼算法。在D.Taubman，“Successive refinement of videofundamental issues，past efforts and new directions”，Proc.of SPIE(VCIP’03)，vol.5150，pp.649-663，2003中可以找到與可縮放性有關的評述，然而，其中需要顯著的編碼器結構改變。根據本發明，一方面實現了編碼器/解碼器的概念，另一方面，可縮放的可能性可基于與標準一致的單元，尤其是對于運動補償。
在詳細參考圖3的編碼器/解碼器機構之前，首先，參考圖4來分別描述編碼器一側的基本提升方案和解碼器一側的逆提升方案。在W.Sweldens，“A custom design construction of biorthogonal wavelets”，J.Appl.Comp.Harm.Anal.，vol.3(no.2)，pp.186-200，1996和I.Daubechies and W.Sweldens，“Factoring wavelet transforms into liftingSteps”，J.Fourier Anal.Appl.，vol.4(no.3)，pp.247-269，1998可找到與提升方案和小波變換的組合的背景技術有關的詳細解釋。通常，提升方案包括三步，即多相分解步驟、預測步驟和更新步驟。
分解步驟包括將輸入側的數據流劃分為下分支40a的相同第一拷貝以及上分支40b的相同拷貝。此外，將上分支40b的相同拷貝延遲一時間級(z-1)，使得具有奇數索引k的采樣s2k+1與具有偶數索引s2k的采樣分別經過各個抽取器和下采樣器42a、42b。抽取器42a和42b分別通過去除每第二個采樣，來減少上和下分支40b、40a中的采樣數。
涉及預測步驟的第二區域II包括預測算子43和減法器44。表示更新步驟的第三區域包括更新算子45和加法器46。在輸出側，存在兩個歸一化器47、48，用于歸一化高通信號hk(歸一化器47)和歸一化低通信號lk(歸一化器48)。
具體地，多相分解導致給定信號s[k]的奇偶采樣的劃分。由于相關性結構典型地示出了局部特性，所以奇偶多相分量高度相關。因此，在最后的步驟中，通過使用整數采樣來執行奇數采樣的預測(P)。每個奇數采樣sodd[k]＝s[2k+1]的相應預測算子(P)是相鄰偶數采樣seven[k]＝s[2k]的線性組合，即P(seven)[k]=Σlplseven[k+l].]]>作為預測步驟的結果，奇數采樣由它們各自的預測殘留值替代h[k]＝sodd[k]-P(seven)[k]。
應該注意，預測步驟等效于執行兩個通道的濾波器組的高通濾波，如在I.Daubechies and W.Sweldens，“Factoring wavelet transformsinto lifting steps”，J.Fourier Anal.Appl.vol 4(no.3)，pp.247-269，1998中所示。
在提升方案的第三步驟中，通過用預測殘留值h[k]的線性組合來替代偶數采樣seven[k]，來執行低通濾波。各個更新算子U給出如下U(h)[k]=Σlulh[k+l].]]>通過用以下值替代偶數采樣l[k]＝seven[k]+U(h)[k]給出的信號s[k]最終可由l[k]和h[k]表示，其中，每個信號具有二分之一采樣率。由于更新步驟和預測步驟都是完全可逆的，所以可將相應的變換解釋為嚴格采樣理想重構濾波器組。實際上，可以看出，可由一個或多個預測步驟和一個或多個更新步驟的序列來實現任意雙正交族的小波濾波器。對于低通和高通分量的歸一化，如已經解釋的，給歸一化器47和48提供適當選擇的縮放因子Fl和Fh。
圖4在右手邊示出了與合成濾波器組相對應的逆提升方案。該方案只包括以相反順序以及相反符號來應用預測和更新算子，之后通過使用奇偶多相分量來進行重構。具體地，圖4所示的右邊的解碼器也包括第一解碼器區域I、第二解碼器區域II以及第三解碼器區域III。第一解碼器區域抵消更新算子45的效果。這通過向更新算子45提供由另一歸一化器50歸一化的高通信號來實現。然后，與圖4的加法器46相反地，將解碼器側的更新算子45的輸出信號提供給減法器52。相應地，處理預測器43的輸出信號，然后將該輸出信號提供給加法器53，而不是與編碼器側一樣提供給減法器。現在，在每個分支中進行因子2的信號上采樣(塊54a、54b)。然后，將上分支向將來移位一個采樣，這等效于延遲下分支，來在加法器55中執行上分支和下分支上的數據流的加法，以在合成濾波器組的輸出處獲得重構的信號sk。
可分別由預測器43和更新算子45來實現多個小波。如果要實現所謂hair小波，則預測算子和更新算子給出如下PHair(seven)[k]＝s[2k]和UHair(h)[k]=12h[k],]]>使得h[k]＝s[2k+1]-s[2k]以及l[k]=s[2k]+12h[k]=12(s[2k]+s[2k+1])]]>分別與hair濾波器的非歸一化高通和低通(分析)輸出信號相對應。
在5/3雙正交樣條小波的情況下，該小波的低通和高通分析濾波器分別具有5和3個濾波器抽頭，其中，相應的縮放函數是二階B樣條。在諸如JPEG200的靜止圖像的編碼器應用中，該小波用于時間子帶編碼器方案。在提升情況下，5/3變換的相應預測和更新算子給出如下P5/3(seven)[k]=12(s[2k]+s[2k+2])]]>以及U5/3(h)[k]=14(h[k]+h[k-1])]]>圖3示出了在編碼器一側和解碼器一側都具有示范性的四個濾波器級的編碼器/解碼器結構的方框圖。從圖3可見，編碼器的第一濾波器級、第二濾波器級、第三濾波器級和第四濾波器級是相同的。解碼器的濾波器級也是相同的。在編碼器一側，每個濾波器級包括后向預測Mi060以及前向預測Mi161作為中心單元。后向預測器60在原理上與圖4的預測器43相對應，而前向預測器61與圖4的更新算子相對應。
與圖4相反，應該注意，圖4涉及采樣流，其中采樣具有奇數索引2k+1，而另一采樣具有偶數索引2k。然而，如已經參考圖1所解釋的，圖3中的注釋涉及一組圖像而不是一組采樣。如果圖像分別具有多個采樣和圖像，則完全饋入該圖像。然后，饋入下一圖像等。因此，不再有奇數和偶數采樣，而只有奇數和偶數圖像。根據本發明，將針對奇數和偶數采樣所描述的提升方案分別應用于每個都具有多個采樣的奇數和偶數圖像。現在，圖4的逐個采樣預測器43變為后向運動補償預測60，而逐個采樣更新算子45變為逐個圖像前向運動補償預測61。
應該注意，針對兩個相繼的有關圖像來計算運動濾波，運動濾波包括運動矢量且表示塊60和61的系數，并將其作為輔助信息從編碼器發送到解碼器。然而，本發明概念的主要優點在于，結合圖9所描述的且在標準H.264/AVC中標準化的單元91、92可容易地用于計算運動場Mi0和運動場Mi1。因此，對于本發明概念，不需要使用新的預測器/更新算子，而可將在針對功能和效率所檢查的視頻標準中提到的已有算法用于前向或后向的運動補償。
具體地，圖3所示的所用濾波器組的一般結構示出了在輸入64處饋入的具有16個圖像組的視頻信號的時間分解。該分解是視頻信號的二元時間分解，其中，在圖3所示的實施例中，需要四極24＝16個圖像(表示組大小為16個圖像)來實現最小時間分辨率的表征，該表征即輸出28a和輸出28b處的信號。因此，如果將16個圖像分組，則導致16個圖像的延遲，這使圖3所示的具有四級的概念對于交互式應用更加困難。因此，如果目的是交互式應用，則優選地形成更小的圖像組，例如四個或八個圖像的組。然后，相應地減小延遲，從而可能用于交互式應用。在不需要交互的情況下，例如用于存儲等的情況下，可相應地增加組中圖像數目，即組大小，例如增加到32個、64個圖像等。
在這種方式下，使用基于hair運動補償提升方案的交互式應用，該應用包括H.264/AVC中的后向運動補償預測(Mi0)，并還包括更新步驟，更新步驟包括前向運動補償(Mi1)。如H.264/AVC所示的，預測步驟和更新步驟都使用運動補償過程。此外，不僅使用運動補償，還使用由圖9中的附圖標記89所表示的解塊濾波器89。
第二濾波器級還包括下采樣器66a、66b、減法器69、后向預測器67、前向預測器68以及加法器70和另一處理裝置，該另一處理裝置用于在所述另一處理裝置的輸出處輸出第二級的第一和第二高通圖像，并在加法器70的輸出處輸出第二級的第一和第二低通圖像。
此外，圖3的編碼器包括第三級和第四級，其中，將16個圖像的組饋入第四級輸入64。在也被稱為HP4的第四級高通輸出72處，輸出用量化參數Q量化且相應處理的八個高通圖像。相應地，在第四濾波器級的低通輸出73處，輸出八個低通圖像，這八個低通圖像饋入第三濾波器級的輸入74。該級同樣用于在也被稱為HP3的高通輸出75處產生四個高通圖像，并在低通輸出76處產生四個低通圖像，這四個低通圖像饋入第二濾波器級的輸入10并被分解。
特別地，應該注意，由濾波器級處理的圖像組并不一定必須是來源于原始視頻序列的視頻圖像，而可以是由下一更高濾波器級在濾波器級的低通輸出處輸出的低通圖像。
此外，還應該注意，當簡單地省略第四濾波器級并將圖像組饋入輸入74時，圖3所示針對16個圖像的編碼器概念可容易地減少為針對八個圖像。以相同的方式，可通過添加第五濾波器級、然后在第五濾波器級的高通輸出處輸出16個高通圖像、并將第五濾波器級的輸出處的十六個低通圖像饋入第四濾波器級的輸入74，將圖3所示的概念擴展為針對32圖像組。
編碼器一側的樹式概念同樣適用于解碼器一側，但是不像編碼器一側一樣從高級到低級，而是在解碼器一側從低級到高級。因此，示意地被稱為網絡抽象層100的從傳輸介質接收數據流，所接收的比特流首先經過另一逆處理裝置的另一逆處理，在裝置30a的輸出處獲得第一級的第一高通圖像的重構版本，并在圖3的塊30b的輸出處獲得第一級低通圖像的重構版本。然后，與圖4的右半部相同，經由預測器61，首先將前向運動補償預測反轉，然后從低通信號的重構版本中減去預測器61的輸出信號(減法器101)。
減法器101的輸出信號饋入后向補償預測器60，產生預測結果，在加法器102中將預測結果與高通圖像的重構版本相加。然后，通過使用上采樣器104a、104b，使兩個信號(即下分支103a、上分支103b中的信號)變為雙倍采樣率，然后根據實現方式，使上分支的信號延遲或“加速”。應該注意，僅通過插入與圖像的采樣數相對應的數目的零，由橋104a、104b來執行上采樣。以z-1示出的單元使上分支103b相對于下分支103a的圖像延遲移動使得兩個第二級低通圖像依次出現在相對于加法器106的輸出側。
第一和第二第二級低通圖像的重構版本然后饋入解碼器一側的第二級逆濾波器，通過逆濾波器組的相同實現，再次與發送的第二級高通圖像組合，在第二級的輸出101處獲得四個第三級低通圖像序列。四個第三級低通圖像然后在第三級的逆濾波器級中與發送的第三級高通圖像組合，在逆第三級濾波器的輸出110處獲得序列格式的八個第四級低通圖像。在逆第四級濾波器中，這八個第四級低通圖像再次與經由輸入HP4從傳輸介質100接收的八個第四級高通圖像組合，在逆第四級濾波器的輸出112處獲得16個圖像的重構組。
因此，在分析濾波器組的每一級中，將兩個圖像(原始圖像或者表示低通信號并在下一更高級中產生的圖像)分解為低通信號和高通信號。低通信號可以當作輸入圖像的共有特性的表征，而高通信號可當作輸入圖像之間的差異的表征。在合成濾波器組的相應級中，通過使用低通信號和高通信號，再次重構兩個輸入圖像。
由于在合成步驟中執行分析步驟的逆運算，所以分析/合成濾波器組(當然沒有量化)確保了理想的重構。
損耗僅發生在其它處理裝置中的量化中，例如26a、26b、18。如果非常精精細地執行量化，則可實現良好的信噪比。然而，如果非常粗略地執行量化，則實現相對差的信噪比，但是具有低的比特率，即要求低。
沒有SNR可縮放性，利用圖3所示的概念，已經實現了時間縮放控制。因此，使用時間縮放控制120，其形成為在輸入側分別獲得高通和低通輸出以及其它處理裝置(26a、26b、18、…)的輸出，以從這些部分數據流TP1、HP1、HP2、HP3、HP4中產生縮放的數據流，該縮放的數據流具有基本縮放層的第一低通圖像和第一高通圖像。然后，第二高通圖像的處理版本容納在第一增強縮放層中。第三級高通圖像的處理版本會被容納在第二增強縮放層中，而第四級高通圖像的處理版本會被引入第三增強縮放層。因此，僅根據基本縮放層，解碼器可產生具有較低時間質量的低級低通圖像序列，即每個圖像組的兩個第一級低通圖像。隨著每個增強縮放層的添加，可一直使每組的重構圖像數目翻倍。解碼器的功能典型地由縮放控制來控制，縮放控制形成為檢測在數據流中包含多少縮放層以及解碼器在解碼期間要考慮多少縮放層。
Heiko Schwarz，Detlev Marpe and Thomas Wiegand在2003年12月8日至12日在Waikoloa Hawaii的第十屆JVT會議中介紹的題為“SNR-Scalable Extension of H.264/AVC”的JVT文獻JVT-J 035示出了圖3和圖4所示的時間分解方案的SNR可縮放擴展。具體地，將時間縮放層劃分為各個“SNR縮放子層”，其中，用第一粗量化器步長來量化某個時間縮放層，來獲得SNR基本層。然后，執行逆量化，并從原始信號中減去逆量化的結果信號，獲得差值信號，然后用細量化器步長對差值信號進行量化，獲得第二縮放層。然而，用細量化器步長對第二縮放層進行再次量化，從原始信號中減去再次量化后獲得的信號，獲得另一差值信號，在用細量化器步長進行量化之后，該差值信號分別表示第二SNR縮放層和SNR增強層。
因此，可以發現，基于運動步長時間濾波(MCTF)的上述可縮放性方案已經提供了關于時間可縮放性以及SNR可縮放性的高度靈活性。但是還有一個問題，即多個縮放層的總比特率仍然遠大于在不能夠縮放的情況下編碼最高質量的圖像時所實現的比特率。由于不同縮放層的輔助信息，可縮放的編碼器也許永遠不能夠獲得未縮放情況下的比特率。然而，具有多個縮放層的數據流的比特率應該盡可能地接近未縮放情況的比特率。
此外，可縮放性概念應該對于所有可縮放性類型都提供高度靈活性，這意味著關于時間和空間的高度靈活性以及關于SNR的高度靈活性。
在具有低分辨率的圖像已足夠但是希望更高時間分辨率的情況下，高靈活性尤其重要。例如，當圖像中存在快速改變，例如在團體性運動的視頻中，除了球之外，還有許多人同時運動時，會產生這種情況。
已有可縮放性概念的另一缺點是它們針對所有縮放層使用相同的運動數據，這限制了可縮放性的靈活性，或者分別導致非最佳的運動預測以及運動預測的殘留信號增加。
另一方面，兩個不同縮放層的完全不同運動數據的傳輸導致大量開銷，尤其是在考慮相對較低的SNR縮放層時，其中，相對粗略地執行了量化，而整個比特流中的運動數據部分變得顯著。因此，由附加比特率來補償靈活的可縮放性概念，其中不同的運動數據和不同的縮放層變為可能，但是這對于所有努力都是致力于減小比特率的事實尤其不利。此外，用于傳輸運動數據的附加比特與運動預測殘留值的比特相比，在較低縮放層中尤其突出。然而，精確地說，由于在較低縮放層中，致力于獲得充分可接受的質量，即至少使用充分合理的量化參數，同時致力于獲得較低比特率，所以這是尤其惱人的。
發明內容
本發明的目的是提供一種提供較低數據率并仍然顯示出靈活性的可縮放的視頻編碼器系統的概念。
該目的由根據權利要求1的用于產生編碼的視頻序列的設備、根據權利要求15的用于產生編碼的視頻虛夸列的方法、根據權利要求16的用于對編碼的視頻序列進行解碼的設備、根據權利要求21的用于對編碼的視頻序列進行解碼的方法、根據權利要求22的計算機程序或者根據權利要求23的計算機可讀介質來實現。
本發明基于以下認識關于不同SNR或空間縮放層，通過在增強縮放層的增強運動補償中的增強運動數據的計算中使用基本運動數據，節約了數據率，同時具有靈活性。因此，根據本發明，在增強運動數據的計算中，并不是沒有基本層的運動數據，而是將基本層的運動數據并入計算中。
這里，根據本發明的優選實施例，使用自適應概念，即對于圖像的不同塊，可以不同方式考慮基本運動數據，并且對于一個塊，當預測沒有減少數據時，完全可省略利用基本運動數據作為預測器的增強運動數據預測。以具有與塊相關聯且指示給解碼器的信號標志信息的比特流，來傳輸是否使用基本運動數據而執行了增強運動數據預測以及預測的類型。因而，解碼器能夠借助于在解碼器中已經重構的基本運動數據來重構塊的運動數據，其中，必須借助并且借助的方式由逐個塊傳輸的比特流中的信號標志信息表示。
取決于實現方式，可在增強運動數據的實際計算中考慮基本運動數據，增強運動數據隨后可由增強運動補償器使用。然而，根據本發明，還優選地與基本運動數據無關地，計算增強運動數據，僅在對增強運動數據進行后處理以獲得實際傳輸到增強圖像編碼器的增強運動數據時使用基本運動數據。因此，根據本發明，在高靈敏度方面，執行增強運動數據的獨立計算，其中，對于編碼器一側的運動預測，與從基本運動數據計算出的增強運動數據無關地使用增強運動數據，而基本運動數據僅用于計算任意類型的殘留信號，以減少傳輸增強運動矢量所需的比特。
在本發明的優選實施例中，由中間層殘留值預測來補充運動數據中間層預測，以在運動補償預測的殘留值中盡可能好地利用不同縮放層之間的冗余，并將冗余用于減小數據率。
在本發明的優選實施例中，通過在縮放層中執行的運動補償預測，還在較低層(例如基本層)到較高層(例如增強層)的運動補償預測之后，利用殘留圖像的中間縮放層預測，來獲得比特率減小。
可以發現，在相同的時間縮放層中，優選地關于分辨率和關于信噪比(SNR)而縮放的單獨考慮的其它縮放層的殘留值也在運動補償預測之后的殘留值之間具有相關性。根據本發明，有利地在針對增強縮放層，在編碼器一側設置與解碼器一側的中間層組合器相對應的中間層預測器的情況下使用這些相關性。優選地，自適應地設置該中間層預測器，以便針對每個宏塊，判決中間層預測是否值得，或者預測會導致比特率增加。在關于后繼的熵編碼器，預測殘留信號大于增強層的原始運動補償殘留信號時，會出現后一種情況。然而，多數情況下不會發生這種情況，因此激活中間層預測器，并顯著地減小比特率。
現在參考附圖來解釋本發明的優選實施例，其中圖1a是本發明的編碼器的優選實施例；圖1b是圖1a的基本圖像編碼器的細節表示；圖1c是中間層預測標志的功能的討論；
圖1d是運動數據標志的描述；圖1e是圖1a的增強運動補償器的優選實施方式；圖1f是圖2的增強運動數據確定裝置1078的優選實施方式；圖1g是用于計算增強運動數據和如果需要則為了信號通知和殘留數據傳輸而進行的增強運動數據處理的三個優選實施例的整體表示；圖2是本發明解碼器的優選實施例；圖3是具有四極的解碼器的方框圖；圖4是示出了時間子帶濾波器組的提升分解的方框圖；圖5a是圖4所示的提升方案的功能的表示；圖5b是單向預測(hair小波)和雙向預測(5/3變換)的兩個優選提升規定的表示；圖5c是用于任意選擇要由提升方案處理的兩個圖像的具有運動步長和參考標記的預測和更新算子的優選實施例；圖5d是可逐個宏塊將原始圖像信息插入高通圖像的幀內模式的表示；圖6a是用于信號通知宏塊模式的示意表示；圖6b是根據本發明優選實施例，用于以空間可縮放性來對運動數據進行上采樣的示意表示；圖6c是運動矢量差的數據流語法的示意表示；圖6d是根據本發明優選實施例的殘留值語法增強的示意表示；圖7是例如8個圖像的圖像組的時間移位的整體視圖；圖8是16個圖像的圖像組的低通圖像的優選時間設置；圖9是根據針對宏塊的標準H.264/AVC，示出了編碼器的基本編碼器結構的整體框圖；圖10是包括分別在當前語法單元C的左邊和上邊的兩個相鄰象素單元A和B的環境設置；以及圖11是圖像分為片的劃分的表示。
具體實施例方式
圖1a示出了用于產生編碼的視頻序列的設備的優選實施例，該視頻序列具有基本縮放層和增強縮放層。具有8、16或任意數目圖像的圖像組的原始視頻序列饋入輸入1000。在輸出側，編碼的視頻序列包含基本縮放層1002和增強縮放層1004。增強縮放層1004和基本縮放層1002可提供給比特流復用器，該復用器在輸出側產生單個可縮放的比特流。然而，取決于實施方式，兩個縮放層的分離傳輸也是可以的，并且在一些情況下是有用的。圖1a示出了用于產生基本縮放層和增強縮放層這兩個縮放層的編碼器。為了獲得編碼器，如果需要，則產生一個或多個其它增強層，重復增強縮放層的功能，其中，總是由緊接的更低的增強縮放層給更高增強縮放層提供數據，如圖1所示，由基本縮放層1002給增強縮放層1004提供數據。
在詳細參考諸如SNR可縮放性或空間可縮放性或者空間和SNR可縮放性的組合可縮放性之類的不同縮放類型之前，首先來示出本發明的基本原理。首先，編碼器包括基本運動補償器或基本運動估計器1006，用于計算基本運動數據，基本運動數據表示宏塊在當前圖像中相對于基本運動補償器1006在輸入側獲得的圖像組中另一圖像怎樣運動。已知用于計算運動數據的技術，尤其是用于計算宏塊的運動矢量的技術，宏塊是數字視頻圖像中的象素區域。優選地，如在視頻編碼標準H.264/AVC標準化一樣，使用運動補償計算。因而，考慮后一圖像的宏塊，并確定宏塊相對于前一圖像怎樣“運動”。該運動(在xy方向)由二維運動矢量表示，該矢量是由塊1006針對每個宏塊計算的，并經由運動數據線1008提供給基本圖像編碼器1010。然后，針對下一圖像來計算宏塊怎樣從前一圖像運動到下一圖像。
在一種實施方式中，在某種程度上表示從第二到第三圖像的運動的新的運動矢量可再次作為二位矢量來傳輸。然而，為了效率的原因，優選地僅傳輸運動矢量差，運動矢量差表示宏塊從第二到第三圖像的運動矢量與宏塊從第一到第二圖像的運動矢量之間的差。可選地，還可使用并不是參考緊接的先前圖像而是參考其它先前圖像的運動矢量差。
然后將塊1006所計算的運動數據提供給基本運動預測器1012，基本運動預測器1012設計用于使用運動數據和圖像組來計算殘差圖像的基本序列。因此，基本運動預測器執行運動補償。在某種程度上，分別由運動補償器和運動估計器進行運動補償。然后將殘差圖像的基本序列提供給基本圖像編碼器。基本圖像編碼器形成為在其輸出處提供基本縮放層1002。
此外，本發明的編碼器包括增強運動補償器或增強運動估計器1014，用于檢測增強運動數據。將這些增強運動數據提供給增強運算預測器1016，增強運動預測器1016在輸出側產生殘差圖像的增強序列，并將增強序列提供給下游的中間層預測器1018。因此，增強運動預測器執行運動補償，在某種程度上，分別由運動補償器和運動估計器來進行運動補償。
中間層預測器形成為計算輸出側的增強預測殘差圖像。取決于實現方式，除了從塊1016獲得的數據，即殘差圖像的增強序列之外，中間層預測器還使用經由點狀的旁路線1020由塊1012提供的殘差圖像的基本序列。可選地，塊1018還使用在塊1012的輸出處提供并由插值器1022插值的殘差圖像的插值序列。此外，可選地，中間層預測器還可在基本圖像編碼器1010的輸出1024處提供殘差圖像的重構基本序列。從圖1a可見，該殘差圖像的重構基本序列可以是插值1022的，或者未插值1020的。因此，通常，中間層預測器使用殘差圖像的基本序列來工作，其中，例如，通過塊1012的輸出處的殘差圖像的基本序列的重構或插值，來得到中間層預測器輸入1026處的信息。
在中間層預測器1018的下游是增強圖像編碼器1028，增強圖像編碼器1028形成為對增強預測殘差圖像進行編碼以獲得編碼的增強縮放層1004。
在本發明的優選實施例中，中間層預測器形成為從中間層預測器1018從增強運動預測器1016獲得的各個信號中逐個宏塊且逐個圖像地減去在其輸出1026處的信號。在該減法中獲得的結果信號表示增強預測殘差圖像的圖像的宏塊。
在本發明的優選實施例中，自適應地形成中間層預測器。對于每個宏塊，提供中間層預測標志1030，該標志1030表示中間層預測器必須執行預測，或者在另一狀態下表示不必執行預測，但是要將增強運動預測器1016的輸出處的相應宏塊在沒有預測的情況下提供給增強圖像編碼器1028。該自適應的實現方式具有以下優點中間層預測僅在有用時才執行，即在與未執行中間層預測、而直接對增強運動預測器1016的輸出數據進行編碼的情況相比預測殘留信號導致較低輸出圖像速率的情況下才執行中間層預測。
在空間可縮放性的情況下，抽取器1032設置在增強縮放層和基本縮放層之間，形成為將在其輸入處的具有某種空間分辨率的視頻序列轉換為在其輸出處的具有較低分辨率的視頻序列。如果想要完全的SNR可縮放性，則意味著如果兩個縮放層的基本圖像編碼器1010和1028分別利用不同的量化參數1034和1036進行操作，則不設置抽取器1032。這在圖1a中通過旁路線1038示意地示出了。
此外，在空間可縮放性的情況下，必須設置插值器1022。在完全的SNR可縮放性的情況下，不設置插值器1022。而是，采用旁路線1020，如圖1a所示。
在一個實施方式中，增強運動補償器1014形成為完整地計算各個運動場，或者直接或在上采樣器1042的上采樣之后，使用基本運動補償器1006所計算的運動場(旁路線1040)。在空間可縮放性的情況下，必須設置上采樣器1042，將基本運動數據的運動矢量上采樣到更高的分辨率，即縮放。如果增加分辨率是基本分辨率的高和寬的兩倍，則增強層中的宏塊(16×16亮度采樣)覆蓋與基本層中的子宏塊(8×8亮度采樣)相對應的圖像區域。
因此，為了能夠使用增強縮放層的宏塊的基本運動矢量，使基本運動矢量的x分量和y分量加倍，即以因子2進行縮放。這將參考圖6b詳細進行討論。
然而，如果只有SNR可縮放性，則對于所有縮放層而言運動場都是相同的。因此，僅必須計算一次，并可在低縮放層計算之后，由每個更高縮放層直接使用。
對于中間層預測，也可使用基本運動預測1012的輸出處的信號。可選地，可使用線1024上的重構信號。由開關1044來選擇這兩個信號中的哪一個用于預測。線1024上的信號與塊1012的輸出處的信號的不同之處在于，該信號已經經過了量化。這意味著線1024上的信號與塊1012的輸出處的信號相比具有量化誤差。對于中間層預測而選擇性地使用線1024上的信號在單獨使用SNR可縮放性或結合空間可縮放性使用SNR可縮放性時尤其有用，因為塊1018處的輸出信號包含由第一縮放層產生的量化誤差，然后在輸入1036處由增強圖像編碼器以典型的細量化器步長和改變的量化參數2進行量化，然后寫入增強縮放層1004，所以由基本圖像編碼器1010所產生的量化誤差將“伴隨”到更高縮放層。
與中間層預測標志1030類似地，將運動數據標志1048饋入圖像編碼器，因此與此有關的相應信息包含在增強縮放層1004中，然后由解碼器使用，下面將參考圖2來進行討論。
如果使用理想空間可縮放性，可使用基本運動預測器1012的輸出信號，即殘差圖像的基本序列，代替基本殘差圖像的重構序列。
基于實現方式，可手動地或基于預測效益函數(prediction benefitfunction)來進行該開關的控制。
這里，應該注意，優選地，自適應地設計所有預測，即運動預測、增強運動數據預測和中間層殘留值預測。這意味著例如對于殘差圖像的基本序列的圖像中的每個宏塊或子宏塊，并不一定要有運動數據預測殘留值。因此，盡管被稱為“殘差圖像”，殘差圖像的基本序列的圖像還可分別包含未預測的宏塊和子宏塊。當圖像中出現新的對象時會發生這種情況。這里，由于預測殘留信號變得大于圖像中的原始信號，所以運動補償預測無用。在這種情況下，在塊1016中的增強運動預測中，將停用針對該塊(例如宏塊或子宏塊)的預測算子和最終的更新算子。
此外，為了清楚，提到了殘差圖像的基本序列，但是也許僅僅殘差圖像的基本序列的單個殘差圖像具有單個實際上包括運動預測殘留信號的塊。然而，在典型的應用中，每個殘差圖像實際上包含大量具有運動預測殘留信號的塊。
在本發明中，這同樣應用于殘差圖像的增強序列。因而，增強層的情況與基本層的情況類似。因此，在本發明中，殘差圖像的增強序列是圖像序列，其中，在極限情況下，僅僅單個“殘差圖像”的單個塊具有運動預測殘留值，而在該圖像的所有其它塊以及所有其它“殘差圖像”中，由于對于所有這些圖像/塊，已經停用了運動補償預測、如果不必要的話還有運動補償更新，所以實際上不存在殘留誤差。
根據本發明，這同樣適用于計算增強預測殘差圖像的中間層預測器。典型地，增強預測殘差圖像出現在序列中。然而，優選地，自適應地形成中間層預測器。例如，如果發現從基本層到增強層的基本層的殘留數據預測僅對于單個“殘差圖像”的單個塊有用，而對于該圖像的所有其它塊、甚至對于增強預測殘差圖像的序列的其它圖像，停用中間層殘留數據預測，則在本發明上下文中，為了清楚，將該序列稱為增強預測殘差圖像。在這點上，應該注意，當在基本層中的殘差圖像的相應塊中，已經計算了運動補償殘留值，并且對于與該塊相對應的塊(例如在相同的x、y位置)，在增強序列的殘差圖像中已經執行了運動補償預測時，中間層預測器可僅預測殘留數據，因此，在該塊中，由于運動補償預測，在增強層中存在殘差。僅在所考慮的兩個塊中均存在實際的運動補償預測殘留值時，中間層預測器才優選地變為活動的，來使用基本層的圖像中的殘差值的塊作為增強層的圖像中的殘差值的塊的預測器，然后僅向增強圖像編碼器發送該預測的殘留值，即，所考慮的圖像的該塊中的增強預測殘差數據。
下面，參考圖1b來分別討論基本圖像編碼器100或增強圖像編碼器1028和任意圖像編碼器的詳細視圖。在輸入側，圖像編碼器接收殘差圖像組并逐個宏塊地將其提供給變換器1050。然后在塊1052中對變換的宏塊進行縮放，并使用量化參數1034、1036、...來量化。在塊1052的輸出處，輸出所用的量化參數，即宏塊的所用量化器步長以及宏塊的頻譜值的量化指標。然后將該信息提供給圖1b中未示出的熵編碼器級，熵編碼器級包括Huffman編碼器或優選地包括運算編碼器，其根據H.264/AVC，利用已知的CABAC概念來工作。還將裝置1052的輸出信號提供給塊1054，塊1054執行逆縮放和重新量化，以將量化指標和量化參數再次轉換為數字值，然后將數字值提供給塊1056的逆變換，以獲得重構的殘差圖像組，現在，與原始的殘差圖像組相比，在變換塊1050的輸入處存在量化誤差，量化誤差取決于量化參數和量化器步長。取決于開關1044的控制，將一個信號或另一個信號提供給插值器1022或中間層預測器1018，以便執行本發明的殘留值預測。
圖1c示出了中間層預測器標志1030的簡單實現方式。如果中間層預測標志置位，則激活中間層預測器1018。然而，如果該標志未置位，則停用中間層預測器，從而針對該宏塊或從屬于該宏塊的子宏塊來執行同時的操作。原因也許是預測的編碼器增益實際上是編碼器損耗，這意味著在塊1016的輸出處的相應宏塊的傳輸在隨后的熵編碼中提供了比使用預測殘留值更好的編碼器增益。
圖1d示出了運動數據標志1048的簡單實現方式。如果標志置位，則從基本層的上采樣運動數據中得到增強層的運動數據。在SNR可縮放性的情況下，不需要上采樣器1042。這里，當標志1048置位時，可直接從基本運動數據中得到增強層的運動數據。應該注意，該運動數據“得到”可以是直接接收運動數據或實際預測，其中，塊1014從塊1014所計算機的增強縮放層的相應運動矢量中減去從基本層獲得的運動矢量，以便獲得運動數據預測值。經由圖1a所示的輸出，將增強層的運動數據(如果未執行任何預測)或預測的殘留值(如果執行了實際的預測)提供給增強圖像編碼器1028，因此它們最終將包含在增強縮放層比特流1004中。然而，如果執行從縮放了或未縮放的基本縮放層完全接收運動數據，則不必將增強運動數據寫入增強縮放層比特流1004。在增強縮放層比特流中用運動數據標志1048來通知該事實就足夠了。
圖2示出了用于對編碼的視頻序列進行解碼的設備，該序列包括基本縮放層1002和增強縮放層1004。增強縮放層1004和基本縮放層1002可來源于比特流解復用器，該解復用器對具有相應的縮放層的可縮放比特流進行解復用，從共同的比特流中提取基本縮放層1002和增強縮放層1004。將基本縮放層1002提供給基本圖像解碼器1060，基本圖像解碼器1060形成為對基本縮放層進行解碼，以獲得解碼的殘差圖像的基本序列和基本運動數據，并將其提供給輸出線1062。然后將線1062處的輸出信號提供給基本運動組合器1064，基本運動組合器1064抵消在塊1012中的編碼器中引入的基本運動預測器，在輸出側輸出解碼的第一縮放層的圖像。此外，本發明的解碼器包括增強圖像解碼器1066，用于對增強縮放層1004進行解碼，以在輸出線1068處獲得增強預測殘差圖像。此外，輸出線1068包括運動數據信息，例如運動數據標志1070，如果實際上在增強縮放層1004中存在增強運動數據或增強運動數據殘留值，則還包括這些增強運算數據。現在，線1062上的解碼的基本序列由插值器1070進行插值，或者不變地(線1072)提供給中間層組合器1074，以便抵消由圖1a的中間層預測器1018所執行的中間層預測。因此，中間層組合器形成為組合增強預測殘差圖像和插值了的(1070)或未插值的(1072)與線1062上的解碼的基本序列有關的信息，以獲得殘差圖像的增強序列，最終將該序列提供給增強運動組合器1076，與基本運動組合器1064相同，增強運動組合器1076抵消在增強層中執行的運動補償。增強運動組合器1076與運動數據確定裝置1078相連，提供用于塊1076中的運動組合的運動數據。運動數據實際上可以是增強圖像解碼器在輸出1068處提供的增強層的完整增強運動數據。可選地，增強運動數據還可以是運動數據殘留值。在兩種情況下，經由增強運動數據線1080，將相應數據提供給運動數據確定裝置1078。然而，如果運動數據標志1070用信號通知對于增強層未傳輸增強運動數據，則取決于直接的(1084)或由上采樣器1086的上采樣之后的所用可縮放性，從基本層中獲取所需運動數據。
此外，在塊內的中間層預測的情況下，即沒有運動數據殘留值的情況下，在解碼器一側提供增強運動組合器1076與基本運動組合器1064之間的相應連接，取決于空間可縮放性，該連接具有插值器1090，或在僅使用SNR可縮放性時，該連接具有旁路線。在兩層之間的可選塊內預測的情況下，僅將預測殘留信號發送到該宏塊內的增強層，這由比特流中的相應信號化信息表示。在這種情況下，除了下面所述的功能之外，增強運動組合器還執行該宏塊的累加，即執行宏塊殘留值與來自較低縮放層的宏塊值之間的組合，并將所組合的宏塊提供給實際的逆運動補償處理。
下面，參考圖3至5d，分別來解釋基本運動預測器1012或增強運動預測器1016的優選實施例，即增強運動組合器1076或基本運動補償器1064。
基本上，可使用任何運動補償預測算法，這意味著也包括圖9的92處所示的運動補償算法。因此，傳統的運動補償算法也遵從圖1所示的系統，然而，其中，停用圖4以附圖標記45所示的更新算子U。這導致將圖像組分別轉換為原始圖像、和殘留圖像以及預測殘留信號或者基于其的殘差信號。然而，如果在以已知運動補償方案實現了如圖4所示的更新算子有效且被計算的增強，如圖5a至5d所示，則正常的運動補償預測計算變為所謂的MCTF處理，該處理還被稱為運動補償時間濾波。這里，由于原始圖像與由更新算子加權的預測殘留信號組合，所以傳統運動補償的正常圖像和中間圖像通過更新運算分別變為低通圖像。
如已經參考圖1a和2所述的，在本發明的優選實施例中，針對每個縮放層來執行MCTF處理，其中，優選地按照參考圖3至5a以及7至8所述的方式來執行MCTF處理。
下面，參考圖4以及隨后的圖5a-5來描述運動補償濾波器的優選地實施例。如已經解釋的，運動補償時間濾波器(MCTF)由常見提升方案組成，該方案包括三步，即多相分解、預測和更新。圖4示出了相應的分析/合成濾波器組結構。在分析一側，通過對預測殘留值使用預測算子P和高通信號H，將給定信號的奇數采樣濾除偶數采樣的線性組合。通過使用更新算子，將預測殘留值h的線性組合與輸入信號s的偶數采樣相加，來形成相應的低通信號l。圖5a示出了圖4所示的變量h和l的等式關系以及算子P和U的基本實施例。
由于可完全逆轉預測步驟和更新步驟，所以可將相應的變換當作嚴格采樣的理想重構濾波器組。合成濾波器組包括預測算子和更新算子以與求和過程相反的符號、按照相反的順序的應用，其中，使用偶數和奇數多相分量。對于高通/低通分量的歸一化，使用相應的縮放因子Fl和Fh。不一定要使用這些縮放因子，但是在編碼期間選擇了量化器步長時可使用這些縮放因子。
f[x，k]示出了空間坐標x＝(x，y)T的視頻信號，其中，k是時間坐標。如圖5b的左手邊所示，給出了使用hair小波的提升表征的時間分解的預測算子P和更新算子U。對于5/3變換，相應的算子如圖5b的右手邊所示。通過如圖5c所示修改預測算子和更新算子，獲得對運動補償時間濾波的增強。具體地，參見參考指標r＞0，其允許一般的圖像自適應運動補償濾波。通過這些參考指標，可確保在圖4所示的場景中，不僅兩個時間緊隨的圖像被分解為高通圖像和低通圖像，而且可利用序列的第三圖像，按照運動補償的方式對第一圖像進行濾波。可選地，參考指標的適當選擇使得可將序列的同一個圖像用作運動矢量的基準。這意味著參考指標允許在八個圖像的序列中，所有運動矢量與序列的第四個圖像相關聯，從而通過圖4中的濾波方案，通過處理這八個圖像，最終獲得單個低通圖像，并且產生七個高通圖像(增強圖像)，并且在一個增強圖像與每個運動矢量相關聯的情況下，所有運動矢量與原始序列的同一個圖像相關聯。
因此，如果將序列的同一個圖像用作對多個其它圖像進行濾波的基準，則這導致時間分辨率縮放并不遵循因子2，這對于某些應用是有利的。總是將同一個圖像，即八個圖像的序列的第四個圖像饋入圖4的分析濾波器組的下分支。低通圖像在每次濾波中都是相同的，即最終產生圖像序列的所希望的單個低通圖像。當更新參數為零時，基本圖像僅僅是“通過”下分支。與之相比較，高通圖像總是取決于原始序列的相應另一個圖像和預測算子，其中，在預測中使用與該輸入圖像相關聯的運動矢量。因此，在這種情況下，最終獲得的低通圖像與原始圖像序列的某個圖像相關聯，并且每個高通圖像與原始序列的圖像相關聯，其中，原始圖像與序列的所選基本圖像(饋入圖4的分析濾波器組的下分支的圖像)的偏差對應于序列(運動補償)。當每個更新參數M01，M11，M21和M31等于零時，這導致饋入第四級的下分支73的圖像僅僅是“通向”底部。以某種方式，將低通圖像TP1“重復地”饋入濾波器組，而由參考指標控制的其它圖像一個接一個地引入圖3的輸入64。
從上述等式可見，運動補償濾波的預測和更新算子分別提供兩個不同小波的不同預測。當使用hair小波時，實現了單向運動補償預測。然而，如果使用5/3樣條小波，則兩個算子規定了雙向運動補償預測。
由于與單向預測相比，雙向補償預測通常減少預測殘留值的能量，但是增加運動矢量速率，所以希望在單項和雙向預測之間動態地切換，這意味著可根據基于圖像的控制信號，在hair小波的提升表征和5/3樣條小波之間切換。針對時間濾波并不使用閉合反饋回路的本發明概念可容易地逐個宏塊地在兩個小波之間切換，從而支持靈活性和數據流節約，這可最優地以信號自適應方式執行。
為了表示運動場或通常的預測數據場Mp和Mu，理想地，可使用H.264/AVC中已有的B片的語法。
通過級聯配對的圖像分解級，獲得二值樹結構，其將2n個圖像的組分為2n-1個殘留圖像和單個低通(或中間)圖像，如圖7針對八個圖像的組所示的。具體地，圖7示出了在第一級濾波器的輸出22處的第一級高通圖像HP1以及在第一級濾波器的輸出24處的第一級低通圖像。圖7還示出了從第二級獲得的在第二級濾波器的輸出16處的兩個低通圖像TP2以及高通圖像，作為第二級圖像。第三級低通圖像被提供給第三級濾波器的輸出76，而第三級高通圖像以已處理的形式被提供給輸出75。八個圖像的組最初可包括八個視頻圖像，其中使用圖3的解碼器而不使用第四濾波器級。然而，如果八個圖像的組是八個低通圖像的組，如在第四級濾波器的輸出73處所用的，則可將本發明的MCTF分解分別用作基本運動預測器、增強運動預測器，并用作基本運動組合器或增強運動組合器。
因此，通常，在分解2n個圖像的組中，傳輸(2n+1-2)個運動場描述、(2n-1)殘留圖像以及單個低通(或中間)圖像。
優選地，分別通過基本控制參數和增強控制參數來控制基本運動補償器和增強運動補償器，來計算量化參數(1034或1036)和運動信息的最佳組合，該組合基于某一速率是固定的。根據以下方法來執行計算以獲得關于某一最大比特率的最佳比。因此，可以發現，對于較低的比特率，即相對粗略的量化參數，運動矢量比采用相對精細的量化參數的更高縮放層更加重要。因此，對于粗量化因而低比特率的情況，計算比更高縮放層少的運動數據。因此，優選地，在更高縮放層中，變為子宏塊模式來計算大量運動數據，以用于高比特率的良好質量和最佳情況，而不是較低比特率，其中，運動數據關于殘留數據的重要性比更高縮放層的情況成比例地增加。這將在下面加以討論。
給定圖像A和B，它們是原始圖像或表示在先前的分析級中產生的低通信號的圖像。此外，提供亮度采樣a[]和b[]的相應陣列。如下逐個宏塊地估計運動描述Mi0對于圖像B中所有可能的宏塊和宏塊i的子宏塊劃分，通過使拉格朗日函數mi=argminm∈S{DSAD(i,m)+λ·R(i,m)}]]>最小化，來確定有關的運動矢量mi＝[mx，my]T其中，退化項給出如下DSAD(i,m)=Σ(x,y)∈P|b[x,y]-a[x-mx,y-my]|]]>這里，S規定了參考圖像A內的運動矢量搜索區域。P是由所考慮的宏塊劃分或子宏塊劃分覆蓋的區域。R(i，m)規定了傳輸運動矢量m的所有分量所需的比特數，其中，λ是固定的拉格朗日乘子。
首先，運動搜索在給定搜索區域S中的所有整數采樣的精確運動矢量上進行。然后，通過使用最佳的整數運動矢量，來測試八個環繞二分之一采樣的精確運動矢量。最后，通過使用最佳二分之一采樣的精確運動矢量，來測試八個環繞四分之一采樣的精確運動矢量。對于二分之一和四分之一精確運動矢量改進，以下項a[x-mx，y-my]被解釋為插值算子。
通常，宏塊模式和子宏塊模式的模式判決遵循相同的方法。從給定的一組可能的宏塊或子宏塊模式Smode中選擇使以下拉格朗日函數最小化的模式pipi=argminp∈Smode{DSAD(i,p)+λ·R(i,p)}]]>衰減項給出如下DSAD(i,p)=Σ(x,y)∈P|b[x,y]-a[x-mx[p,x,y],y-my[p,x,y]]|]]>其中，P規定了宏塊或子宏塊區域，m[p，x，y]是與宏塊或子宏塊模式p以及劃分或子宏塊劃分相關聯的運動矢量，包括亮度位置(x，y)。
速率項表示比特數，與編碼器模式p的選擇相關聯。對于運動補償編碼器模式，其還分別包括宏塊模式(如果適用)、子宏塊模式(如果適用)以及運動矢量。對于幀內模式，其還包括宏塊模式的比特和量化的亮度和色度變換系數水平的陣列。
所述一組可能的子宏塊模式由下式給出
{P_8×8，P_8×4，P_4×8，P_4×4}。
所述一組可能的宏塊模式由下式給出{P_16×16，P_16×8，P_8×16，P_8×8，INTRA}，其中，僅在估計用于預測步驟的運動場描述Mi0時才使用INTRA(幀內)模式。
根據以下等式，基于要估計運動場的分解級的高通圖像的基本層量化參數來設置拉格朗日乘子λλ＝0.33·2^(QPHi/3-4)根據本發明，使用圖8所示的分解方案，假設能夠在時間可縮放性和編碼器效率之間做出明智的折衷。將原始圖像序列當作輸入圖像序列A、B、A、B、A、B、...、A、B。因此，該方案提供了具有最佳時間可縮放性的一級(低通圖像之間具有相等距離)。將用作所有后繼分解級的輸入信號的低通圖像序列當作輸入圖像序列B、A、A、B、B、A、...、A、B，從而被分解的低通圖像之間的間距在后繼的兩個通道分析方案中保持較小，如從圖8可見。
接下來，關于圖6a至6d，參考運動數據中間層預測和殘留數據中間層預測的優選實施方式。為了分別獲得空間和SNR可縮放性，基本上，將較低的縮放層的運動數據和紋理數據用于預測更高的縮放層。這里，具體地，在空間可縮放性方面，在運動數據可用于預測空間增強層的解碼之前，需要對運動數據進行上采樣。通過使用AVC的已有B片語法來傳輸基本層表征的運動預測數據。優選地，在對增強層的運動場的編碼中引入兩個附加宏塊模式。
第一宏塊模式是“base_layer_mode”，第二模式是“qpel_refinement_mode”。為了用信號表示這兩個附加宏塊模式，如圖1所示，將兩個標志BLFlag和QrefFlag添加到宏塊層語法中，在語法元素mb_mode之前。因此，第一標志BLFlag1098用信號表示基本層模式，而另一個標志1100用符號表示qpel精細模式。如果這種標志置位，則其值為1，并且數據流如圖6a所示。因此，如果標志1098值為1，則標志1100和語法元素宏塊模式1102不再重要。然而，如果標志1098值為零，則其未置位，并且使用標志1100。然而，如果標志1098和1100的值均為零，則意味著兩者都未置位，將在語法元素1102中估計宏塊模式。
當BLFlag＝1時，使用基本層模式，對于相應宏塊則不再使用其它信息。該宏塊模式表示包括基本層的相應宏塊的宏塊劃分的運動預測信息直接用于增強層。應該注意，在這里且在整個說明書中，術語“基本層”用于表示關于當前所考慮的層(即增強層)的相鄰下一層。當基本層表示具有二分之一空間分辨率的層時，如圖6b所示，相應地縮放運動矢量場(即包括宏塊劃分的運動矢量場)。在這種情況下，當前宏塊包括與8×8子宏塊的基本層運動場相同的區域。因此，如果以直接的16×16、16×8或8×16模式來編碼相應的基本層宏塊，或者以8×8模式或直接的8×8模式來編碼相應基板層子宏塊，則將16×16模式用于當前宏塊。另一方面，如果以8×4、4×8或4×4模式編碼基本層子宏塊，則當前宏塊的宏塊模式是16×8、8×16或8×8(所有子宏塊模式是8×8)。當基本層宏塊表示INTRA宏塊時，將當前宏塊設置為INTRA_BASE，這表示當前宏塊時從基本層預測的宏塊。對于當前宏塊的宏塊劃分，將相同的參考指標用于基本層塊的相應宏塊/子宏塊劃分。將有關的運動矢量乘以因子2。該因子適用于圖6b所示的情況，其中基本層1102包括增強層1104的區域和象素數的二分之一。如果基本層的空間分辨率與增強層的空間分辨率之比不等于1/2，則將相應的縮放因子用于運動矢量。
然而，如果標志1098等于零且標志1100等于1，則用信號表示宏塊模式qpel_refinement_mode。標志1100優選地僅在基本層表示具有二分之一的當前層的空間分辨率的層時才出現。否則，宏塊模式(qpel_refinement_mode)并未包含在所述一組可能的宏塊模式中。該宏塊模式與基本層模式類似。與基本層模式一樣，導出宏塊劃分以及參考指標和運動矢量。然而，對于每個運動矢量，對于每個運動矢量分量，存在附加的四分之一采樣運動矢量改進-1.0或+1，還附加地將其傳輸且添加到導出的運動矢量。
當標志1098等于零且標志1100等于零時，或者當標志1100不存在時，照常規定宏塊模式以及相應參考指標和運動矢量差。這表示按照與基本層相同的方式對增強層傳輸完整的一組運動數據。然而，根據本發明，可能將基本層運動矢量用作當前增強層運動矢量的預測器(代替空間運動矢量預測器)。因此，列表X(其中X在0和1之間)擁有規定所考慮的運動矢量的參考指標列表。如果所有以下條件均為真，則如圖6c所示，針對每個運動矢量差，傳輸標志MvPrdFlag-未以INTRA宏塊模式來編碼包括當前宏塊/子宏塊劃分的基本層宏塊；-覆蓋當前宏塊/子宏塊劃分的左上采樣的基本層宏塊/子宏塊劃分使用列表X或雙向預測；-包括當前宏塊/子宏塊劃分的左上采樣的基本層宏塊/子宏塊劃分的列表X參考指標等于當前宏塊/子宏塊劃分的列表X參考指標。
如果圖6c的標志1106不存在，或者如果該標志1106等于零，則按照標準AVC的情況來規定空間運動矢量預測器。否則，當標志1106存在且等于1時，將相應的基本層矢量用作運動矢量預測器。在這種情況下，通過向基本層宏塊/子宏塊劃分的可能縮放的列表X運動矢量添加所傳輸的列表X運動矢量差，來獲得當前宏塊/子宏塊劃分的列表X運動矢量(其中X＝0或1)。
因此，標志1098、1100和1106共同表示可能實現圖1a大致示出的運動數據標志1048以及運動數據控制信號1048。當然，可使用不同的其它可能的信號標志，其中使用發送機和接收機之間的固定協議，這可以減少用信號表示的信息。
總之，關于圖1e、1f和1g，詳細示出了圖1a的增強運動補償器1014和圖2的增強運動數據確定裝置1078的詳細實施方式。
參考圖1e，可見，增強運動補償器1014基本上必須進行兩件事。因此，首先它必須計算增強運動數據，典型地即整個運動矢量，并將其提供給增強運動預測器1016，以使增強運動預測器1016可使用未編碼形式的這些矢量來獲得殘差圖像的增強序列，在現有技術中，典型地逐個塊自適應地獲得殘差圖像的增強序列。然而，另一件事是增強運動數據處理，即盡可能地壓縮用于運動補償預測的運動數據，并寫入比特流。為了寫入比特流，如圖1e所示，必須使各個數據進入增強圖像編碼器1028。因此，增強運動數據處理裝置1014b具有關于基本層盡可能地減少增強運動數據計算裝置1014a所確定的增強運動數據中包含的冗余的功能。
根據本發明，基本運動數據或上采樣的基本運動數據可由增強運動數據計算裝置1014a用來計算實際要使用的增強運動數據，或者還可僅用于增強運動數據處理，即增強運動數據壓縮，而它們對于計算增強運動數據不重要。圖1g的1.)和2.)兩種可能示出了基本運動數據和上采樣的基本運動數據已經用于增強運動數據的實施例，而圖1b的實施例3.)示出了與基本運動數據有關的信息未用于計算增強運動數據而僅用于分別對殘留數據進行編碼和捕獲的情況。
圖1f示出了增強運動數據確定裝置1078的編碼器一側的實施方式，具有用于逐個塊進行控制的控制模塊1078a，包含分別來自比特流和來自增強圖像編碼器1066的信號表示信息。此外，增強運動數據確定裝置1078包括增強運動數據重構裝置1078b，用于僅通過使用解碼的基本運動數據或解碼的上采樣基本運動數據，或通過組合與解碼的基本運動數據有關且來自增強運動解碼器1066從增強縮放層1104中提取出的殘留數據的信息，實際確定增強運動數據場的運動矢量，然后運動矢量可由增強運動組合器1076使用，組合器1076可形成為常用組合器，用于逆轉編碼器一側的運動補償預測。
接下來，參考圖1g所示的不同實施例。如圖6a已經示出的，BLFlag1098表示增強運動預測的上采樣的基本運動數據的完整接收。在這種情況下，裝置1014a形成為完整地接收基本運動數據，并且在不同層有不同分辨率的情況下，接收放大形式的運動數據，并將其發送到裝置1016。然而，不向增強圖像編碼器發送任何與運動場或運動矢量有關的信息。而是，針對每個塊(宏塊或者子宏塊)，發送各個標志1098。
在解碼器一側，這意味著圖1f的裝置178a對一個塊的標志1098進行解碼，如果標志1098是有效的，則使用來自基本層的解碼的基本運動數據或解碼的上采樣基本運動數據來計算增強運動數據，然后將其提供給塊1076。在這種情況下，裝置1078不需要運動矢量殘留數據。
在由標志QrefFlag 1100表示的本發明第二實施例中，將基本運動矢量并入裝置1014a所執行的增強運動數據計算中。如圖1g中部分2.)所示，并且如上所述，分別通過搜索以下項的最小值來執行運動數據計算和運動矢量m的計算(D+λR)。
將當前圖像的塊B與移位了特定位置運動矢量的先前和/或后繼圖像的塊之間的差引入失真項D。將圖1a中由1036表示的增強圖像編碼器的量化參數引入因子λ。項R提供了與用于對位置運動矢量進行編碼的比特數有關的信息。
通常，在不同位置運動矢量中進行搜索，其中，針對每個新的運動矢量來計算失真項D，并計算速率項R，并考慮優選地為固定的但是也可改變的增強量化參數1036。針對不同位置運動矢量來估計所述求和項，從而使用提供最小求和結果的運動矢量。
現在，根據本發明，還將來自基本層的相應塊的基本運動矢量并入該迭代搜索中。如果滿足搜索標準，則僅需要傳輸標志1100，而不必傳輸該塊的殘留值或任意其它信息。因此，當基本運動矢量滿足塊的標準(最小的先前項)，則裝置1041a使用基本運動矢量來將其傳輸到裝置1016。然而，僅將標志1100傳輸到增強圖像編碼器。
在解碼器一側，由于增強圖像解碼器不必傳輸殘留數據，所以這意味著裝置1078a在根據基本運動數據而解碼標志1100以確定該塊的運動矢量時控制裝置1078b。
在第二實施例的變體中，不僅將基本運動矢量，而且將從基本運動矢量中導出并(稍有)改變的多個基本運動矢量并入搜索中。取決于實現方式，運動矢量的任意分量可獨立地增加或減少一個量，或保持相同。該量可表示運動矢量的特定粒度，例如分辨率步長、二分之一分辨率步長或四分之一分辨率步長。如果這種改變的基本運動矢量滿足搜索標準，則附加地將改變量(所述量)，即+1、0或-1傳輸到標志1100。
由標志1100激活，解碼器然后在數據流中搜索該量，并恢復基本運動矢量或上采樣的基本運動矢量，并在塊1078b中將該量與相應的基本運動矢量組合，以獲得增強層中的相應塊的運動矢量。
在由標志1107表示的第三實施例中，基本上可隨意地執行運動矢量的確定。關于完整的靈活性，裝置1014a可例如根據在第二實施例中提到的最小化目標，確定增強運動數據。然后，將所確定的運動矢量用于編碼器一側的運動補償預測，而不考慮來自基本層的信息。然而，在這種情況下，增強運動數據處理1014a形成為在實際運算編碼之前將基本運動矢量并入運動矢量處理以降低冗余。
因此，根據標準H.264/AVC，執行運動矢量差的傳輸，其中確定圖像內的相鄰塊之間的差。在實現中，該差可形成在不同的相鄰塊之間，用以選擇最小的差。現在，根據本發明，將圖像中相應塊的基本運動矢量并入針對運動矢量差的最佳預測器的搜索中。如果滿足提供最小殘差值作為預測器的標準，則這由標志1106進行標志，并僅將殘差值傳輸到塊1028。如果基本運動矢量不滿足該標準，則不對標志1016進行置位，并執行空間運動矢量差計算。
然而，對于更簡單的編碼器實現，代替迭代搜索，總是針對塊自適應地確定基本運動矢量，并將其上采樣版本用作預測器。
根據本發明，還執行殘留數據的中間層預測。下面將對此進行討論。當運動信息在層之間改變時，根據基本層來預測殘留信息以及(在MCTF分解的情況下)增強層的高通信息是有利或不利的。當當前層的塊的運動矢量與相應基本層的運動矢量類似，并且逐個宏塊地與相應基本層的相應運動矢量類似時，在編碼的基本層殘留信息(高通信號)用于預測增強殘留信號(增強高通信號)時編碼器的效率有可能增加，因此僅對增強殘留信號和基本層重構(圖1a的線1024)之間的差進行編碼。然而，當運動矢量不類似時，對殘留信號的預測不太可能提高編碼器效率。因此，將自適應方法用于預測殘留信號和高通信號。可根據差信號，通過對受益的實際計算，或者根據對宏塊的基本縮放層的運動矢量與增強縮放層中相應宏塊的運動矢量之差的估計，來執行該自適應方法，即中間層預測器是否有效。如果該差小于特定閾值，則經由控制線130來激活中間層預測器。然而，如果該差高于特定閾值，則使針對該塊的中間層預測器去激活(deactivated)。
傳輸標志ResPrdFlag 1108。當標志1108等于1時，將基本層的重構的殘留信號用于預測增強層的當前宏塊的殘留信號，其中，僅對增強層的當前殘留信號與其基本層的重構之間的差的近似進行編碼。否則，標志1108不存在或等于零。這時，對增強層中當前宏塊的殘留信號進行編碼，而不根據基本層來預測。
當基本層表示具有二分之一的增強層的空間分辨率的層時，在將基本層的上采樣的殘留信號用作預測信號之前，通過使用插值濾波器來對殘留信號進行上采樣。該濾波器是具有六個抽頭的插值濾波器，用于對由于較低分辨率而在基本層中不存在的增強層的較高空間分辨率的值進行插值，周圍的值用于獲得盡可能好的插值結果。
然而，如果對變換塊的邊緣處的值進行插值，并且插值濾波器將僅使用另一變換塊的值來進行插值，則優選地并不這么做，而是對所考慮塊之外的插值濾波器的值進行合成，以進行偽像盡可能小的插值。
根據所謂核心試驗(core experiment)，發現運動和殘留值的中間層預測顯著地提高了基于AVC的MCTF方法的編碼器效率。對于特定的測試點，獲得了大于1dB的PSNR增益。尤其是對于每個空間分辨率(除了基本層)有非常低的比特率，可清楚地看到重構質量的提高。
取決于情況，本發明的方法可以硬件或軟件來實現。可在數字存儲介質中執行該實現，具體地在具有電可讀控制信號的盤或CD中實現，該數字存儲介質可與可編程計算機系統進行協作來執行該方法。因此，通常，本發明還包括具有存儲在機器可讀載體中的程序代碼的計算機程序產品，當計算機程序產品在計算機上運行時，所述程序代碼用于執行本發明方法。換言之，本發明還可實現為具有程序代碼的計算機程序，當該計算機程序在計算機上運行時，所述程序代碼執行本發明方法。
此外，本發明涉及一種計算機可讀介質，其中針對不同的解碼器側的裝置，存儲了具有第一縮放層和第二縮放層的可縮放數據流以及有關的控制字符。因此，計算機可讀介質可以是數據載體或因特網，在因特網上將數據流從提供方傳輸到接收機。
權利要求
1.一種用于產生具有基本縮放層(1002)和增強縮放層(1004)的編碼的視頻序列的設備，包括基本運動補償器(1006)，用于計算基本運動數據，所述基本運動數據表示當前圖像中的宏塊相對于圖像組中另一圖像怎樣運動；基本運動預測器(1012)，用于通過使用基本運動數據來計算殘差圖像的基本序列；基本圖像編碼器(1010)，形成為根據殘差圖像的基本序列來計算編碼的基本縮放層；增強運動補償器(1014)，用于確定增強運動數據；其中，所述增強運動補償器形成為通過使用基本運動數據，自適應地且逐個塊地確定增強運動數據，并逐個塊地提供信號標志信息；增強運動預測器(1016)，用于通過使用增強運動數據，計算殘差圖像的增強序列；以及增強圖像編碼器(1028)，用于對與殘差圖像的增強序列有關的信息進行編碼，并逐個塊地對信號標志信息進行編碼，以獲得編碼的增強縮放層。
2.根據權利要求1所述的設備，其中，基本運動補償器形成為計算空間分辨率比圖像更低的圖像的基本運動數據，增強運動補償器基于所述基本運動數據來確定增強運動數據，其中，還設置上采樣器(1042)，用于根據圖像組的空間分辨率之差來縮放基本運動數據，以及增強運動補償器(1014)形成為根據縮放的基本運動數據來計算增強運動數據。
3.根據權利要求2所述的設備，其中，增強運動補償器(1014)形成為接收塊的縮放的基本運動數據，作為增強運動數據，并將接收信號(1098)提供給該塊的增強圖像編碼器(1028)。
4.根據權利要求2所述的設備，其中，增強運動補償器(1014)形成為使用縮放的基本運動數據作為增強運動數據的塊的預測器，用以計算增強運動數據殘留信號，并將增強運動數據殘留信號以及預測信號標志提供給增強圖像編碼器(1028)。
5.根據權利要求1或2所述的設備，其中，基本圖像編碼器(1010)形成為利用基本量化參數(1034)來進行量化，其中，基本運動補償器形成為基于基本控制參數(1034)，來計算基本運動數據，而基本控制參數可基于基本量化參數，其中，增強圖像編碼器(1028)形成為利用增強量化參數(1036)來進行量化，以及增強運動補償器(1014)形成為基于增強控制參數(1036)來計算增強運動數據，而增強控制參數可基于增強量化參數，并且不同于基本圖像編碼器的基本控制參數。
6.根據權利要求5所述的設備，其中，增強運動補償器形成為使用基本運動數據，作為增強運動數據的預測器，并將增強運動數據殘留信號以逐個塊的信號標志的形式提供給增強圖像編碼器(1028)。
7.根據權利要求5所述的設備，其中，增強運動補償器(1014)形成為在確定宏塊的運動矢量時，根據搜索標準，在多個位置運動矢量中執行搜索，其中，增強運動補償器(1014)形成為在搜索中使用已經針對基本層的相應塊確定了的運動矢量，并且在基本層的運動矢量滿足搜索標準時，接收基本層的運動矢量，并將關于此的信息(1100)提供給增強圖像編碼器(1028)。
8.根據權利要求5至7之一所述的設備，其中，增強運動補償器(1014)還形成為考慮基本層的遞增變化的運動矢量，并在基本層的遞增變化的運動矢量滿足搜索標準時，將運動矢量的遞增變化以及塊的信號標志(1100)提供給塊的增強圖像編碼器(1028)。
9.根據前述權利要求之一所述的設備，其中，增強運動補償器(1014)形成為確定圖像的塊的運動矢量，并對運動矢量進行進一步的后處理，以確定兩個運動矢量之間的運動矢量差，并將其提供給增強圖像編碼器(1028)，以及增強運動補償器(1014)還形成為基于代價函數，而不是同一圖像的兩個塊的運動矢量之間的差，來使用來自增強層的一個圖像的塊的運動矢量和基本層的圖像的相應塊的修改或未修改的運動矢量之間差，并將該差以及塊的信號標志(1106)提供給增強圖像編碼器(1028)。
10.根據權利要求9所述的設備，其中，增強運動補償器(1014)形成為使用矢量差的量作為代價函數。
11.根據前述權利要求之一所述的設備，還具有中間層預測器(1018)，形成為通過使用殘差圖像的增強序列和與殘差圖像的基本序列有關的信息，來計算增強預測殘差圖像。
12.根據權利要求11所述的設備，其中，基本圖像編碼器(1010)形成為利用基本量化參數(1034)來執行量化，增強圖像編碼器(1028)形成為利用增強量化參數(1036)來執行量化，其中，增強量化參數(1036)可產生比基本量化參數(1034)更精細的量化，基本圖像編碼器(1010)形成為重構利用第一量化參數量化的殘差圖像的基本序列，以獲得重構基本序列，以及中間層預測器(1026)形成為通過使用殘差圖像的增強序列，并使用殘差圖像的重構基本序列作為與殘差圖像的基本序列有關的信息，來計算增強預測殘差圖像。
13.根據權利要求11或12所述的設備，還包括抽取器(1032)，用于對圖像組的分辨率進行抽取，其中，抽取器(1032)形成為給基本補償器(1006)提供具有基本分辨率的圖像組，所述基本分辨率小于提供給增強運動補償器(1014)的圖像組的增強分辨率；以及插值器(1022)，用于對殘差圖像基本序列或殘差圖像的重構基本圖像進行空間插值，以獲得殘差圖像的插值基本序列，可將殘差圖像的插值基本序列作為與殘差圖像的基本序列有關的信息(1026)提供給中間層預測器(1018)。
14.一種用于產生具有基本縮放層(1002)和增強縮放層(1004)的編碼的視頻序列的方法，包括步驟計算(1006)基本運動數據，基本運動數據表示當前圖像中的宏塊相對于圖像組中另一圖像怎樣運動；通過使用基本運動數據來計算(1012)殘差圖像的基本序列；根據殘差圖像的基本序列，執行基本圖像編碼(1010)，來產生編碼的基本縮放層；確定(1014)增強運動數據；其中，通過使用基本運動數據，自適應地且逐個塊地確定增強運動數據，并自適應地且逐個塊地提供信號標志信息；通過使用增強運動數據，計算(1016)殘差圖像的增強序列；以及通過對與殘差圖像的增強序列有關的信息進行編碼，并逐個塊地對信號標志信息進行編碼，來執行增強圖像編碼(1028)，以獲得編碼的增強縮放層。
15.一種用于對具有基本縮放層(1002)和增強縮放層(1004)的編碼的視頻序列進行解碼的設備，包括基本圖像解碼器(1060)，用于對基本縮放層進行解碼，以獲得殘差圖像的解碼基本序列和基本運動數據；基本運動組合器(1064)，用于通過使用基本運動數據和殘差圖像的解碼序列，來獲得基本縮放層的圖像序列；增強圖像解碼器(1066)，用于對增強縮放層進行解碼以獲得與殘差圖像的增強序列有關的信息以及與增強運動數據有關的信息；增強運動數據計算器(1078)，用于通過估計與增強運動數據有關的信息，并由于與增強運動數據有關的評估信息，通過使用與基本運動數據有關的信息，來計算增強運動數據；以及增強運動組合器(1076)，形成為通過使用殘差圖像的增強序列和增強運動數據，來獲得增強縮放層的圖像序列。
16.根據權利要求15所述的設備，其中，增強圖像解碼器(1066)形成為提供來自增強縮放層的運動數據接收信號，還設置上采樣器(1086)，用于將基本縮放層分辨率的基本運動數據轉換為增強縮放層分辨率；以及增強運動數據計算器(1078)形成為基于運動數據接收信號(1098)，提供轉換的基本運動數據，作為增強運動數據。
17.根據權利要求15所述的設備，其中，增強圖像解碼器(1066)形成為提供預測信號標志(1100，1106)以及來自增強縮放層的增強運動數據殘留信號，增強運動數據計算器(1078)形成為基于預測信號標志(1100，1106)，將增強運動數據殘留信號與基本運動數據或分辨率轉換的基本運動數據組合，以獲得增強運動數據。
18.根據權利要求15所述的設備，其中，增強圖像解碼器(1066)形成為提供差預測信號標志(1106)以及來自增強縮放層的塊的運動矢量差形式的增強運動數據殘留信號，以及增強運動數據計算器(1078)形成為基于差預測信號標志(1106)，將運動矢量差與相應塊的基本運動矢量組合，以用于計算塊的運動矢量。
19.根據權利要求15至18之一所述的設備，還具有中間層組合器(1074)，用于將增強層中包含的增強預測殘差數據與殘差圖像的解碼基本序列或殘差圖像的插值基本序列組合，以獲得殘差圖像的增強序列。
20.一種用于對具有基本縮放層(1002)和增強縮放層(1004)的編碼的視頻序列進行解碼的方法，包括步驟對基本縮放層進行解碼(1060)，以獲得殘差圖像的解碼基本序列和基本運動數據；通過使用基本運動數據和殘差圖像的解碼序列，執行基本運動組合(1064)，來獲得基本縮放層的圖像序列；對增強縮放層進行解碼(1066)以獲得與殘差圖像的增強序列有關的信息以及與增強運動數據有關的信息；通過估計與增強運動數據有關的信息，并由于與增強運動數據有關的評估信息，通過使用與基本運動數據有關的信息，來計算(1078)增強運動數據；以及通過使用殘差圖像的增強序列和增強運動數據，執行增強運動組合(1076)，來獲得增強縮放層的圖像序列。
21.一種計算機程序，用于在計算機上運行根據權利要求15或20所述的方法時，執行該方法。
22.一種計算機可讀介質，具有包括基本縮放層(1002)和增強縮放層(1004)的編碼的視頻序列，其中，編碼的視頻序列形成使得當在根據權利要求15所述的解碼設備中進行解碼時，產生解碼的第一縮放層和解碼的第二縮放層。
全文摘要
在基本層(1002)和增強層的可縮放視頻編碼以及運動補償(1006，1014)中，通過使用基本層(1002)的運動數據來執行增強層(1004)的運動數據的預測(1014，1016)，以獲得可縮放的概念，一方面，這提供了計算不同層的運動數據的最大靈活性，另一方面，這實現了較低的比特率。
文檔編號H04N7/46GK101095357SQ200580035323
公開日2007年12月26日 申請日期2005年9月21日 優先權日2004年10月15日
發明者海科·施瓦茨, 德特勒夫·馬爾佩, 托馬斯·威甘德 申請人:弗勞恩霍夫應用研究促進協會