專利名稱：動態圖像解碼裝置的制作方法
技術領域：
本發明涉及一種對被編碼的動態圖像數據進行解碼的裝置，特別涉及對編碼動態圖像數據的倒帶播放進行控制。
背景技術：
現在，隨著信息技術的發展，能欣賞到根據MPEG標準等壓縮保存在蓄積介質中的聲音、動態圖像(映像)的播放。MPEG標準是指把動態圖像數據編碼為基準幀和差分幀的編碼標準。對這樣數據構造的編碼動態圖像數據進行解碼并顯示的動態圖像數據解碼裝置，遵從用戶指示，支持快進或倒帶等特殊播放是對內容進行簡單快速檢索的重要功能。采用MPEG標準壓縮動態圖像時，為快速顯示，由于必須有比對應動態圖像數據的平均位速率更高的位速率的動態圖像解碼裝置，從成本上講并不優選。因此，有必要提供一種能保持一定的顯示位速率的特殊播放方法。
現有技術利用動態圖像解碼裝置進行倒帶播放時，只對根據MPEG標準壓縮編碼的動態圖像數據中的基準幀進行解碼，根據時間軸上的未來存在順序進行顯示。
專利文獻1特開昭63-310293號公報。
但是，當只顯示基準幀時，因為要跳過基準幀間存在的差分幀進行顯示，要得到流暢的倒帶播放顯示存在困難。
此外，在基準幀的間隔變長、基準幀間含有很多差分幀的場合，因為顯示倒帶播放時要跳過的差分幀增加了，所以要檢索到用戶需要的幀很困難。
發明內容
本發明的目的在于提供一種能進行流暢的倒帶播放的動態圖像解碼裝置。
依據本發明的動態圖像解碼裝置，對編碼動態圖像數據進行解碼。編碼動態圖像數據包括幀信息、第1基準幀、第2基準幀、和多個差分幀。幀信息包括在編碼動態圖像數據中包含的幀的表示在時間軸上排列的信息。第1基準幀是被幀內預測編碼的數據。第2基準幀是被幀內預測編碼并且在時間軸上存在于第1基準幀之未來的數據。多個差分幀是在時間軸上存在于第1基準幀與第2基準幀之間并且根據第1基準幀被幀間預測編碼的數據。動態圖像解碼裝置具有常規播放模式及倒帶播放模式。動態圖像解碼裝置包括解析部、解碼部、輸出部。解析部選擇多個差分幀中的至少一個。解碼部對由解析部選擇的差分幀、和第1基準幀及第2基準幀進行解碼。輸出部，在倒帶播放模式時，根據幀信息，將由解碼部解碼的差分幀、第1基準幀、第2基準幀按照在時間軸上存在于未來的幀開始的順序，即按照第2基準幀、差分幀、第1基準幀的順序，輸出到顯示裝置。
在上述動態圖像解碼裝置中，處于倒帶播放模式時，第2基準幀與第1基準幀之間至少插入1個差分幀后輸出到顯示裝置。因此，輸出到顯示裝置的幀數比只輸出解碼后的基準幀的情況多。這樣，同只選擇基準幀進行顯示的情況相比，能得到流暢的倒帶播放圖像。
作為優選，上述動態圖像解碼裝置還包括分離部。分離部從AV數據中分離出編碼動態圖像數據。AV數據按照給定文件格式(多重化標準)將編碼動態圖像數據多重化。
作為優選，上述給定文件格式是AFS或者MP4。
作為優選，上述解析部，在倒帶播放模式時，在從輸出部應向顯示裝置輸出的時刻之前可以根據第1基準幀進行解碼的差分幀中選擇至少一個。
倒帶播放模式時，即使差分幀被解碼部解碼，如果差分幀的解碼完成趕不上應向顯示裝置輸出的時刻，該差分幀不能向顯示裝置輸出。即，盡管由解碼部對差分幀進行了解碼，但不能由輸出部輸出該差分幀，存在不能流暢進行倒帶播放的情況。
在上述動態圖像解碼裝置中，解析部在根據第1基準幀解碼的差分幀中，選擇解碼完成比應向顯示裝置輸出的時刻早的差分幀。
作為優選，上述動態圖像解碼裝置還包括緩沖器。緩沖器保存由解碼部解碼的差分幀。并且上述輸出部，在倒帶播放模式時，根據幀信息，將保存在緩沖器中的差分幀、由解碼部解碼的第1以及第2基準幀按照在時間軸上存在于未來的幀開始順序輸出到顯示裝置。
解碼部的處理速度比輸出部的處理速度快時，解碼部必須在輸出部的處理結束之前待機。因此，存在解碼器的處理停滯的情況。
在上述動態圖像解碼裝置中，緩沖器保存了被解碼器解碼的解碼動態圖像數據后，向輸出部傳遞動態圖像數據。這樣，緩沖器在解碼部和輸出部之間緩沖了解碼部的處理速度和輸出部的處理速度。使解碼部的處理能不停滯地進行。
作為優選，上述解碼部，將從在常規播放模式中被解碼的差分幀中由解析部選擇的差分幀保存到緩沖器。
在上述動態圖像解碼裝置中，在倒帶播放模式時，上述解碼部不對差分幀解碼，只對基準幀解碼。輸出部輸出由解碼部解碼的基準幀及保存在緩沖器中的差分幀。
如上所述，在上述動態圖像解碼裝置中，解碼部在倒帶播放模式時沒有必要每次對差分幀解碼，只對基準幀解碼即可，所以可以減少處理負荷，進行流暢的倒帶播放。
作為優選，上述解碼部，根據緩沖器內保存的差分幀解碼其它的差分幀。并且上述輸出部，在倒帶播放模式時，根據幀信息，將保存在緩沖器中的差分幀、由解碼部解碼的其它差分幀以及第1、第2基準幀按照在時間軸上存在于未來的幀開始順序輸出到顯示裝置。
在上述動態圖像解碼裝置中，解碼部在倒帶播放模式時，根據緩沖器內保存的差分幀解碼其它的差分幀。所以輸出部輸出的幀數比不進行這樣的解碼時多。此外，應該輸出到顯示裝置的差分幀數在相同情況下可以比不進行上述解碼時應該保存在緩沖器的差分幀數少。
如上所述，在上述動態圖像解碼裝置中，因為增加了輸出到顯示裝置的幀數，所以能進行流暢的倒帶播放。或者說，因為減少了緩沖器中保存的差分幀數，能減少緩沖器的存儲容量。
作為優選，上述編碼動態圖像數據還包含第3基準幀、多個差分幀。第3基準幀是被幀內預測編碼并且在時間軸上存在于第1基準幀之過去的數據。多個差分幀是在時間軸上存在于第3基準幀與第1基準幀之間并且根據第3基準幀被幀間預測編碼的數據。上述解析部從第3基準幀和第1基準幀之間存在的多個差分幀中選擇至少一個。上述解碼部與由輸出部向顯示裝置的輸出處理并行，對由解析部選擇的差分幀進行解碼(存在于第3基準幀和第1基準幀之間的差分幀)。
在上述動態圖像解碼裝置中，解碼部，與由輸出部向顯示裝置輸出的期間并行，對下一步由輸出部向顯示裝置輸出所需要的差分幀(由解析部選擇的、在第3基準幀與第1基準幀之間存在的差分幀)進行解碼。這樣，與沒有并行進行解碼時相比，緩沖器內事先保存較少的差分幀數即可。
如上所述，在上述動態圖像解碼裝置中，能根據在緩沖器內保存的差分幀數的減少來減小緩沖器的存儲容量。
作為優選，上述解碼部，對解碼后的差分幀降低其分辨率后保存到緩沖器中。上述輸出部將保存在緩沖器中的差分幀放大后輸出到顯示裝置。
在上述動態圖像解碼裝置中，解碼部對解碼后的差分幀降低其分辨率后保存到緩沖器中。這樣，與沒有降低分辨率時相比，緩沖器能保存更多的差分幀。與沒有降低分辨率時相比，輸出部增加了向顯示裝置輸出的幀數。這時，雖然會發生圖像的凌亂，但通過增加了顯示的幀數，在倒帶播放模式時顯示出用戶希望的瞬間幀的可能性提高，用戶對動態圖像的場景檢索變得容易。
作為優選，上述解碼部對解碼后的差分幀降低其分辨率后保存到緩沖器中。并且上述輸出部將保存在緩沖器中的差分幀和由解碼部解碼的差分幀放大后輸出到顯示裝置。
在上述動態圖像解碼裝置中，解碼部在常規播放模式時將降低分辨率的差分幀保存到緩沖器。然后，在倒帶播放模式時，解碼部把根據緩沖器內保存的差分幀對新的其它差分幀解碼。根據在緩沖器內保存的差分幀解碼的新的其它差分幀的分辨率低。輸出部輸出這些被上述解碼部解碼的幀時，放大分辨率低的幀輸出到顯示裝置。與新的其它差分幀沒有被解碼相比，雖然會發生圖像的凌亂，但通過增加了顯示的幀數，在倒帶播放模式時顯示出用戶希望的瞬間幀的可能性提高，用戶對動態圖像的場景檢索變得容易。
作為優選，上述解碼部將解碼后的差分幀降低其分辨率后保存到緩沖器中。并且上述解碼部將保存在緩沖器中的差分幀放大后，用其對其它差分幀進行解碼。
在上述動態圖像解碼裝置中，解碼部在常規播放模式時將降低分辨率的差分幀保存到緩沖器。然后，在倒帶播放模式時，解碼部將緩沖器內保存的差分幀放大后，根據該差分幀對新的其它差分幀解碼。根據放大后的差分幀解碼的新的差分幀的分辨率低。上述輸出部輸出這些被上述解碼部解碼的幀。與新的其它差分幀沒有被解碼相比，雖然會發生圖像的凌亂，但通過增加了顯示的幀數，在倒帶播放模式時顯示出用戶希望的瞬間幀的可能性提高，用戶對動態圖像的場景檢索變得容易。
作為優選，上述解碼部，當從倒帶播放模式切換到常規播放模式時，根據正在顯示裝置上顯示的差分幀的基準幀，對該差分幀進行重新解碼。
在倒帶播放模式中分辨率低的差分幀正在顯示裝置上顯示時，中斷倒帶播放模式而切換到常規播放模式，對差分幀進行解碼時，不是根據第1基準幀進行而是根據正在顯示裝置上顯示的分辨率低的差分幀進行。這樣，新的被解碼的差分幀變為低分辨率、在圖像顯示凌亂的情況下進行常規播放。
而在上述動態圖像解碼裝置中，解碼部從倒帶播放模式切換到常規播放模式時，正在顯示裝置上顯示的差分幀根據第1基準幀進行重新解碼。這樣，正在顯示裝置上顯示的差分幀恢復到原來的分辨率。其結果，可以在圖像顯示不會出現凌亂的情況下進行常規播放。
圖1表示本發明第1實施方式的動態圖像播放系統整體構成的框圖。
圖2表示圖1中動態圖像播放系統的常規播放處理順序流程圖。
圖3表示多重化數據的一例。
圖4表示編碼動態圖像數據的一例。
圖5表示幀信息的一例。
圖6表示圖1中動態圖像播放系統的倒帶播放處理順序流程圖。
圖7表示算出圖6中可能選擇的差分幀的極限幀數m的順序的一例。
圖8表示圖6中對編碼動態圖像數據進行解碼的順序的一例。
圖9表示圖6中的編碼動態圖像數據存儲到幀緩沖器的順序的一例。
圖10表示圖6中存儲到幀緩沖器的編碼動態圖像數據輸出到顯示器的順序的一例。
圖11表示算出圖6中可能選擇的差分幀的極限幀數m的順序的一具體例。
圖12表示圖6中數據變化的一具體例。
圖13表示本發明第2實施方式的動態圖像播放系統的常規播放處理順序流程圖。
圖14表示圖13中數據變化的一例。
圖15表示本發明第2實施方式的動態圖像播放系統中的倒帶播放處理順序流程圖。
圖16表示圖15中數據變化的一例。
圖17表示本發明第3實施方式的動態圖像播放系統中的倒帶播放處理順序流程圖。
圖18表示圖17中數據變化的一例。
圖19表示本發明第4實施方式的動態圖像播放系統中的倒帶播放處理順序流程圖。
圖20表示圖19中數據變化的一例。
圖21表示本發明第5實施方式的動態圖像播放系統中的常規播放處理順序流程圖。
圖22表示本發明第5實施方式的動態圖像播放系統中的倒帶播放處理步驟的流程圖。
圖23表示圖22中數據變化的一例。
圖24表示本發明第6實施方式的動態圖像播放系統的倒帶播放處理順序流程圖。
圖25表示圖24中數據變化的一例。
圖26表示本發明第7實施方式的動態圖像播放系統中的倒帶播放處理順序的流程圖。
圖27表示圖26中數據變化的一例。
圖28表示本發明第8實施方式的動態圖像播放系統中的倒帶播放處理順序流程圖。
圖29表示圖28中數據變化的一例。
圖中1-動態圖像解碼裝置，2-顯示裝置，11、15-輸入輸出接口，12-CPU，13-蓄積存儲器，14-幀緩沖器，100-多重化數據，200-正反播放速度信息。
具體實施例方式
下面，參照附圖，說明本發明的優選實施方式。對圖中使用同一符號的相同或相似部分不進行重復說明。
(第1實施方式)圖1是表示第1實施方式的動態圖像播放系統整體構成的框圖。該系統對多重化數據100中包含的編碼動態圖像數據進行播放處理(常規播放、特殊播放)。該系統包括動態圖像數據解碼裝置1、顯示裝置2。動態圖像數據解碼裝置1包括輸入輸出接口11、15、CPU12、蓄積存儲器13、幀緩沖器14。
輸入輸出接口11對從外部輸入的多重化數據100進行輸入處理。
CPU12進行多重化數據的解析、幀信息的取得、編碼動態圖像數據的解碼、以及根據正反播放速度信息200的整體控制。正反播放速度信息200表示用戶指定的播放方向以及播放速度。
蓄積存儲器13存儲多重化數據100、幀信息以及編碼動態圖像數據。
幀緩沖器14存儲被解碼的動態圖像數據。
輸入輸出接口15把幀緩沖器14內存儲的解碼動態圖像數據輸出到顯示裝置2。
其次，說明圖1表示的動態圖像播放系統的動作。在這里說明常規播放處理及倒帶播放處理。
(常規播放處理)在正反播放速度信息200表示的播放方向是正方向(前向)、播放速度是1倍(標準速度)時，成為常規播放模式，系統進行常規播放處理。以下，參照圖2說明常規播放處理。
(步驟ST1)通過輸入輸出接口11把多重化數據100輸入到動態圖像解碼裝置1。圖3是表示多重化數據100的一例。多重化數據100是指根據ASF、MP4等多重化標準(文件格式)使幀信息、編碼動態圖像數據、編碼聲音·音頻數據、編碼文本數據等按幀單位被多重化的數據(AV數據)。
(步驟ST2)CPU12把編碼動態圖像數據從多重化數據100中分離。被分離的編碼動態圖像數據被保存在蓄積存儲器13中。圖4是表示編碼動態圖像數據的一例。編碼動態圖像數據根據MPEG標準編碼。編碼動態圖像數據有含基準幀I1、I2、…和差分幀P1、P2、…。基準幀I1、I2、…是幀內預測編碼的數據。差分幀P1、P2、…是根據基準幀I1、I2被前向幀間預測編碼的數據。圖4的例中，基準幀之間的差分幀數是14。差分幀P1～P14是根據基準幀I1被前向幀間預測編碼的數據，差分幀P15～P28是根據基準幀I2被前向幀間預測編碼的數據。
(步驟ST3)CPU12從多重化數據100中取得幀信息保存到蓄積存儲器13中。圖5是表示幀信息的一例。幀信息包括幀編號、幀屬性、數據位置、顯示時刻。幀編號·幀屬性·數據位置·顯示時刻針對在動態圖像數據包含的各幀進行設置。幀編號表示此幀是從起始幀開始的第幾幀。幀屬性是表示此幀是基準幀(I)還是差分幀(P)。數據位置是指被此幀的數據包含的位置(從起始開始的第幾字節)。顯示時刻被稱做Presentation TimeStamp(PTS)，是為了與AV同步的顯示計時信息，表示幀應該顯示的時刻。在圖5所示幀信息中，時間軸上越是過去存在的幀顯示時刻值越小，時間軸上越是未來存在的幀顯示時刻值越大。
(步驟ST4)CPU12解碼蓄積存儲器13內存儲的編碼動態圖像數據。對于基準幀，只采用其編碼數據，解碼幀數據。對于差分幀，則采用與以前被解碼的幀數據之間的差分數據，解碼幀數據。
(步驟ST5)
在步驟ST4被解碼的幀數據被依次保存到幀緩沖器14。
(步驟ST6)輸入輸出接口15把存儲在幀緩沖器14內的幀數據從幀信息的顯示時刻值小的幀開始依次輸出到顯示裝置2。顯示裝置2把輸入輸出接口15輸出的幀數據顯示到畫面上。
(倒帶播放處理)正反播放速度信息200表示的播放方向是反方向時，系統成為倒帶播放模式，進行倒帶播放處理。以下，參照圖6說明倒帶播放處理。
(步驟ST1)通過輸入輸出接口11把多重化數據100輸入到動態圖像解碼裝置1。
(步驟ST2)CPU12把編碼動態圖像數據從多重化數據100中分離，被分離的編碼動態圖像數據被存放到蓄積存儲器13。
(步驟ST3)CPU12從多重化數據100中取得幀信息保存到蓄積存儲器13。
(步驟ST11)CPU12參照蓄積存儲器13存儲的幀信息，取得基準幀之間存在的差分幀的幀數N。
(步驟ST12)CPU12從正反播放速度信息200中取得在倒帶播放時的常規播放速度倍率Dusr。
(步驟ST13)CPU12取得在動態圖像解碼裝置1的常規播放時對應解碼速度可能得到的最大編碼速度的倍率Dmax、以及基準幀間存在的N幀差分幀按照常規播放時的解碼速度被全部解碼時所花時間T。
(步驟ST14)CPU12根據從步驟ST11到ST13取得的信息，算出倒帶播放時能進行解碼的差分幀的極限幀數m。
以下參照圖7說明算出倒帶播放時能進行解碼的差分幀的極限幀數m的方法。
假定從基準幀I1開始的第m幀的差分幀Pm在基準幀I2之后顯示。差分幀Pm在實際解碼時所花時間Td，可以采用動態圖像數據解碼裝置1在常規播放時對應解碼速度可能的最大解碼速度的倍率Dmax、基準幀之間存在的差分幀的幀數N、基準幀之間存在的N幀差分幀按照常規播放時的解碼速度被全部解碼時所花時間T、從基準幀I1開始到希望指定的差分幀Pm的幀數m，按照式1表示。
(式1)Td=T×mN×Dmax]]>倒帶播放時，從基準幀I2的顯示時刻開始到差分幀Pm的顯示時刻結束的時間Tp，可以采用正反播放速度信息200中用戶指示的倒帶速度對應的常規播放速度的倍率Dusr、基準幀之間存在的差分幀的幀數N、基準幀之間存在的N幀差分幀按照常規播放時的解碼速度被全部解碼時所花時間T、從基準幀I1開始到希望指定的差分幀Pm的幀數m，按照式2表示。
(式2)Tp=T×(N-m)N×Dusr]]>因為基準幀I2之后的差分幀Pm在應該顯示的時刻前必須結束對差分幀Pm的解碼，所以式3所示關系必須成立。
(式3)Td≤Tp因此，根據式1～式3，得到式4。
(式4)Td=T×mN×Dmax≤Tp=T×(N-m)N×Dusr]]>根據式4，可以得到差分幀的極限幀數m，如式5所示。
(式5)m≤N×DmaxDmax+Dusr]]>根據以上方法算出倒帶播放時能進行解碼的差分幀的極限幀數m。
(步驟ST15)CPU12選擇根據步驟ST14算出的極限幀數m范圍內的差分幀Px(P1≤Px≤Pm)中的至少1幀(參照圖7)。
(步驟ST16)CPU12把蓄積存儲器13存儲的編碼動態圖像數據進行解碼。如圖8所示，對基準幀全部解碼，對差分幀從差分幀P1到步驟ST15選擇的差分幀Px進行解碼。
(步驟ST17)如圖9所示，CPU12把基準幀的解碼數據和步驟ST15選擇的差分幀Px的解碼數據保存到幀緩沖器14。
(步驟ST18)輸入輸出接口15把幀緩沖器14存放的解碼數據輸出到顯示裝置2。參照步驟ST3取得的幀信息中含有的顯示計時信息及正反播放速度信息200，從顯示時刻值大的開始順次輸出。如圖10所示，按照基準幀I2的解碼數據、差分幀Px的解碼數據、基準幀I1的解碼數據的順序依次輸出。
以下，舉例說明從步驟ST11到步驟ST18的處理。
首先，在步驟ST11到步驟ST13中，如圖11所示，對應動態圖像解碼裝置1在常規播放時的解碼速度可能的最大解碼速度的倍率Dmax是5倍。(Dmax＝5)，用戶指示的倒帶速度的常規播放速度的倍率Dusr是2倍。(Dusr＝2)，被抽出的基準幀之間存在的差分幀的幀數N是14幀(N＝14)。
步驟ST14中，在式5中代入這些值后，得到式6。
(式6)m≤(14×5)/(5+2)＝10根據式6，如圖11所示，倒帶播放時能解碼的差分幀的極限幀數m是10幀(m＝10)。即到第10幀(P10)為止能進行差分圖像的解碼。此外，因為差分畫像的幀數是14幀，有4幀差分畫像(P11～P14)沒有顯示。在動態圖像解碼中，如果沒有顯示的差分畫像幀數為一定，能得到更加順暢的圖像，CPU12參照幀信息中的幀位置及顯示時刻，選擇按一定間隔顯示差分畫像的差分幀。如圖12所示，在步驟ST15可能選擇的10幀中選擇差分幀P5及差分幀P10。
在步驟ST16，按照基準幀I2、基準幀I1的順序解碼。以基準幀I1為基礎解碼差分幀P1～P10。
在步驟ST17，步驟ST16解碼的幀數據中，基準幀I2的解碼數據、基準幀I1的解碼數據、步驟ST15選擇的差分幀P5及P10的解碼數據被存儲到幀緩沖器14。
在步驟ST18，參照步驟ST3取得的幀信息中含有的顯示計時信息及正反播放速度信息200，按照基準幀I2的解碼數據、差分幀P10的解碼數據、差分幀P5的解碼數據、基準幀I1的解碼數據的順序輸出到顯示裝置2。
在以上的第1實施方式中，倒帶播放時不只對基準幀解碼顯示，至少對基準幀之間存在的差分幀中的1幀解碼并在基準幀之間顯示，所以增加了倒帶播放時顯示的幀數，得到順暢的倒帶播放畫像。
倒帶處理時，從步驟ST11到步驟ST13，取得相對動態圖像解碼裝置1在常規播放時的解碼速度可能的最大解碼速度的倍率Dmax，用它算出極限幀數m。這樣可以使極限幀數m最大。也可以用比最大的倍率Dmax小的值代替最大的倍率Dmax算出極限幀數m。但是，這樣算出的極限幀數m比用Dmax算出的小。
此外，倒帶處理時，例如在步驟ST15中選擇差分幀P5及P10，是因為如果顯示時幀間隔為一定，則可以得到更順暢的倒帶播放畫像。
(第2實施方式)第2實施方式的動態圖像播放系統的整體構成圖與圖1相同，但CPU12的動作不同。
參照圖13及圖14說明第2實施方式的動態圖像播放系統中的常規播放處理。
(常規播放處理)(步驟ST1～步驟ST5)與第1實施方式相同，常規播放時從步驟ST1到步驟ST5的處理是把解碼動態圖像數據(幀數據)保存到幀緩沖器14。
(步驟ST3、步驟ST11～步驟ST15)第1實施方式中進行倒帶播放的步驟ST3、以及從步驟ST11到步驟ST15的處理是選擇差分幀Px。
(步驟ST21)CPU12把幀緩沖器14內存儲的幀中的、步驟ST15選擇的差分幀Px輸出后仍保存到幀緩沖存儲器14。在第1實施方式中，為有效使用幀緩沖器14中的存儲器，幀緩沖器14存儲的幀輸出后從幀緩沖器14中消去，不斷在幀緩沖器14內存儲新的幀。
(步驟ST6)與第1實施方式同樣，進行常規播放的步驟ST6。被保存的差分幀Px的解碼數據留在幀緩沖器內。
參照圖15及圖16說明倒帶播放處理。
(倒帶播放處理)(步驟ST1、步驟ST2)在步驟ST1及步驟ST2進行的處理與第1實施方式相同。
(步驟ST31)CPU12把步驟ST2得到的編碼動態圖像數據中的基準幀I1、I2解碼。
(步驟ST32)CPU12把被步驟31解碼的基準幀I1、I2保存到幀緩沖器14。差分幀Px的解碼數據已經被步驟ST21(常規播放時)保存到幀緩沖器14。
(步驟ST33)輸入輸出接口15參照幀信息中包含的顯示計時信息以及正反播放速度信息200把幀緩沖器14內的解碼數據(基準幀I1、I2的解碼數據、已經被存儲的差分幀Px的解碼數據)按照顯示時間從大到小的順序輸出到顯示裝置2。顯示裝置2按照基準幀I2、差分幀Px、基準幀I1的順序顯示(倒帶播放顯示)在畫面上。
因為常規播放時差分幀Px保存在幀緩沖器14內，倒帶播放時顯示的差分幀Px的解碼處理不必在倒帶時進行。這樣，與第1實施方式相比能減少CPU12的處理負擔，同時能得到第1實施方式的效果。
(第3實施方式)第3實施方式的動態圖像播放系統的整體構成圖與圖1相同，但CPU12的動作不同。此外，第3實施方式在第2實施方式的倒帶播放處理中，根據保存在幀緩沖器14內的差分幀對其它的新的差分幀進行解碼處理。
參照圖13及圖18說明第3實施方式的動態圖像播放系統中的常規播放處理。
(常規播放處理)與第2實施方式的處理相同，在步驟ST2把差分幀Px保存到幀緩沖器14。
參照圖17及圖18說明在第3實施方式的動態圖像播放系統中的倒帶播放處理。
(倒帶播放處理)(步驟ST1、步驟ST2)在步驟ST1及步驟ST2進行的處理與第1實施方式相同。
(步驟ST3、步驟ST11～步驟ST15)與第1實施方式相同，到步驟ST15為止的處理是選擇差分幀P2、Px、Pz。
(步驟ST41)CPU12把在步驟ST2保存的編碼動態圖像數據解碼。被解碼的差分幀有根據基準幀I1解碼的P2和根據保存在幀緩沖器14內的差分幀Px解碼的Pz。步驟ST15選擇的差分幀Px在常規播放時被解碼，在步驟ST21已經被保存到幀緩沖器14。
(步驟ST42)CPU12把解碼的幀數據保存到幀緩沖器14。基準幀I2、I1的解碼數據全部被保存，差分幀的解碼數據只保存了步驟ST15選擇的差分幀P2、Px、Pz的解碼數據。
(步驟ST43)輸入輸出接口15把幀緩沖器14保存的幀數據參照幀信息含有的顯示計時信息及正反播放速度信息200，按照基準幀I2、差分幀Pz、差分幀Px、差分幀P2、基準幀I1的順序輸出到顯示裝置2。
這樣，因為根據常規播放時保存在幀緩沖器14內的差分幀Px及基準幀I1對新的其它差分幀Pz、P2在倒帶播放時進行解碼，所以常規播放時保存在幀緩沖器14內的差分幀數即使與第2實施方式相等也增加了顯示的幀數，與第2實施方式相比，能得到更加順暢的倒帶播放(上述例中只增加了差分幀P2、Pz)。此外，即使與第2實施方式顯示的幀數相等，減少保存在幀緩沖器14內的差分幀數能減小幀緩沖器14的必要的存儲容量。例如上述例中，第2實施方式在常規播放時必須把3個差分幀P2、Px、Pz保存到幀緩沖器14。與之相比，第3實施方式只要保存1個差分幀Px。
(第4實施方式)第4實施方式的動態圖像播放系統的整體構成圖與圖1相同，但CPU12的動作不同。此外，第4實施方式在第2實施方式的倒帶播放處理中，用保存在幀緩沖器14的差分幀進行倒帶播放顯示時，為下一步顯示必須同時對必要的差分幀進行解碼處理。
參照圖13及圖20說明第4實施方式的動態圖像播放系統中的常規播放處理。
(常規播放處理)與第2實施方式的處理相同，在步驟ST21的處理中把差分幀Px保存到幀緩沖器14。
參照圖15、圖19及圖20說明在第4實施方式的動態圖像播放系統中的倒帶播放處理。
(倒帶播放處理)與第2實施方式相同，進行步驟ST1、步驟ST2、步驟ST31、步驟ST21、步驟ST32，步驟ST33的處理(圖1 5所示處理)，把基準幀I2、差分幀Px、基準幀I1依次輸出到顯示裝置2。
另一方面同時進行以下處理(圖19所示處理)(步驟ST1、步驟ST2、步驟ST31)首先，與第2實施方式相同，進行步驟ST1、步驟ST2、步驟ST31的處理，解碼基準幀I3。
(步驟ST3、步驟ST11～步驟ST15)與第2實施方式相同，進行直到步驟ST15的處理，選擇差分幀PA。
(步驟ST51)其次，CPU12采用在步驟ST31被解碼的基準幀I3解碼在步驟ST15被選擇的差分幀PA。
(步驟ST21)其次，CPU12把在步驟ST31被解碼的基準幀I3和差分幀中在步驟ST15被選擇的差分幀PA保存到幀緩沖器14。
以上的處理和對顯示裝置2的輸出同時進行。即，第2實施方式的倒帶播放(參照圖15)時進行上述處理。
這樣，在進行把基準幀I2、差分幀Px、基準幀I1輸出到顯示裝置2的處理的期間，進行基準幀I3、差分幀PA的解碼，向幀緩沖器14的保存。
另一方的處理(圖15所示處理)的步驟ST33如下進行。
(步驟ST33)在步驟ST33的處理中，基準幀I2、差分幀Px、基準幀I1被輸出到顯示裝置2后，輸入輸出接口15把新存儲到幀緩沖器14的解碼動態圖像數據(基準幀I3、差分幀PA)參照幀信息含有的顯示計時信息及正反播放速度信息20從顯示時刻值大的開始(基準幀I1之后差分幀PA、基準幀I3的順序)順次輸出。
這樣，因為在輸出幀緩沖器14內保存的幀的同時，為下一步顯示對必要的差分幀進行解碼，所以保存在幀緩沖器14內的差分幀數可以少一些，與第2實施方式相比可以減小幀緩沖器14的存儲容量。
(第5實施方式)第5實施方式的動態圖像播放系統整體構成圖與圖1相同，但CPU12的動作不同。在第5實施方式中，常規播放時，差分幀保存到幀緩沖器14時，降低該差分幀的分辨率進行保存，倒帶播放時把降低了分辨率的差分幀放大顯示，輸出到顯示裝置2。
下面，參照圖21及圖23說明第5實施方式的動態圖像播放系統中的常規播放處理。
(常規播放處理)(步驟ST1～步驟ST5)
首先，與第2實施方式相同，常規播放時進行從步驟ST1到步驟ST5的處理，把解碼動態圖像數據存儲到幀緩沖器14。
(步驟ST3、步驟ST11～步驟ST15)另一方，與第2實施方式相同，進行直到步驟ST15的處理，選擇差分幀Px。
(步驟ST61)其次，CPU12把幀緩沖器14內存儲的幀中被步驟ST15選擇的差分幀Px輸出后仍然保存在幀緩沖器14內。保存到幀緩沖器14時，差分幀Px的分辨率降低后被保存。
(步驟ST6)其次，與第2實施方式相同，進行步驟ST6的處理。這時，只有在步驟ST15選擇的差分幀Px留存在幀緩沖器14內。
其次，參照圖22及圖23說明第5實施方式的動態圖像播放系統中的倒帶播放處理(倒帶播放處理)(步驟ST1、步驟ST2、步驟ST31)首先，與第2實施方式相同，進行步驟ST1、步驟ST2、步驟ST31的處理，解碼基準幀I2、I1。
(步驟ST62)其次，在步驟ST31中解碼的基準幀I2、I1被存儲到幀緩沖器14。幀緩沖器14內已經存儲了在步驟ST61中(常規播放時)的差分幀Px的解碼數據(分辨率低的幀)(步驟ST63)其次，CPU12把保存在幀緩沖器14內的差分幀Px的解碼數據放大。
(步驟ST33)其次，在步驟ST33，參照幀信息含有的顯示計時信息及正反播放速度信息200把幀緩沖器14內的解碼動態圖像數據(基準幀I2、I1及差分幀Px)按照顯示時刻值從大到小的順序(基準幀I2、差分幀Px、基準幀I1的順序)順次輸出。差分幀Px在步驟ST63被放大后輸出。
這樣，常規播放時差分幀降低了分辨率后保存到幀緩沖器14，所以與第2實施方式相比，在幀緩沖器14內能保存更多的差分幀數(當幀緩沖器14的容量相同時)。雖然因為把降低了分辨率的幀放大后顯示，在顯示裝置2顯示的畫像產生凌亂，但通過增加顯示幀數，提高了倒帶播放時顯示用戶需求的瞬間幀的可能性。對用戶來說，輕松地進行動態圖像的場面檢索成為可能。
(第6實施方式)第6實施方式的動態圖像播放系統整體構成圖與圖1相同，但CPU12的動作不同。在第6實施方式中，差分幀保存到幀緩沖器14時，降低差分幀的分辨率進行保存，在倒帶播放時根據幀緩沖器14內保存的降低了分辨率的差分幀解碼新的其它差分幀，放大這些降低了分辨率的差分幀，輸出到顯示裝置2。
下面，參照圖21及圖25說明第6實施方式的動態圖像播放系統中的常規播放處理。
(常規播放處理)進行與第5實施方式相同的處理，在步驟ST61差分幀Px的解碼數據(分辨率低的幀)被保存到幀緩沖器14。
下面，參照圖24及圖25說明第6實施方式的動態圖像播放系統中的倒帶播放處理。
(倒帶播放處理)(步驟ST1、步驟ST2)首先，與第3實施方式相同、進行步驟ST1、步驟ST2的處理。
(步驟ST3、步驟ST11～步驟ST15)其次，與第3實施方式相同，進行直到步驟ST15的處理、選擇差分幀P2、Px、Pz。
(步驟ST41)其次，與第3實施方式相同，進行步驟ST41的處理，根據在步驟ST2保存的解碼動態圖像數據對基準幀I1解碼，根據解碼基準幀I1解碼步驟ST15選擇的差分幀P2。同時，CPU12根據在步驟ST61(常規播放時)保存在幀緩沖器14內的解碼差分幀Px對在步驟ST15選擇的差分幀Pz解碼。即，差分幀包括根據基準幀I1解碼的差分幀P2及根據降低了分辨率的解碼差分幀Px解碼的差分幀Pz。
(步驟ST42)其次，與第3實施方式相同，進行步驟ST42的處理，被解碼的基準幀I2和I1、根據基準幀I1解碼的差分幀P2以及根據降低了分辨率的解碼差分幀Px解碼的差分幀Pz被存儲到幀緩沖器14。
(步驟ST63)其次，與第5實施方式相同，進行步驟ST63的處理，放大被降低了分辨率的解碼差分幀Px、Pz。即，常規播放時保存在幀緩沖器14內的解碼差分幀Px和根據解碼差分幀Px解碼的差分幀Pz被放大。
(步驟ST43)其次，與第3實施方式相同，進行步驟ST43的處理，幀緩沖器14內的解碼動態圖像數據參照幀信息中包含的顯示計時信息及正反播放速度信息200按照顯示時刻值從大到小的順序(基準幀I2、差分幀Pz、差分幀Px、差分幀P2、基準幀I1的順序)輸出到顯示裝置2。
這樣，差分幀降低分辨率保存到幀緩沖器14，因為根據幀緩沖器14內保存的差分幀對新的其它差分幀在倒帶播放時解碼，所以即使保存在幀緩沖器的差分幀數和第5實施方式相等，因為顯示的幀數增加了，與第5實施方式相比，能進行更順暢的倒帶播放。此外，即使與第5實施方式顯示的幀數相等，減少保存在幀緩沖器14內的差分幀數能減小幀緩沖器14的必要的存儲容量。
與第3實施方式相比，因為幀緩沖器14中保存的是降低了分辨率的差分幀所以相同的存儲容量能保存更多的差分幀數。
(第7實施方式)第7實施方式的動態圖像播放系統整體構成圖與圖1相同，但CPU12的動作不同。在第7實施方式，第3實施方式中差分幀保存到幀緩沖器14時，降低分辨率進行保存，在倒帶播放處理時放大幀緩沖器14內保存的降低了分辨率的差分幀，根據放大的差分幀解碼新的其它差分幀，輸出到顯示裝置2。
下面，參照圖21及圖27說明第7實施方式的動態圖像播放系統中的常規播放處理。
(常規播放處理)進行與第5實施方式相同的處理，在步驟ST61，差分幀Px的解碼數據(分辨率低的幀)被保存到幀緩沖器14。
下面，參照圖26及圖27說明第7實施方式的動態圖像播放系統中的倒帶播放處理。
(倒帶播放處理)(步驟ST1、步驟ST2)首先，與第3實施方式相同、進行步驟ST1、步驟ST2的處理。
(步驟ST3、步驟ST11～步驟ST15)與第3實施方式相同，進行到步驟ST15為止的處理，選擇差分幀P2、Px、Pz。
(步驟ST63)另外，與第5實施方式相同，步驟ST63的處理是放大保存在步驟ST61(常規播放時)被降低了分辨率的解碼差分幀Px。
(步驟ST41)其次，與第3實施方式相同，進行步驟ST41的處理，根據在步驟ST2保存的解碼動態圖像數據對基準幀I2、I1解碼，根據解碼基準幀I1對步驟ST15選擇的差分幀P2進行解碼。同時，CPU12根據在步驟ST63放大的解碼差分幀Px對在步驟ST15選擇的差分幀Pz進行解碼。即，差分幀包括根據基準幀I1解碼的差分幀P2及根據放大的解碼差分幀Px解碼的差分幀Pz。
(步驟ST42)其次，與第3實施方式相同，進行步驟ST42的處理，被解碼的基準幀I2和I1、根據基準幀I1解碼的差分幀P2及根據被放大的解碼差分幀Px解碼的差分幀Pz存儲到幀緩沖器14。差分幀Px在常規播放時已經被存儲到幀緩沖器14。
(步驟ST43)與第3實施方式相同，進行步驟ST43的處理，解碼動態圖像數據參照幀信息中包含的顯示計時信息及正反播放速度信息200按照顯示時刻值從大到小的順序(基準幀I2、差分幀Pz、差分幀Px、差分幀P2、基準幀I1的順序)輸出到顯示裝置2。
差分幀降低分辨率保存到幀緩沖器14，根據幀緩沖器14內保存的差分幀對新的其它差分幀在倒帶播放時解碼，即使保存在幀緩沖器14內的差分幀數和第5實施方式相等，因為增加了顯示的幀數，與第5實施方式相比能進行更加順暢的倒帶播放。同時，即使和第5實施方式顯示的幀數相等，因為幀緩沖器14內保存的差分幀數減少了，從而能減少幀緩沖器14的必要的存儲容量。
與第3實施方式相比，因為幀緩沖器14中保存的是降低了分辨率的差分幀，所以相同的存儲容量能保存更多的差分幀數。
(第8實施方式)第8實施方式的動態圖像播放系統整體構成圖與圖1相同，但CPU12的動作不同。第8實施方式在第5實施方式到第7實施方式的任一實施方式中，用戶發出特殊播放(這里指倒帶播放)中斷的指示時，現有顯示中的降低了分辨率的差分幀被原分辨率的差分幀代替進行常規播放。
下面，參照圖28及圖29說明第8實施方式的動態圖像播放系統中的從倒帶播放處理到常規播放處理的切換處理。
(切換處理)(步驟ST71)首先，輸入輸出接口15進行倒帶播放處理的輸出。此時，顯示基準幀之間的降低了分辨率的差分幀。
(步驟ST72)其次，用戶送出特殊播放(倒帶播放)中斷的指示。輸入輸出接口15暫停解碼動態圖像數據的輸出。
(步驟ST73)其次，CPU12取得顯示裝置2中正在顯示中的幀的幀信息。
(步驟ST74)其次，CPU12參照步驟ST73取得的幀信息，根據步驟ST2中蓄積存儲器13保存的編碼動態圖像數據檢索作為差分幀基礎的基準幀。
(步驟ST75)其次，CPU12根據步驟ST74檢索到的基準幀依次解碼差分幀。
(步驟ST76)其次，CPU12把步驟ST75解碼的解碼動態圖像數據中的現有顯示幀之后的幀依次存放到幀緩沖器14。
(步驟ST77)其次，輸入輸出接口15把步驟ST76存放的解碼動態圖像數據參照幀信息中含有的顯示時間信息及正反播放速度信息200按照顯示時刻值從小到大的順序輸出到顯示裝置2。
這樣，特殊播放中斷時顯示的幀是降低了分辨率的差分幀時，根據編碼動態圖像數據檢索作為該差分幀基礎的基準幀，因為立刻用具有該數據的原分辨率的基準幀對正在顯示中的幀解碼，所以圖像顯示不會發生凌亂，能進行常規播放處理。
如果不進行這樣的處理，根據正在顯示中的分辨率降低了的解碼差分幀依次解碼差分幀，被解碼的差分幀的分辨率也會降低，之后的基準幀之間會發生圖像顯示凌亂。
在步驟ST73中，正在顯示中的幀如果是基準幀或是分辨率沒有被降低的差分幀，可以根據此幀依次解碼差分幀。
根據本發明的動態圖像解碼裝置對被MPEG標準編碼的動態圖像數據進行倒帶播放時同現有技術不同，不只顯示基準幀，還從基準幀之間的差分幀中選擇顯示的差分幀、解碼或事先保存該差分幀的數據從而能進行順暢的倒帶播放。
權利要求
1.一種動態圖像解碼裝置，對編碼動態圖像數據進行解碼，其特征在于，所述編碼動態圖像數據包括幀信息；第1基準幀，被幀內預測編碼；第2基準幀，被幀內預測編碼并且在時間軸上存在于所述第1基準幀之未來；和多個差分幀，時間軸上存在于所述第1基準幀與所述第2基準幀之間并且根據所述第1基準幀被幀間預測編碼；所述幀信息包括包含表示在所述編碼動態圖像數據中幀在時間軸上的排列的信息；所述裝置具有常規播放模式及倒帶播放模式，并包括解析部，選擇所述多個差分幀中的至少一個；解碼部，對由所述解析部選擇的差分幀和所述第1及第2基準幀進行解碼；和輸出部，在倒帶播放模式時，根據所述幀信息，將由所述解碼部解碼的差分幀、第1基準幀、第2基準幀按照在時間軸上存在于未來的幀開始順序輸出到顯示裝置。
2.根據權利要求1所述動態圖像解碼裝置，其特征在于，還包括分離部，其從按照給定文件格式將編碼動態圖像數據多重化后的AV數據中分離出編碼動態圖像數據。
3.根據權利要求2所述的動態圖像解碼裝置，其特征在于，所述給定文件格式是AFS或者MP4。
4.根據權利要求1所述的動態圖像解碼裝置，其特征在于，所述解析部，在倒帶播放模式時，在從所述輸出部應向所述顯示裝置輸出的時刻之前可以根據所述第1基準幀進行解碼的差分幀中選擇至少一個。
5.根據權利要求1所述的動態圖像解碼裝置，其特征在于，還包括緩沖器，其保存由所述解碼部解碼的差分幀；所述輸出部，在倒帶播放模式時，根據所述幀信息，將保存在所述緩沖器中的差分幀、由所述解碼部解碼的第1以及第2基準幀按照在時間軸上存在于未來的幀開始順序輸出到顯示裝置。
6.根據權利要求5所述的動態圖像解碼裝置，其特征在于，所述解碼部，將從在常規播放模式中被解碼的差分幀中由所述解析部選擇的差分幀保存到所述緩沖器。
7.根據權利要求6所述的動態圖像解碼裝置，其特征在于，所述解碼部，根據所述緩沖器內保存的差分幀解碼其它的差分幀；所述輸出部，在倒帶播放模式時，根據所述幀信息，將保存在所述緩沖器中的差分幀、由所述解碼部解碼的其它差分幀以及第1、第2基準幀按照在時間軸上存在于未來的幀開始順序輸出到顯示裝置。
8.根據權利要求7所述的動態圖像解碼裝置，其特征在于，所述解碼部，對解碼后的差分幀降低其分辨率后保存到所述緩沖器中；所述輸出部將保存在所述緩沖器中的差分幀和由所述解碼部解碼的差分幀放大后輸出到顯示裝置。
9.根據權利要求8所述的動態圖像解碼裝置，其特征在于，當從倒帶播放模式切換到常規播放模式時，所述解碼部，根據在該切換時刻正在顯示的差分幀所對應的基準幀，對該差分幀進行重新解碼。
10.根據權利要求7所述的動態圖像解碼裝置，其特征在于，所述解碼部，將解碼后的差分幀降低其分辨率后保存到所述緩沖器中，將保存在所述緩沖器中的差分幀放大后，用其對其它差分幀進行解碼。
11.根據權利要求10所述的動態圖像解碼裝置，其特征在于，當從倒帶播放模式切換到常規播放模式時，所述解碼部，根據在該切換時刻正在顯示的差分幀所對應的基準幀，對該差分幀進行重新解碼。
12.根據權利要求5所述的動態圖像解碼裝置，其特征在于，所述解碼部，根據保存在所述緩沖器中的差分幀對其它差分幀進行解碼；所述輸出部，在倒帶播放模式時，根據所述幀信息，將保存在所述緩沖器中的差分幀、由所述解碼部解碼的其它差分幀以及第1、第2基準幀按照在時間軸上存在于未來的幀開始順序輸出到顯示裝置。
13.根據權利要求12所述的動態圖像解碼裝置，其特征在于，所述解碼部，將解碼后的差分幀降低其分辨率后保存到所述緩沖器中；所述輸出部，將保存在所述緩沖器中的差分幀和由所述解碼部解碼的其它差分幀放大后輸出到顯示裝置。
14.根據權利要求13所述的動態圖像解碼裝置，其特征在于，當從倒帶播放模式切換到常規播放模式時，所述解碼部，根據在該切換時刻正在顯示的差分幀所對應的基準幀，對該差分幀進行重新解碼。
15.根據權利要求12所述的動態圖像解碼裝置，其特征在于，所述解碼部，將解碼后的差分幀降低其分辨率后保存到所述緩沖器中，將保存在所述緩沖器中的差分幀放大后，用其對其它差分幀進行解碼。
16.根據權利要求15所述的動態圖像解碼裝置，其特征在于，當從倒帶播放模式切換到常規播放模式時，所述解碼部，根據在該切換時刻正在顯示的差分幀所對應的基準幀，對該差分幀進行重新解碼。
17.根據權利要求5所述的動態圖像解碼裝置，其特征在于，所述編碼動態圖像數據還包含第3基準幀，其被幀內預測編碼并且在時間軸上存在于所述第1基準幀之過去；和多個差分幀，其在時間軸上存在于所述第3基準幀與所述第1基準幀之間并且根據所述第3基準幀被幀間預測編碼；所述解析部從所述第3基準幀和所述第1基準幀之間存在的多個差分幀中選擇至少一個；所述解碼部將由所述解析部選擇的并且存在于所述第3基準幀和所述第1基準幀之間的差分幀的解碼處理，與由所述輸出部向所述顯示裝置的輸出處理并行進行。
18.根據權利要求5所述的動態圖像解碼裝置，其特征在于，所述解碼部，將解碼后的差分幀降低其分辨率后保存到所述緩沖器中，將保存在所述緩沖器中的差分幀放大后輸出到所述顯示裝置。
19.根據權利要求18所述的動態圖像解碼裝置，其特征在于，當從倒帶播放模式切換到常規播放模式時，所述解碼部，根據在該切換時刻正在顯示的差分幀所對應的基準幀，對該差分幀進行重新解碼。
全文摘要
提供一種動態圖像解碼裝置，通過輸入輸出接口(11)將多重化數據(100)存放到蓄積存儲器(13)(步驟ST1)，分離編碼動態圖像數據并存放到蓄積存儲器(步驟ST2)。根據多重化數據取得幀信息并存放到蓄積存儲器(步驟ST3)。根據差分幀數N、正反播放速度信息(200)取得對應倒帶播放時的播放速度的倍率Dusr、對應動態圖像解碼裝置常規播放時的解碼速度的最大解碼速度的倍率Dmax(步驟ST11～步驟ST13)，求得能進行解碼的差分幀的范圍m(步驟ST14)，至少選擇這些差分幀中的1個(步驟ST15)。根據存放的編碼動態圖像數據解碼基準幀及被選擇的差分幀并輸出到顯示裝置。這樣能進行流暢的倒帶播放。
文檔編號H04N5/92GK1574944SQ20041004857
公開日2005年2月2日 申請日期2004年6月8日 優先權日2003年6月9日
發明者西村憲吾, 八木順子, 松本道弘, 諸橋隆治 申請人:松下電器產業株式會社