專利名稱：位圖數據流的行程長度編碼方法
技術領域：
本發明涉及一種對數據流(具體地說，位圖編碼的字幕數據流)進行編碼的方法。
背景技術：
包含視頻數據的廣播或只讀介質還可以包括子畫面數據流，其中子畫面數據流包含為了任何特定目的而提供字幕、字形或動畫所需的文字或圖形信息(例如，菜單按鈕)。因為常常可以激活或禁止這種信息的顯示，所以將這種信息覆蓋在相關視頻圖像上作為額外的層，并且實現為稱作區的一個或多個矩形區域。這種區指定一組屬性，例如區域大小、區域位置或背景色彩。由于區覆蓋在視頻圖像上，所以常常將其背景定義為透明，從而可以看到視頻圖像，或者可以覆蓋多個子畫面層。另外，字幕區可以比相關圖像寬，從而字幕區中只有一部分可見，并且該區的可見部分例如在整個字幕區域中從右向左移動，這看起來好像字幕在顯示器中移動。在歐洲專利申請EP02025474.4中描述了這種基于像素的添加字幕方法，并且稱作裁剪(cropping)。
字幕最初用來支持殘疾人，或者是為了節省將電影翻譯成很少使用的語言的成本，因此對于純字幕文本，只要字幕數據流包含例如ASCII編碼字符就足夠了。但是當今的字幕還包含其他元素，甚至高分辨率圖像、字形或動畫圖形對象。如果以位圖格式(將區域分為線，連續對每條線內的像素進行編碼和解碼)來對字幕流編碼，則對這些元素的處理較為容易。這種格式包含許多冗余，例如，在連續的像素具有相同色彩值時。利用多種編碼方法可以減少這種冗余，例如行程長度編碼(RLE)。當數據序列具有相同值時常常使用RLE，并且其基本思想是分別對序列長度以及值進行編碼，并且將最頻繁的碼字編碼得盡可能短。
尤其在對1920×1280像素的高清晰度視頻(HDTV)的字幕層進行編碼時，需要一種為此目的進行了優化的編碼算法來減小所需的數據量。
發明內容
本發明的目的是公開一種對高分辨率視頻(例如，HDTV)的字幕或子畫面層(被表現為位圖格式的區域，其可以比可見視頻幀寬得多)進行最優化編碼的方法。
在權利要求1中公開了該方法。在權利要求7中公開了利用這種方法來進行編碼的設備。在權利要求8中公開了利用這種方法來進行解碼的設備。
根據本發明，為了這一目的使用四級行程長度編碼(RLE)，其中最短的碼字用于具有不是透明的單獨色彩值的單個像素；第二短的碼字用于透明像素的較短序列；第三短的碼字用于透明像素的較長序列以及不是透明的其他相等色彩的像素的較短序列；并且第四短的碼字用于不是透明的其他相等色彩的像素的較長序列。通常，字幕層內的大多數像素是透明的。與傳統的RLE(最頻繁的數據使用最短的碼字)不同，該方法包括對最頻繁色彩的短序列使用第二短的碼字，并且對最頻繁色彩的較長序列以及其他色彩的短序列使用第三短的碼字。最短的碼字預留給與最頻繁色彩不同的其他色彩的單個像素。當序列中幾乎總是出現最頻繁色彩的像素(如字幕層中透明像素的情形)，而單獨色彩的單個像素不太可能是透明時，這是有利的。
有利的是，根據本發明方法的代碼僅僅結合了少數幾個冗余碼字，這些冗余碼字定義在較長的碼字中。例如，理想情況下，利用最短類型的碼字來對透明之外的任何色彩的單個像素進行編碼，但是也可以使用第三短類型的碼字，其中序列長度為1。雖然后一種可能常常不用于這一目的，但是這些不使用的碼字(或者碼字空間中的間隙)可以用來傳輸其他信息。一個示例是可以用于重同步的線結束信息。根據本發明，最短的冗余碼字用來對該信息進行編碼。
作為另一優點，所公開的方法減小了所需的數據量，這樣壓縮了字幕數據流，其中壓縮因子取決于數據流的內容。對于典型的字幕流中非常頻繁出現的數據組合，獲得相當高的壓縮因子。這些是具有相同色彩值的長度例如短于64個像素的序列，以及具有任意長度的透明像素的序列和具有單獨色彩值的單個像素。這些組中的第一種常常用在字符或字形中，這些組中的第二種用在字幕流的顯示元素之間、之間以及之后，并且這些組中的第三種用在色彩改變很小的圖像或區域中。因為透明像素在非常短的序列(例如，小于三個像素)中幾乎不出現，所以不使用最短的碼字而是使用第二短的碼字來對其進行編碼是足夠的。
同時，本發明方法可以有效地處理比1920個像素長的序列，并且例如可以直至16383個像素的長度，這樣實現了非常寬的字幕區域。
另外，該編碼方法生成代表線結束的唯一值，因此，在失去同步的情形中，可以對每條線進行重同步。
有利的是，本創造性方法被最優化來對字幕流的多種典型特征的這種組合進行編碼。
因此，可以減少字幕流所需的數據量，這在廣播的情形中實現了更好地利用傳輸帶寬，或者在存儲介質的情形中(單個讀取頭讀取多個數據流，例如藍光光盤(BD)技術)實現了讀取頭跳動頻率的減小。另外，字幕位圖壓縮的越好，在比特率方面留給音頻和視頻流的容量就越高，增強了畫面或音頻質量。
在所附權利要求、下面的描述以及附圖中公開了本發明的有利實施例。
參考附圖描述了本發明的示例性實施例，附圖中圖1示出了視頻幀中字幕區域的裁剪；圖2示出了字幕區域中的像素序列；圖3示出了字幕(包括文字和圖形)的編碼表；以及圖4示出了藍光預記錄標準的擴展對象數據段的示例性語法的表。
具體實施例方式
盡管在預生產的用于廣播或電影盤的視聽(AV)材料中對字幕進行了初步優化以便表示簡單的靜態文字信息(例如，隱藏標題、圖文電視或DVB字幕)，但是為了文字及圖形信息的呈現和動畫能夠勝任新的HDTV格式，多媒體發展的進程需要對位圖編碼做出高級的修改。圖1示出了包含文字和圖形元素G的視頻幀TV以及字幕區域SUB，其中字幕區域SUB是位圖編碼的。字幕區域SUB的大小可以超過視頻幀的維度，例如，允許藍光光盤預記錄(BDP)格式字幕位圖在一個維度上大于視頻幀。然后在顯示之前裁剪各條線，即，從虛擬的線中切出與各自的幀的維度相匹配的部分，并覆蓋在視頻圖像上顯示。在圖1中，裁剪寬度為BSUB的字幕區域SUB，從而只有寬度為BTV的部分可見。對于標準HDTV，例如BDP中使用的那樣，BTV是1920個像素，而BSUB可以大得多。
由于字幕區域SUB是矩形形狀，所以該區域中大多數像素是透明的。這在圖2中以放大的比例示出，圖2是簡化的形式，因為HDTV屏幕TV上的線SL1、SL2通常必須是數個像素的寬度以便清晰可見。這里將線理解為水平結構。字幕數據的每條線常常包含一個或多個相等色彩的像素序列。圖2示出了字幕線SL1的一部分，其中字幕線SL1包含透明序列PS1、PS5，并且還包含單個可見像素PS4、較短可見線PS2以及較長可見線PS3。一條線內的大多數像素是透明的。這是字符之間的情形，并且也是字幕線開始和結尾處的情形。總之，因為線以透明部分開始和結束，所以每條線包含的透明部分多于有色部分。但是透明部分PS1、PS5常常較長，而對于透明部分之外的像素序列(例如，用于字符的像素序列)，最頻繁的情形是序列長度為64或更小。通過粗略的估計可以認識到這一點，假設同時至少顯示25個字符，并且字符之間的間隔大約是字符寬度的四分之一，從而單個字符在一條線內可以使用的像素不超過1920/25×(8/10)＝62。線SL2通常只包含非常少的可見像素，因此只包含少數幾個非常長的透明序列。
圖3中列出了本發明優選實施例的代碼。這是行程長度代碼，包括長度從1字節直至4字節的碼字，其中每個字節8位。能夠對256種不同色彩編碼，其中一種為優選色彩。在該示例中優選色彩是“透明”，但是如果恰當的話，可以是任何其他色彩。色彩查找表(CLUT)可以將解碼后的色彩值轉換為實際顯示色彩。例如，可以在兩個范圍中對相等色彩的像素序列編碼，其中較短的范圍一直到63個像素，而較長的范圍一直到16383個像素。
1字節長度的最短的碼字用來對具有不同于優選色彩(這里是“透明”)的任何單獨色帶的單個像素進行編碼。色彩值CCCCCCCC的范圍可以從1直至255，并且可以直接或間接代表色彩。例如，其可以代表包含實際色彩代碼的色彩查找表(CLUT)中的條目。八位值中只包含0的這一個值(00000000)用作轉義序列，表示必須將之后的位視為相同碼字的一部分。在這種情形中，碼字樹具有四個可能的分支，由兩個之后的位來標記。
在第一分支(由之后的位00表示)中，有效的碼字有兩個字節，并且對具有優選色彩(例如，透明)的直至63個像素的較短序列編碼。在該分支中，唯一無效的碼字是只包含0的碼字，因為0代表沒有有效序列長度。該碼字“00000000 00000000”可以用于其他目的。根據本發明，其可以用來表示線的結束，因為這是最短的冗余碼字。
在第二分支(由之后的位01b表示)中，碼字包括另一字節，并且十四個L位用來對優選色彩(例如，透明)的像素序列的長度進行編碼。這樣，序列長度可以一直到214-1＝16383。其中L位的值小于64的碼字是冗余的，并且可以用于其他目的。
在第三分支(由之后的位10b表示)中，碼字包括額外字節，并且第二字節的六個L位代表直至63個像素的較短序列(色彩不同于優選色彩)的長度。實際色彩由第三字節的CCCCCCCC值直接或間接代表。序列長度LLLLLL小于三的碼字是冗余的，因為如上所述，具有這種色彩的一個或兩個像素的序列可以每個像素使用一個字節來編碼，這種編碼開銷更低，并且長度為0的序列是無效的。這些碼字可以用于其他目的。
在第四分支(由之后的位11b表示)中，碼字包括兩個額外字節，其中第二字節的剩余六位以及第三字節給出從64直至16383像素的較長序列長度，并且第四字節的色彩值CCCCCCCC直接或間接給出色彩(不是優選色彩)。序列長度小于64的碼字是冗余的，因為可以使用第三分支來對這些序列編碼，這種編碼開銷更低。這些碼字可以用于其他目的。
上述冗余碼字可以用來擴展編碼，例如，加入內部校驗和或其他信息。
圖3示出了擴展的行程長度編碼表，并且上述方法主要提供了兩個優點。首先，允許對典型的字幕流(包括透明區域、小圖形對象以及常規字幕文字)進行最緊湊編碼。用單個字節來對任何色彩的單個像素(用于小的彩色圖形)進行編碼。主要色彩(例如，BDP字幕中的“透明”)總是與行程長度一起編碼。可以獲得兩種不同大小(或，兩種不同像素數量)的行程長度代碼。在第一步驟中，對于主要色彩，可以以2字節碼字的形式獲得直至63像素的行程長度，并且對于其他色彩，可以以3字節碼字的形式獲得直至63像素的行程長度。在第二步驟中，對于主要色彩，可以以3字節碼字的形式獲得直至16383像素的行程長度，并且對于其他色彩，可以以4字節碼字的形式獲得直至16383像素的行程長度。像素串結束代碼(或線結束代碼)是可以用于重同步的唯一的2字節碼字。其次，在每個碼字中可獲得直至16383像素的字幕區域的較長序列意味著冗余的減少，因此數據量減少。這意味著對于不同的數據流共享一個信道的應用(例如，光存儲介質上的多個數據流共享相同的讀取頭)，使用相同的數據量可以加載較大部分的字幕流，這樣減小了對字幕流的訪問頻率。
本發明的另一方面是對要使用傳輸分組(例如，以打包基本流(PES))來傳輸的數據流進行進一步優化。由于位圖的文件尺寸大，所以將這種數據例如封裝為對象數據段(ODS)是一個問題。ODS的最大尺寸常常受限于其他因素，例如，PES分組大小。為了使大的位圖適合這種分組，必須在編碼之前將位圖切割成小的位圖段，這減小了壓縮效率。為了克服這種位圖拆分，公開了一種用于BDP及同等應用的新的擴展對象數據段(ExODS)，如圖4所示。ExODS是這樣一種數據結構，其代表為了使ODS適合一串大小受限的段及PES分組而將其切成的每個片斷。通過將各個連續ExODS的序列連接起來，可以重構完整的ODS。
ExODS序列的開始和結束由不同的標記first_in_sequence以及last_in_sequence來表示。當first_in_sequence標記為1時，開始了一個新的序列。first_in_sequence標記設置為1的ExODS由于包含解壓縮位圖的維度object_width以及object_height，還表示解壓縮位圖的大小。表示位圖維度的優點是支持在解壓縮之前進行目標存儲器分配。另一優點是，在解碼期間還可以使用所表示的位圖維度來對位圖維度進行交叉校驗。當last_in_sequence標記被設置為1時，表示完整的ODS的最后一個ExODS。可能存在既沒有設置first_in_sequence標記又沒有設置last_in_sequence標記的ExODS。這些是序列中間的ExODS段。同樣如果可以在單個ExODS內攜帶ODS，還可能存在既設置了first_in_sequence標記又設置了last_in_sequence標記的ExODS。為了克服字幕內PES分組大小對單個ODS的可用大小的限制，可以引入所述類型的ExODS，作為一個ODS的段的容器，例如用來在HDTV應用時對大的ODS進行封裝。除了ODS段之外，ExODS還攜帶表示其是否攜帶了ExODS序列的第一段、最后段、中間段或一個完整段的標記。另外，如果傳輸ExODS序列中的第一段，在該段中包含結果ODS的維度(即，編碼位圖的高度和寬度)。所表示的位圖維度還可以用于解碼交叉校驗。
本發明方法可以用來在諸如藍光預記錄(BDP)盤或者通常是高清晰度視頻(HDTV)記錄或廣播之類的應用中，對例如包含用于動畫、菜單、導航、標識(logo)、廣告、消息或其他等的文字、圖像或圖形數據的位圖數據流進行壓縮。
權利要求
1.一種對數據流進行行程長度編碼的方法，所述數據流包括用于視頻應用的位圖格式的字幕或菜單數據，其中定義了一種優選色彩，并且所述字幕或菜單數據被顯示為覆蓋在其他顯示數據上的分離的層，并且其中-最短類型的碼字用于具有不同于所述優選色彩的單獨色彩值的單個像素；-第二短類型的碼字用于所述優選色彩的像素的較短序列；-第三短類型的碼字用于所述優選色彩的像素的較長序列，其中序列長度可以超過視頻顯示的寬度，并且用于其他色彩的像素的較短序列；并且-第四短類型的碼字用于單獨色彩的像素的較長序列，其中序列長度可以超過視頻顯示的寬度。
2.根據權利要求1所述的方法，其特征在于所述優選色彩是透明。
3.根據前述任一權利要求所述的方法，其特征在于使用冗余碼字來對不涉及字幕層像素的信息進行編碼。
4.根據前述任一權利要求所述的方法，其特征在于最短的冗余碼字用于線同步。
5.根據前述任一權利要求所述的方法，其特征在于最短類型的碼字是一個字節的長度，較短序列的長度直至63，并且較長序列的長度直至16383。
6.根據前述任一權利要求所述的方法，其特征在于編碼數據流分布在多個傳輸分組上，并且包含編碼數據流指定部分的傳輸分組攜帶指示標記。
7.一種用于對數據流進行行程長度編碼的設備，所述數據流包括用于視頻應用的位圖格式的字幕或菜單數據，其中定義了一種優選色彩，所述設備包括-用于使用最短類型的碼字對具有不同于所述優選色彩的單獨色彩的單個像素進行編碼的裝置；-用于使用第二短類型的碼字對所述優選色彩的像素的較短序列進行編碼的裝置；-用于使用第三短類型的碼字對所述優選色彩的像素的較長序列以及所述優選色彩之外的相等色彩的像素的較短序列進行編碼的裝置，其中所述優選色彩的像素的較長序列的序列長度可以超過視頻顯示的寬度；以及-用于使用第四短類型的碼字對所述優選色彩之外的相等色彩的像素的較長序列進行編碼的裝置，其中序列長度可以超過視頻顯示的寬度。
8.一種用于對包含用于視頻應用的壓縮位圖格式字幕或菜單數據的編碼數據流進行行程長度解碼的設備，其中定義了一種優選色彩，所述設備包括-用于使用最短類型的碼字對具有不同于所述優選色彩的單獨色彩的單個像素進行解碼的裝置；-用于使用第二短類型的碼字對所述優選色彩的像素的較短序列進行解碼的裝置；-用于使用第三短類型的碼字對所述優選色彩的像素的較長序列以及所述優選色彩之外的相等色彩的像素的較短序列進行解碼的裝置，其中所述優選色彩的像素的較長序列的序列長度可以超過視頻顯示的寬度；以及-用于使用第四短類型的碼字對所述優選色彩之外的相等色彩的像素的較長序列進行解碼的裝置，其中序列長度可以超過視頻顯示的寬度。
9.根據權利要求7或8所述的設備，其特征在于所述優選色彩是透明。
10.根據權利要求7～9中任一項所述的設備，其特征在于還包括用于對用來傳輸不涉及字幕層像素的信息的碼字進行編碼或解碼的裝置。
11.根據權利要求7～10中任一項所述的設備，其中所述編碼數據流分布在多個傳輸分組上，并且包含編碼數據流指定部分的傳輸分組攜帶指示標記。
全文摘要
字幕旨在呈現編碼為像素位圖的文字信息和圖形數據。字幕位圖的大小可以超過視頻幀的維度，從而一次只顯示一部分。位圖是覆蓋在視頻之上的分離層，例如，同步視頻字幕、動畫以及導航菜單，因此，包含許多透明像素。通過四級行程長度編碼，實現了對HDTV(例如，針對藍光光盤預記錄格式定義為每幀1920×1280像素，其對這種字幕位圖提供最優化壓縮結果)位圖編碼的高級修改。使用第二或第三短的碼字來對優選色彩(例如，透明)的像素的較短或較長序列進行編碼，而使用最短碼字來對不同色彩的單個像素進行編碼，并且使用第三或第四短的碼字來對相等色彩的像素序列進行編碼。
文檔編號H04N1/64GK1813470SQ200480018492
公開日2006年8月2日 申請日期2004年5月6日 優先權日2003年7月1日
發明者迪爾克·阿道夫, 約布斯特·霍倫特魯普, 阿克塞爾·科哈爾, 拉爾夫·奧斯特曼, 哈特穆特·彼得斯 申請人:湯姆森許可貿易公司