專利名稱：感興趣區域的無損編碼的制作方法
技術領域：
本發明涉及一種靜止圖像的傳輸中用于感興趣區域(ROI)的無損編碼的方法和設備。這個方法和設備尤其適合S+P變換。
在從發射器向接收器傳輸數字靜止圖像的傳輸過程中，為了減少傳輸圖像所需要的比特的數量，通常要編碼這個圖像。
減少比特數的原因通常在于所使用的頻道的容量是有限的，而數字化的圖像卻有非常巨大的比特數。當通過有限帶寬的頻道傳輸一個具有非常巨大的比特數的這樣的圖像時，如果必須傳輸該圖像的每個比特，則對于大多數的應用來說，傳輸時間是不可容忍地過于長。
因此，為了減少傳輸所需的比特數，近年已經針對數字化圖像的編碼方法和技術作出許多探索。
這些方法可以分成兩組。
無損方法，也就是使用圖像中冗余使接收器能夠重構造該圖像而沒有任何信息的丟失的方法。
無損方法，即，利用所有比特對于接收器不是同等重要，雖然接收器所接收的圖像與原始圖像不同，但由例如人眼來看該接收的圖像與原始圖像是充分相同的事實的方法。
另外，在一些應用情況下，該傳輸的圖像的一部分可能比余下的部分更有用，因此就希望圖像的這部分有更好的可視質量。通常把這樣的部分稱為感興趣區域(ROI)。例如在醫學數據庫中，這種應用就很有用途。在一些情況下，可能還希望或要求無損傳輸這個感興趣區域，而圖像的余下部分的質量則不重要。
用于編碼靜止圖像的一種方法是基于小波的S+P變換方法。這個S+P變換方法是完全可逆的，并且不擴展存儲器就可以直接進行這個S+P變換。在SPIE會議記錄，可視通信和圖像處理‘93，麻省坎布里奇，1993，11，SPIE記錄2094，第664-674頁，A.Said和W.A.Pearlman所著“經過多解表達式的可逆圖像壓縮和預測編碼”中公開了這種S+P變換方法，在此參考使用。
該S+P變換方法由S變換和預測構成的，S變換，見V.K Heer和H-E.Reinfelder的“一種用于數據壓縮的可逆比較方法”，SPIE記錄，第1233卷Med.Imag.IV，第354-365頁，1990，在此參考使用，并且該S變換是角錐形子頻帶分解，該預測被用于從高頻率的子頻帶中去掉冗余。通過多次執行子頻帶分解就完成前向變換。通過按照與對應合成相反的順序完成反相變換。
在J.Str□m，P.C.Cosman的“具有無損感興趣區域的醫學圖像壓縮”，信號處理59，Nr2，(1997)6月155-171中，說明了S變換方法如何計算無損感興趣區域。
但是，當把這樣的技術應用于基于小波的S+P變換時，即感興趣區域的無損傳輸并且圖像的余下區域的有損傳輸時，則沒有直接的技術可以被使用。
因此，現在不存在S+P變換的系統的無損感興趣區域的傳輸的方式。其原因在于難于從S+P傳輸編碼的原始圖像中選擇出那些信息必須應當傳輸從而就能夠獲得完好的無損重構的感興趣區域而不必傳輸無損全部的圖像。
本發明的一個目的是解決如何從S+P變換的圖像中選擇數據以便接收器獲得無損感興趣區域的問題。
如下面將說明的通過計算用于該感興趣區域的表征碼(mask)就達到了這個目的。
因此，為了獲得完好的重構的感興趣區域與此同時保持好的壓縮率，通過發射很少有關圖像的背景或不感興趣的部分的信息，或者至少等待該信息直至發射的后級，將節約比特。
為了實現這個方式，需要計算無損表征碼。該表征碼是比特平面，指示出如果接收器能夠完好地重構所要求的區域則那些小波系數必須精確地傳輸。在那個從圖像中選擇要無損傳輸的ROI的情況下，就應當使用結合上述的S+P變換所使用的A-預測器。
其原因在于當使用A-預測器時，就利用高頻率的幫助不進行高頻率的預測。如果是這種情況，就像在C-預測器的情況下，見上述的說明，一個可能的誤差可以自始至終地繁殖在圖像的邊緣和ROI之內，因此就不能提供無損ROI。
按照與前向S+P變換相同的步驟計算該表征碼，即，反向跟蹤該反向步驟。開始，表征碼是該ROI的二進制映射，因此在ROI之內是1，之外是0。然后在每步驟中，逐行改變該表征碼，然后逐列改變該表征碼。在每步驟中改變該表征碼以使該表征碼將指示出在這個步驟處那個系數是精確地需要的，從而使該反向S+P可以精確地再生前面表征碼的系數。
該逆S+P的最后的步驟是合并兩個子頻帶。反向追溯這個步驟，就找到在這兩個子頻帶中的要求精確的系數。第二個最后步驟是把4個子頻帶合并成2個。反向追溯這個步驟，就從這4個子頻帶中找到那些系數是為了完好重構造在用于兩個子頻帶的表征碼中所包含的系數所需要的。
然后反向追溯所有的步驟得出表征碼，如下所示如果對應于該表征碼的系數被精確地傳輸并且接收，對這些系數計算逆S+P(用A-預測器)，則可以完好地重構造所需要的ROI。
為了在隔行(separate line)上跟蹤一個反向步驟(stepbackwards)，其中Xm(n)是該反向步驟之前的表征碼，Lm(n)和Hm(n)是用于低和高頻率子頻帶之后的表征碼，執行下面的步驟用A預測器(predictor)進行該S+P針對所有n在 如果{Xm(2n)＝1}或{Xm(2n+1)＝1，則Hm(n)＝1，否則是0如果{Xm(2n-2)＝1}或{Xm(2n-1)＝1或{Xm(2n)＝1}或{Xm(2n+1)＝1或{Xm(2n+2)＝1}或{Xm(2n+3)＝1}，則Lm(n)＝1，否則是0這樣，如果滿足上式，則把用于低頻率子頻帶和用于高頻率子頻帶的二進制表征碼，即，為了獲得無損感興趣區域所要傳輸的對應的系數，分別設為二進制的‘1’。
為了同步，編碼器和解碼器都使用相同的表征碼。經過某個級之后，跳躍能夠被切換并且檢測到的背景目錄入口。這些背景目錄入口是對應于設置不包含那些表示通過無損表征碼進行的精確傳輸的系數的那些目錄。
然后能夠完全地跳躍這個背景目錄入口，為后面的提高放入等待目錄或者按照某種交織方式設置較低的優先權。
另外，發射之前不必定義ROI的形狀，因此能夠在傳輸的任意級由發射器或者接收器進行規定。
該ROI也可以由彼此不接觸的兩個或更多的部分構成。按照相同的方式使用這個技術。
結合非限制性的實施例和附圖，將詳細地說明本發明，附圖是
圖1是采用S+P變換的常規傳輸系統；圖2a和2b顯示當為S+P變換的靜止圖像編碼感興趣區域時不同的步驟流程圖。
圖3a-3e是不同的子頻帶級的無損表征碼的計算的示意圖。
圖1示出了采用S+P變換的常規傳輸系統。該系統包括S+P編碼器塊101，它連接到ROI編碼塊103。S+P編碼器塊101編碼按照上述的S+P變換方式的輸入圖像。該編碼器塊101可以從來自接收器或解碼器107的頻道105上的圖像中接收該圖像特殊部分中的，即感興趣的區域(ROI)的信息。
然后這個信息進入ROI編碼塊103，該編碼塊103計算為解碼器107提供無損感興趣區域所必須傳輸的S+P變換圖像的系數。解碼器連接到塊109，在這里對對應的ROI進行解碼操作。
在圖2a和2b的顯示不同步驟的流程圖中，示出了圖1中ROI編碼塊103為S+P變換的靜止圖像所計算感興趣區域所進行的步驟。
這樣，在圖1中ROI編碼塊103進行下面的編碼步驟。首先在塊201中，開始編碼處理。然后在塊203中，初始化ROI表征碼的計算。然后在塊205中，設水平子頻帶長度等于水平圖像大小，設垂直子頻帶長度等于垂直圖像大小。
下一步，在塊207中，看第一子頻帶階段，對應于該變換的第一階段的該第一子頻帶階段是最高倍頻程頻帶。然后程序進入塊209，看第一水平行。然后，在塊211中，更改這個水平行。下面結合圖2b更詳細地說明這個更改過程。
下一步，在塊213中，水平行數加1，然后在塊215中，檢查水平行數是否小于或等于該垂直子頻帶長度。如果小于或等于，則程序返回塊211，否則進入塊217。
在塊217中，看第一垂直行數，然后在塊219中，按照下面結合圖2b所說明的程序更改該垂直行數。
然后，在塊221中，垂直行數加1，然后在塊223中，檢查垂直行數是否小于或等于該垂直子頻帶長度。如果小于或等于，則程序返回塊219，否則進入塊225。
在塊225中，水平子頻帶長度和垂直子頻帶長度都除2。
然后在塊227中檢查是否是最后階段。如果是就進入塊229，結束處理，否則返回塊209。
詳細說明圖2b所示的由圖2a中塊211和塊219所執行的處理。這樣，在塊251中開始程序。然后，在塊253中，設參數n為0，參數n對應于要更改的行的順序號。下一步，在塊255中，估算該要更改的行的系數號n是否是獲得無損ROI所需要的，因為需要系數(2n-2)、(2n-1)、(2n)、(2n+1)、(2n+2)、(2n+3)的預測。
這樣，對于(2n-2)、(2n-1)、(2n)、(2n+1)、(2n+2)、(2n+3)，如果反向步驟之前的表征碼是二進制的“1”，則前進到塊257，否則前進到塊259。在塊257中，設當前更改的行中的系數n為二進制的“1”(開)，即需要這個系數用于獲得無損ROI。在塊257中，設當前更改的行中的系數n為二進制的“0”(關)，然后程序分別從塊257和259前進到塊261。
在塊261中，檢查該系數號(n+m/2)是否是為獲得無損ROI所需要的，其中m是當前更改的行的長度。如果塊261中所估算的結果為是，則前進到塊263，否則前進到塊265。
在塊263中，設當前更改的行中的系數號(n+m/2)為二進制的“1”(開)，然后前進到塊267。在塊265中，設當前更改的行中的系數號(n+m/2)為二進制的“0”(關)，然后前進到塊267。
在塊267中把n加1，然后前進到塊269。在塊269中，檢查n是否小于行長度除2，即，n＜m/2，如果小于則返回塊255，否則前進到塊271，結束處理。
還可以如下所示把計算感興趣區域的無損掩膜的方法表達成偽碼。
<pre listing-type="program-listing"><![CDATA[update-line(line) { for(n＝0；n＜line-length/2；n++) { if argument-line[2n-2]OR argument-line[2n-1] OR argument-line[2n]OR argument-line[2n+1]ORargument-line[2n+2] OR argument-line[2n+3] { /*turn on low*/ return-line[n]＝ON； } else return-line[n]＝OFF； if argument-line[2n]OR argument-line[2n+1] { /*turn on high*/ return-line[n+line-length/2]＝ON； } else return-line[n+line-length/2]＝OFF； } } Make-lossless-mask { Make-ROI-mask()；/*obtain a mask of the ROI in the imageplane*/ /*level loop*/ horizontal-subband-length＝vertical-image-size； vertical-subband-length＝vertical-image-size； for(all-levels-of-the-transform) { /*horizontal split*/ for(line＝0；line＜vertical-subband-length；line++) { update-horizontal-line(line)； } /*vertical split*/ for(line＝0；line＜horizontal-subband-length；line++) {update-vertical-line(line)； } horizontal-subband-length/＝2； vertical-subband-length/＝2； } }]]></pre>在圖3a-3e中，顯示了不同的階段或級獲得的二進制比特表征碼。在圖3a中示出圖像平面上所需要的ROI的表征碼，例如，按照上述方式從接收器向傳輸器傳輸的區域。
在圖3b中示出第二子頻帶級處所需要的系數的二進制表征碼。
在圖3c-e中分別示出了第四、五和七子頻帶級對應的二進制表征碼。
在另外一個實施例中，擴展該預測，使用低頻率系數L(n-2)、L(n-1)、L(n)、L(n+1)、L(n+2)。因此該預測是P(n)＝an-2*L(n-2)+an-1*L(n-1)+an*L(n)+an+1*L(n+1)+an+2*L(n+2)+a0例如如果這些系數是an-2＝-3/64an-1＝22/64an＝0an+1＝-22/64an+2＝3/64a0＝-32/64該濾波器等于CREW中所使用那個2-10變換。在RICOH SiliconValley，Inc 1997，10，24的RICOH CREW壓縮標準版本0.11(草案11)中公開了該2-10變換。如果系數an-2和an+2等于0，則該預測將是A-預測器。預測器使用更多的系數也是可以的。
現在稍微擴展反向跟蹤(backward trace)所發現的表征碼。為了在隔行(separate line)上跟蹤一個反向步驟(step backwards)，其中Xm(n)是該反向步驟之前的表征碼，Lm(n)和Hm(n)是用于前向的低和高頻率子頻帶的表征碼，執行下面的規則對于該擴展的預測器針對所有n在
如果{Xm(2n)＝1}或{Xm(2N+1)＝1，則Hm(n)＝1，否則是0如果{Xm(2n-4)＝1}或{Xm(2n-3)＝1或{Xm(2n-2)＝1}或{Xm(2n-1)＝1或{Xm(2n)＝1}或{Xm(2n+1)＝1或{Xm(2n+2)＝1}或{Xm(2n+3)＝1}或{Xm(2n+4)＝1}或{Xm(2n+5)＝1，則Lm(n)＝1，否則是0下面顯示計算該擴展的表征碼所用的簡單偽碼。
<pre listing-type="program-listing"><![CDATA[update-line(line){for(n＝0；n＜line-length/2；n++){ if argument-line[2n-4]OR argument-line[2n-3]OR argument-line[2n-2]OR argument-line[2n-1]OR argument-line[2n]OR argument-line[2n+1]OR argument-line[2n+2]OR argument-line[2n+3]OR argument-line[2n+4]OR argument-line[2n+5]OR { /*turn on low*/ return-line[n]＝ON； } else return-line[n]＝OFF； if argument-line[2n]OR argument-line[2n+1] { /*turn on high*/ return-line[n+line-length/2]＝ON； } else return-line[n+line-length/2]＝OFF； }}Make-lossless-mask { Make-ROI-mask()；/*obtain a mask of the ROI in the imageplane*/ /*level loop*/ horizontal--subband-length＝horizontal-image-size； vertical-subband-length＝vertical-image-size； for(all-levels-of-the-transform) { /*horizontal split*/ for(line＝0；line＜vertical-subband-length；line++) { update-horizontal-line(line)； } /*vertical split*/ for(line＝0；line＜horizontal-subband-length；line++) { update-vertical-line(line)； } horizontal-subband-length/＝2； vertical-subband-length/＝2； } }]]></pre>另外，當使用這里所說明的方法和設備時在傳輸期間這個感興趣區域的形式、大小和位置也是可以改變的。其所必須執行的唯一的步驟是發射一個用于從接收器到發射器的另一個感興趣區域的請求。然后計算一個對應新感興趣區域的一個新表征碼，并且然后把對應該新表征碼的的系數發射給接收器。可以在另外的位置，例如在發射器中的程序，而不是由接收器，產生該另外感興趣區域的請求。
這樣的功能在許多應用中是非常有用的。例如，存在不總是由接收器接收他/她所要求的感興趣區域的情況。在這種情況下，他/她能夠發射更大的感興趣區域甚至完全不同的感興趣區域的請求。
因此，在優選實施例中，為發射器提供裝置，用于在發射圖像期間接收來自例如接收器的新感興趣區域，以及用于計算對應這個新感興趣區域的一個表征碼。然后，從發射器向接收器發射這個新感興趣區域。
這樣，已經公開了一種使用表征碼來傳輸S+P變換編碼的數字化的圖像的傳輸方法和裝置，通過這個方法和裝置能夠無損地傳輸感興趣區域(ROI)而不必傳輸該數字化的圖像的余下的部分。利用這個表征碼技術可以發射并且接收該無損ROI并且其整體圖像仍然保持好的壓縮率。其原因在于該圖像剩余的部分可以不使用或僅使用非常少的比特。
另外，按照這里所說明的原理所計算的表征碼可以用來在發射期間的任意時間發射為獲得無損ROI所需要的系數。
權利要求
1.一種S+P變換的編碼的數字化圖像的無損感興趣區域發射的方法，其特征在于計算表示該S+P變換的圖像的對應于該感興趣區域的系數的掩膜，并且這些系數被發射。
2.依據權利要求1的方法，其特征在于在傳輸的初級發射對應于該感興趣區域的該S+P變換圖像的系數，以便接收器獲得無損感興趣區域以及有損的余下的圖像。
3.依據權利要求1-2之一的方法，其特征在于通過在隔行上跟蹤一個反向步驟獲得該表征碼，并且然后執行下面的步驟—設如果{Xm(2n)＝1}或{Xm(2n+1)＝1，則Hm(n)＝1，否則是0—設如果{Xm(2n-2)＝1}或{Xm(2n-1)＝1或{Xm(2n)＝1}或{Xm(2n+1)＝1或{Xm(2n+2)＝1}或{Xm(2n+3)＝1}，則Lm(n)＝1，否則是0針對所有n在
，其中Xm(n)是該反向步驟之前的表征碼，Lm(n)和Hm(n)是用于前向的低和高頻率子頻帶的表征碼，并且其中n是行中系數的號，這個n被改變。
4.依據權利要求1-2之一的方法，其特征在于通過在隔行上跟蹤一個反向步驟獲得該表征碼，并且然后執行下面的步驟—設如果{Xm(2n)＝1}或{Xm(2n+1)＝1，則Hm(n)＝1，否則是0—設如果{Xm(2n-4)＝1}或{Xm(2n-3)＝1或{Xm(2n-2)＝1}或{Xm(2n-1)＝1或{Xm(2n)＝1}或{Xm(2n+1)＝1或{Xm(2n+2)＝1}或{Xm(2n+3)＝1}或{Xm(2n+4)＝1}或{Xm(2n+5)＝1，則Lm(n)＝1，否則是0針對所有n在
，其中Xm(n)是該反向步驟之前的表征碼，Lm(n)和Hm(n)是用于前向的低和高頻率子頻帶的表征碼，并且其中n是行中系數的號，這個n被改變。
5.依據權利要求1-4之一的方法，當接收到一個新表征碼的要求時，其特征在于計算對應于該感興趣區域的新表征碼并且發射對應的系數。
6.一種S+P變換的編碼的數字化圖像的無損感興趣區域發射的設備，其特征在于用于計算表示對應于該感興趣區域的該S+P變換的圖像的系數的表征碼裝置。
7.依據權利要求6的裝置，其特征在于在傳輸的初級用于發射對應于該感興趣區域的該S+P變換圖像的系數以便接收器獲得無損感興趣區域以及有損的余下的圖像的裝置。
8.依據權利要求6-7之一的裝置，其特征在于通過在隔行上跟蹤一個反向步驟獲得該表征碼的裝置，并且然后執行下面的步驟—設如果{Xm(2n)＝1}或{Xm(2n+1)＝1，則Hm(n)＝1，否則是0—設如果{Xm(2n-2)＝1}或{Xm(2n-1)＝1或{Xm(2n)＝1}或{Xm(2n+1)＝1或{Xm(2n+2)＝1}或{Xm(2n+3)＝1}，則Lm(n)＝1，否則是0針對所有n在
，其中Xm(n)是該反向步驟之前的表征碼，Lm(n)和Hm(n)是用于前向的低和高頻率子頻帶的表征碼，并且其中n是行中系數的號，這個n被改變。
9.依據權利要求6-7之一的裝置，其特征在于通過在隔行上跟蹤一個反向步驟獲得該表征碼的裝置，并且然后執行下面的步驟—設如果{Xm(2n)＝1}或{Xm(2n+1)＝1，則Hm(n)＝1，否則是0—設如果{Xm(2n-4)＝1}或{Xm(2n-3)＝1或{Xm(2n-2)＝1}或{Xm(2n-1)＝1或{Xm(2n)＝1}或{Xm(2n+1)＝1或{Xm(2n+2)＝1}或{Xm(2n+3)＝1}或{Xm(2n+4)＝1}或{Xm(2n+5)＝1，則Lm(n)＝1，否則是0針對所有n在
，其中Xm(n)是該反向步驟之前的表征碼，Lm(n)和Hm(n)是用于前向的低和高頻率子頻帶的表征碼，并且其中n是行中系數的號，這個n被改變。
10.依據權利要求6-9之一的裝置，其特征在于當接收到一個新表征碼的要求時計算新表征碼的裝置。
全文摘要
在一種通過計算表征碼傳輸S+P變換編碼的數字化的圖像的傳輸方法和裝置中,通過這個方法和裝置無損地傳輸感興趣區域(ROI),與該ROI能夠被無損傳輸和接收的同時其整體圖像仍然保持好的壓縮率。其原因在于該圖像剩余的部分可以不使用或僅使用非常少的比特。還可以使用這個計算的表征碼在傳輸的任何級期間傳輸無損傳輸感興趣區域所需要的系數。
文檔編號H04N7/26GK1275226SQ9881005
公開日2000年11月29日 申請日期1998年10月7日 優先權日1997年10月10日
發明者D·尼斯特, C·克里斯托普洛斯 申請人:艾利森電話股份有限公司