專利名稱：影像搜尋模塊及其方法
技術領域：
本發明涉及影像動態補償(Motion Compensation,MC)技術領域,具體說是涉及一種可改善動態估算(Motion Estimation, ME)機制的影像搜尋模塊及方法。
背景技術：
動態估算機制廣泛地使用在視頻處理系統(Video Processing System)中，且應用范圍遍及視頻壓縮(Visual Compressing)、取樣率轉換器(Sample Rate Conversion, SRC)及影像過濾(Image Filtering)等等。而目前，許多視頻壓縮的標準，例如， MPEG-1/2/4或ITU-T H. 261/262/263/264中，動態估算的運算方式采用將畫面切割成若干個區塊(Block)后，進行動態規劃(Dynamic Program)，并比對前后兩張影像的區塊內容數據，運算獲得影像的移動向量(Motion Vector),以內插出一虛擬的中間影像,完成動態補償，降低動態畫面間的累贅(Temporal Redundancy)現象。
舉例而言，現行動態估算的搜尋機制中，若以六乘六的區塊作為基礎單位，且假設左上角位置中的像素(Pixel)為初始像素，即為第一個估算像素。以初始像素為中心點， 其上下左右各延伸三個像素的長度作為搜尋范圍，則此第一個估算像素需進行四十九次的搜尋比對，以運算獲得此第一個估算像素的向量預測強度值。又，每個六乘六區塊分別具有三十六個像素，因此，每個六乘六區塊分別具有三十六個向量預測強度值，且每個向量預測強度值是經由四十九次的搜尋比對而運算獲得。由此可知，以區塊作為動態估算的基礎單位，進行畫面全局性的搜尋，依序比較每個像素的影像數據，將使得動態估算作業需耗費較長的搜尋時間，并產生龐大的運算數據量。
發明內容
有鑒于上述現有技術的問題，本發明將提出一種影像搜尋模塊及其方法，以在不使影像失真的前提下，達到降低搜尋次數與搜尋時間，并減少運算數據量及運算時間的目的。
根據本發明的一目的，揭露一種影像搜尋模塊，其包含一儲存模塊、一設定模塊以及一處理模塊。儲存模塊儲存第一畫面，第一畫面具有一第一區塊以及一第一像素。設定模塊在一第二畫面中設置若干個第一估算區塊，且各第一估算區塊具有一第一估算像素， 并以一第一間距為邊長。并且，設定模塊以第二畫面中對應在第一像素的同等位置為起始點，并沿一預定方向依序排列第一估算區塊。處理模塊連接設定模塊，擷取并比對第二畫面的各第一估算區塊中的影像數據與第一畫面的第一區塊中的影像數據，以依序運算各第一估算區塊相對在第一區塊的第一預測強度值。
優選地，設定模塊更包含若干個第二估算區塊，且各第二估算區塊具有一第二估算像素，并以一第二間距為邊長。第二估算區塊以具有最小第一預測強度值的第一估算像素為起始點，并沿預定方向依序排列。處理模塊分別擷取并比對各第二估算區塊中的影像數據與第一區塊中的影像數據，以依序運算各第二估算區塊相對在第一區塊的第二預測強度值。
設定模塊更包含若干個第三估算區塊，且第三估算區塊具有一第三估算像素，并以一第三間距為邊長。所述第三估算區塊以具有最小第二預測強度值的第二估算像素為起始點，并沿預定方向依序排列。處理模塊分別擷取并比對各第三估算區塊中的影像數據與第一區塊中的影像數據，以依序運算各第三估算區塊相對在第一區塊的第三預測強 度值。
優選地，第二間距小于第一間距，且第三間距小于所述第二間距。
處理模塊分別比對第一區塊與各第一估算區塊、各第二估算區塊或各第三估算區塊，并依序運算，以獲得若干個絕對差總和值。
優選地，各絕對差總和值分別為第一預測強度值、第二預測強度值或第三預測強度值。
此外，本發明更揭露一種影像搜尋方法，適用在一動態圖像處理系統的動態估算中，所述方法以一影像搜尋模塊進行移動向量的搜尋作業，影像搜尋模塊包含一儲存模塊、 一設定模塊以及一處理模塊，影像搜尋方法包含下列步驟通過儲存模塊儲存第一畫面，以設置一第一區塊在第一畫面中；以一第一間距為邊長，形成若干個第一估算區塊；以設定模塊設置這些第一估算區塊在一第二畫面中；以對應在第一區塊中的一第一像素的同等位置為起始點，并沿一預定方向依序排列各第一估算區塊；以處理模塊擷取并比對各第一估算區塊中的影像數據與第一區塊中的影像數據；以及依序運算各第一估算區塊的第一估算區塊相對在第一區塊的一第一預測強度值。
優選地，本發明影像搜尋方法更可包含以一第二間距為邊長，形成若干個第二估算區塊；以設定模塊設置所述第二估算區塊在第二畫面中；以具有最小第一預測強度值的第一像素為起始點，并沿預定方向依序排列各第二估算區塊；以處理模塊擷取并比對各第二估算區塊中的影像數據與第一區塊中的影像數據；以及，依序運算各第二估算區塊的一第二估算區塊相對在第一區塊的第二預測強度值。
本發明影像搜尋方法更可包含以一第三間距為邊長，形成若干個第三估算區塊； 以設定模塊設置所述第三估算區塊在第二畫面中；以具有最小第二預測強度值的第二估算像素為起始點，并沿預定方向依序排列各第三估算區塊；以處理模塊擷取并比對各第三估算區塊中的影像數據與第一區塊中的影像數據；以及，依序運算各第三估算區塊的一第三估算區塊相對在第一區塊的第三預測強度值。
優選地，處理模塊分別比對第一區塊與各第一估算區塊、各第二估算區塊或各第三估算區塊并依序運算，以獲得若干個絕對差總和值。
優選地，各絕對差總和值分別為各第一預測強度值、各第二預測強度值或各第三預測強度值。
承上所述，依本發明的一種影像搜尋模塊及其方法，可具有一或多個下述優點
(I)此影像搜尋模塊及其方法可通過設置不同大小的估算區塊，以在影像不失真的前提下，縮小運算搜尋次數。
(2)此影像搜尋模塊及其方法可通過逐漸收斂的估算區塊范圍，達到降低運算數據量的功效。
圖1為本發明所述的影像搜尋模塊的第一實施例的方塊圖2為本發明所述的影像搜尋方法的示意圖3A為本發明所述的影像搜尋方法的第一實施例的第一畫面示意圖3B為本發明所述的影像搜尋方法的第一實施例的第二畫面示意圖4為本發明所述的影像搜尋方法的第一實施例的流程圖。
附圖標記說明
1:影像搜尋模塊；10 :儲存模塊；11 :設定模塊；12 :處理模塊；13 :顯示模塊；2 時間t-Ι畫面；20 :第一區塊；200 :第一像素；3 :時間t畫面；30 :第一估算區塊；301 :第一間距；302 :第一估算像素；31 :第二估算區塊；311 :第二間距；312 :第二估算像素；32 :第三估算區塊；321 :第三間距；322 :第三估算像素；33 :第四估算區塊；331 :第四間距；332 第四估算像素；4 :內插畫面；5 :A字形圖案；6 :X字形圖案；以及S41 S49 :步驟流程。
具體實施方式
以下將參照涉及附圖，說明依 本發明所述的影像搜尋模塊及其方法的實施例，為使便于理解，下述實施例中的相同組件以相同的符號標示來說明。
請參閱圖1，為本發明所述的影像搜尋模塊的第一實施例的方塊圖。如圖所示，影像搜尋模塊I適用在一動態圖像處理統的動態估算中，包含儲存模塊10、設定模塊11及處理模塊12。儲存模塊10可為嵌入式內存、外接式記憶卡或其組合，可用以儲存動態圖像處理系統所擷取或接收到的時間t-Ι畫面2與時間t畫面3。設定模塊11連接儲存模塊10 以及處理模塊12，且設定模塊11可將時間t-Ι畫面2切割成若干個區塊，以取得欲搜尋的影像區塊中的影像數據。并且，設定模塊11在時間t畫面3中設置若干個估算區塊，通過估算區塊取得區塊范圍中的影像數據。接著，處理模塊12可依據時間t畫面3中的區塊影像數據，相互比對估算區塊所取得的影像數據，以運算獲得時間t-Ι畫面2與時間t畫面3 的移動向量。借此，估測出兩畫面間的移動關聯性，以產生一虛擬的內插畫面4。接著，處理模塊12可將時間t-Ι畫面2、內插畫面4以及時間t畫面3依序輸出至一外部的顯示模塊 13，以使影像的動態行為連續。
請參閱圖2，為本發明的影像搜尋方法的示意圖。如圖所示，將動態圖像處理系統所擷取或接收到的時間t-Ι畫面2與時間t畫面3作為前后時間順序的兩張比對影像畫面， 每張影像畫面具有若干個像素，并且以區塊為基礎單位切割劃分各影像畫面。時間t-1畫面2中具有一 A字形圖案5，將A字形圖案5的影像數據可被劃分在一第一區塊20中。并且，在時間t畫面3中，設置若干個第一估算區塊30。各第一估算區塊30可以是一個邊長為八個像素長的四方形區塊，且假設各第一估算區塊30的左上角位置為第一估算像素302。
接著，在時間t畫面3中，以時間t-Ι畫面2中A字形圖案5的同等位置為起始點。 將第一估算像素302置于起始點上，并沿一預定方向，例如順時鐘方向或逆時間方向，螺旋向外，依序排列各第一估算區塊30。通過第一估算區塊30取得區塊范圍中的影像數據。比較及運算，以估測時間t-Ι畫面2與時間t畫面3中A字形圖案5的移動關聯性。產生一虛擬的內插畫面4，并置入時間t-Ι畫面2與時間t畫面3中，使影像的動態行為連續。
請一并參閱圖3A以及圖3B，圖3A為本發明所述的影像搜尋方法的第一實施例的第一畫面示意圖。圖3B為本發明所述的影像搜尋方法的第一實施例的第二畫面示意圖。如圖所示，將動態圖像處理系統所擷取或接收到的第一畫面與第二畫面，例如，時間t-1畫面 2與時間t畫面3，作為前后時間順序的比對影像畫面，每張影像畫面具有若干個像素，并且以區塊為基礎單位切割劃分各影像畫面。時間t-Ι畫面2中具有一個X字形圖案6，且X字形圖案6的影像數據可被劃分于一第一區塊20中。將第一區塊20左上角位置的像素設定為第一像素200,以第一像素200作為動態估算的初始像素。
在時間t畫面3中，設置若干個第一估算區塊30。各第一估算區塊30可以第一間距301為邊長，形成一個8x8個像素長的矩形區塊，且假設各第一估算區塊30的左上角位置為第一估算像素302。在時間t畫面3中，以對應X字形圖案6在時間t-Ι畫面2中的同等位置為起始點。將第一估算像素302置于起始點的位置上，并以一預定方向，例如順時鐘方向或逆時間方向，螺旋向外，依序排列各第一估算區塊30。
在本實施例中，設置第一估算區塊30的起始點可為O的位置，且第一估算像素302 將以逆時間方向依序置放在1、2、3、4、5、6、7及8的位置上，使各第一估算區塊30依序1、2、 3、4、5、6、7及8的位置向外擴張。并且，與時間t-Ι畫面2中相對應的影像數據比較及運算，以獲取第一估算區塊30與時間t-Ι畫面2相對應位置的差異值的和(Sum of Absolute Difference, SAD)。換句話說，將第一估算區塊30的每一像素的影像數據與時間t_l畫面 2相對應位置的影像數據分別依序相減后，取其差值的絕對值，再全部相加獲得總和。且所獲得的差異值的和即為第一估算像素302的第一預測強度值。同樣地，依據時間t-Ι畫面 2相對應位置中的影像數據，依序比較位在1、2、3、4、5、6、7及8位置的第一估算區塊30，以取得若干個差異值的和。而具有最小差異值的和的第一估算區塊30，其第一估算像素302 將具有最高的第一預測強度值，即為X字形圖案6中的第一像素200的移動向量。
以具有最小差異值的和的第一估算區塊30中的第一估算像素302為起始點，以逆時間方向依序設置若干個第二估算區塊31。本實施例中，各第二估算區塊31可以是一個以邊長為四個像素長的第二間距311所形成的四方形區塊，且假設各第二估算區塊31的左上角位置為第二 估算像素312。第二估算像素312是用于與初始像素進行估算比較的用途。
本實施例中，位置I的第一估算區塊30具有最小的差異值的和，因此，以位置I為起始點，依序排列各第二估算像素312在9，10，11，12，13，14，15及16位置上，使各第二估算區塊31依序向外擴張，以分別取得影像數據。依據第一區塊20中的影像數據，分別比較位在9，10，11，12，13，14，15及16位置的第二估算區塊31中的影像數據。運算獲取第二估算區塊31與第一區塊20的差異值的和，找出各第二估算像素312的第二預測強度值。具有最高第二預測強度值的第二估算像素312即為第一像素200的移動向量。
承上，進一步限定收縮搜尋范圍，以具有最小第二預測強度值的第二估算像素312 為起始點，以逆時間方向依序設置若干個第三估算區塊32。各第三估算區塊32可以是一個以邊長為二個像素長的第三間距321所形成的四方形區塊，且假設各第三估算區塊32的左上角位置為第三估算像素322，用以與初始像素進行估算比較。由于位置I的第二估算像素 312具有最高第二預測強度值，因此，各第三估算像素322將依序置放在17，18，19，20，21， 22，23及24位置上，使各第三估算區塊32依序向外擴張，以分別取得影像數據。依據第一區塊20中的影像數據，分別比較位在17，18，19，20，21，22，23及24位置的第三估算區塊32 中的影像數據。運算獲取第三估算區塊32與第一區塊20的差異值的和，找出各第三估算像素322的第三預測強度值。其具有最高第三預測強度值的第三估算像素322即為第一像素200的移動向量。
由于位置21的第三估算像素322具有最高第二預測強度值，因此，以位置21的第三估算像素322為起始點，依序設置數個第四估算區塊33。各第四估算區塊33可以是一個以邊長為一個像素長的第四間距331所形成的四方形區塊，且假設各第四估算區塊33的左上角位置為第四估算像素332，用以與初始像素進行估算比較。則各第四估算區塊33將設置在25，26，27，28，29，30，31及32的位置上，以分別取得影像數據。同樣地，依據第一區塊 20中的影像數據，分別比較各第四估算區塊33中的影像數據。運算獲取第四估算區塊33 與第一區塊20的差異值的和，找出各第四估算像素332的第四預測強度值。
本實施例中，位在29位置上的第四估算區塊33具有最小差異值的和，因此，此最小差異值的和即為X字形圖案6中的第一像素200的移動向量。而29位置上的第四估算像素332即為X字形圖案6中的第一像素200移動后的位置。
請參閱圖4，為本發明所述的影像搜尋方法的第一實施例的流程圖。如圖所示，本發明所述的影像搜尋方法適用在動態圖像處理系統的動態估算中，以影像搜尋模塊進行移動向量的搜尋作業。且影像搜尋模塊包含一儲存模塊、一設定模塊以及一處理模塊，其中儲存模塊可儲存第一畫面。影像搜尋方法包含下列步驟
在步驟S41中，設置一第一區塊在第一畫面中；
在步驟S42中，以設定模塊設置若干個邊長為一第一間距的第一估算區塊在一第二畫面中。
在步驟S43中，在第二畫面中，以對應在第一區塊中的第一像素的同等位置為起始點，并沿一預定方向依序排列各第一估算區塊。
在步驟S44中，以處理模塊擷取并比對各第二畫面的各第一估算區塊中的影像數據與第一畫面的各第一區塊中的影像數據。
在步驟S45中，依序運算各第一估算區塊相對在第一區塊的第一預測強度值。
在步驟S46中，以設定模塊設置若干個邊長為一第二間距的第二估算區塊在一第二畫面中。
在步驟S47中，以具有最小第一預測強度值的第一估算像素為起始點，并沿預定方向依序排列各第二估算區塊。
在步驟S48中，以處理模塊擷取并比對各第二估算區塊中的影像數據與第一區塊中的影像數據。
在步驟S49中，依序運算各第二估算區塊相對在第一區塊的第二預測強度值。
本發明所述的影像搜尋方法的詳細說明以及實施方式已于前面敘述本發明的影像搜尋模塊時描述過，在此為了簡略說明更不再敘述。
綜上所述，本發明所提出的影像搜尋模塊及其方法，可通過設置估算區塊作搜尋的基礎估算范圍，以擴大每個像素的搜尋范圍。且以區塊作為估算范圍可減少搜尋次數。另外，由于估算區塊的邊長大小不同，可逐步限縮影像搜尋范圍，使動態估算的運算量以及運算時間可大幅地降低。
以上所述僅為舉例性說明，而非為限制性說明。任何未脫離本發明的精神與范疇， 而對其進行的等效修改或變更，均應包含在本申請的權利要求范圍中。
權利要求
1.一種影像搜尋模塊，適用在一動態圖像處理系統的動態估算中，其特征在于，包含 一儲存模塊，儲存一第一畫面，所述第一畫面包含一第一區塊，所述第一區塊包含一第一像素； 一設定模塊，是在一第二畫面中設置若干個第一估算區塊，各所述第一估算區塊包含一第一估算像素，且以一第一間距為邊長，所述設定模塊以所述第二畫面中對應在所述第一像素的同等位置為起始點，并沿一預定方向依序排列所述些第一估算區塊；以及 一處理模塊，連接所述設定模塊，所述處理模塊擷取并比對所述第二畫面的各所述第一估算區塊中的影像數據與所述第一畫面的所述第一區塊中的影像數據，以依序運算各所述第一估算區塊相對在所述第一區塊的一第一預測強度值。
2.如權利要求1所述的影像搜尋模塊，其特征在于，所述設定模塊更包含若干個第二估算區塊，各所述第二估算區塊具有一第二估算像素，且以一第二間距為邊長，所述些第二估算區塊以具有最小的所述第一預測強度值的所述第一估算像素為起始點，并沿所述預定方向依序排列。
3.如權利要求2所述的影像搜尋模塊，其特征在于，所述處理模塊擷取并比對各所述第二估算區塊中的影像數據與所述第一區塊中的影像數據，以依序運算各所述第二估算區塊相對在所述第一區塊的一第二預測強度值。
4.如權利要求3所述的影像搜尋模塊，其特征在于，所述設定模塊更包含若干個第三估算區塊，各所述第三估算區塊具有一第三估算像素，且以一第三間距為邊長，所述些第三估算區塊以具有最小的所述第二預測強度值的所述第二估算像素為起始點，并沿所述預定方向依序排列。
5.如權利要求4所述的影像搜尋模塊，其特征在于，所述處理模塊擷取并比對各所述第三估算區塊中的影像數據與所述第一區塊中的影像數據，以依序運算各所述第三估算區塊相對在所述第一區塊的一第三預測強度值。
6.如權利要求4所述的影像搜尋模塊，其特征在于，所述第二間距小于所述第一間距，且所述第三間距小于所述第二間距。
7.如權利要求4所述的影像搜尋模塊，其特征在于，所述處理模塊分別擷取并比對所述第一區塊中的影像數據與各所述第一估算區塊中的影像數據、各所述第二估算區塊中的影像數據或各所述第三估算區塊中的影像數據，以依序運算獲得若干個絕對差總和值。
8.如權利要求7所述的影像搜尋模塊，其特征在于，所述些絕對差總和值分別為所述第一預測強度值、所述第二預測強度值或所述第三預測強度值。
9.一種影像搜尋方法，適用在一動態圖像處理系統的動態估算中，其特征在于，以一影像搜尋模塊進行移動向量的搜尋作業，所述影像搜尋模塊包含一儲存模塊、一設定模塊以及一處理模塊，所述影像搜尋方法包含下列步驟 通過所述儲存模塊儲存一第一畫面，以設置一第一區塊在所述第一畫面中； 以所述設定模塊設置若干個第一估算區塊在一第二畫面中； 以一第一間距為邊長，分別形成各所述第一估算區塊； 以對應在所述第一區塊中的一第一像素的同等位置為起始點，并沿一預定方向依序排列各所述第一估算區塊； 以所述處理模塊擷取各所述第一估算區塊中的影像數據與所述第一區塊中的影像數據； 以所述處理模塊比對所述第二畫面的各所述第一估算區塊中的影像數據與所述第一畫面的所述第一區塊中的影像數據；以及 依序運算各所述第一估算區塊相對在所述第一區塊的一第一預測強度值。
10.如權利要求9所述的影像搜尋方法，其特征在于，更包含下列步驟 以所述設定模塊設置若干個第二估算區塊在所述第二畫面中； 以一第二間距為邊長，分別形成各所述第二估算區塊；以及 以具有最小的所述第一預測強度值的一第一估算像素為起始點，并沿所述預定方向依序排列各所述第二估算區塊。
11.如權利要求10所述的影像搜尋方法，其特征在于，更包含下列步驟 以所述處理模塊擷取并比對各所述第二估算區塊中的影像數據與所述第一區塊中的影像數據；以及 依序運算各所述第二估算區塊相對在所述第一區塊的一第二預測強度值。
12.如權利要求11所述的影像搜尋方法，其特征在于，更包含下列步驟 以所述設定模塊設置若干個第三估算區塊在所述第二畫面中； 以一第三間距為邊長，分別形成各所述第三估算區塊；以及 以具有最小的所述第二預測強度值的一第二估算像素為起始點，并沿所述預定方向依序排列各所述第三估算區塊。
13.如權利要求12所述的影像搜尋方法，其特征在于，更包含下列步驟 以所述處理模塊擷取并比對各所述第三估算區塊中的影像數據與所述第一區塊中的影像數據；以及 依序運算各所述第三估算區塊相對在所述第一區塊的一第三預測強度值。
14.如權利要求12所述的影像搜尋方法，其特征在于，所述第二間距小于所述第一間距，且所述第三間距小于所述第二間距。
15.如權利要求12所述的影像搜尋方法，其特征在于，更包含下列步驟 以所述處理模塊分別擷取并比對所述第一區塊中的影像數據與各所述第一估算區塊中的影像數據、各所述第二估算區塊中的影像數據或各所述第三估算區塊中的影像數據；以及 運算獲得各所述第一估算區塊、各所述第二估算區塊或各所述第三估算區塊的若干個絕對差總和值。
16.如權利要求15所述的影像搜尋方法，其特征在于，所述些絕對差總和值分別為所述第一預測強度值、所述第二預測強度值或所述第三預測強度值。
全文摘要
本發明揭露一種影像搜尋模塊及方法，適用在一動態圖像處理系統的動態估算中，包含一儲存模塊、一設定模塊以及一處理模塊。儲存模塊儲存一第一畫面，第一畫面具有一第一區塊以及一第一像素。以設定模塊在一第二畫面中設置若干個第一估算區塊，且各第一估算區塊具有一第一估算像素，并以一第一間距為邊長。設定模塊以第二畫面中對應在第一像素的同等位置為起始點，并沿一預定方向依序排列第一估算區塊。并且，處理模塊比對各第一估算區塊與第一區塊，依序運算各第一估算區塊相對在第一區塊的一第一預測強度值。
文檔編號H04N7/26GK103024372SQ201110336250
公開日2013年4月3日 申請日期2011年10月28日 優先權日2011年9月20日
發明者吳威諭 申請人:瀚宇彩晶股份有限公司