專利名稱：在體育比賽視頻中檢測精彩片斷的方法
技術領域：
本發明涉及一種在體育比賽的視頻中檢測精彩片斷的方法。
背景技術：
體育比賽的電視轉播一般很漫長，但對于觀眾來說，真正關心并有可能反復觀看的只是其中的精彩部分。這些精彩片斷不僅是普通觀眾所感興趣的，而且也是體育專業人士所關注的，例如教練員需要據此對運動員動作進行技術分析。傳統的方法是人工對錄制的視頻錄像帶進行剪輯，然而這種方法費時費力并且需要專業技術。
隨著數字技術的不斷發展和普及，視頻可以采用數字化的形式存儲和處理。在此基礎上，利用計算機可以對視頻圖像數據進行某種自動處理。一些公開的方法利用了特定比賽場景下的領域知識，對如足球、籃球等比賽的視頻進行了分析。但是這些方法依賴有關比賽的領域知識，不具有通用性。
發明內容
本發明的目的是提供一種通用的在體育比賽視頻中自動檢測精彩片斷的方法。
為實現上述目的，一種在體育比賽視頻中檢測精彩片斷的方法，包括下列步驟確定視頻中相鄰幀的攝像機運動；用所述攝像機運動來校正鏡頭邊界的檢測；確定所述鏡頭是否為重放鏡頭，如果是重放，則判定為精彩片斷；根據所述攝像機運動來計算重放鏡頭與之前視頻中正常鏡頭的相似度，其中相似度最大的鏡頭判定為精彩片斷。
本發明的主要優點是能對精彩片斷進行有效的自動提取，且不依賴于特定比賽的領域知識。本發明基于以下事實，即在體育比賽轉播的時候，通常會在精彩事件之后及時穿插重放慢鏡頭，并且由于重放鏡頭與原先的正常鏡頭關注的事件是同一個運動，這使得鏡頭內的攝像機運動通常比較明顯和存在一定的相關性。此外，針對體育視頻中存在的大量運動，本發明使用攝像機運動分析的結果來校驗所檢測的鏡頭邊界，從而提高了鏡頭分割的準確性。
圖1是本發明的流程示意圖。
圖2是運動矢量空間示意圖。
圖3說明了重放標志的選取。
具體實施例方式
本發明對體育比賽視頻精彩片斷的提取，依賴于下面兩個假設(1)精彩事件會被及時重放；(2)重放的第一個鏡頭通常來自先前拍攝該事件的同一攝像機。在此基礎上，圖1給出了本發明的流程示意圖。首先，對視頻序列進行基于顏色直方圖的鏡頭邊界檢測和攝像機運動分析，初步得到的鏡頭邊界再利用攝像機運動分析的結果進行校驗，消除其中由于運動造成的誤差。然后，對檢測出的鏡頭判斷是否為重放。若是重放鏡頭，則判定為精彩片斷。另一方面，則根據攝像機運動，在之前的視頻片斷中查找與重放的第一個鏡頭最相似的鏡頭，也判定為精彩片斷。
攝像機運動包括以下七種靜止，上搖，下搖，右搖，左搖，推近和拉遠。為了確定相鄰幀的攝像機運動，需要計算不同位置上的運動矢量，再對所有的運動矢量進行統計。
運動矢量使用16×16塊匹配的全搜索算法來求得。在體育比賽的轉播中，通常都將視野的中央對準運動員的動作，因此我們不計算幀中央的塊，這樣既可以降低計算量又避免了前景物體運動造成的誤差。此外，為了降低塊匹配在平滑區域(如天空、水等)出現的隨機誤差，我們計算每一個塊的方差，只有方差大于某一閾值才計算其運動矢量。
計算得到的運動矢量m＝(x，y)分布在一個如圖2所示的二維空間中。將該空間劃分為五個區域，其中區域0為半徑2的圓形區域，空間的其他部分平分為四個區域。分別對五個區域統計其中運動矢量的數目，最多的記為主區域，次多的記為次區域。對攝像機運動的判定如下1、若主區域和次區域相對，如區域1和區域3，區域2和區域4，則為變焦距拉推運動。此時需分別計算外出矢量和內入矢量的數目，來判定是推近還是拉遠。若區域1中的矢量是來自于幀左部的塊則為內入矢量；若來自于幀右部則為外出矢量。同理，可以分別計算出區域2、3和4中的外出矢量和內入矢量數目。若外出矢量的總數超過內入矢量的總數，則可以判定為推近，反之為拉遠。
2、若主區域為區域1，判定為左搖。
3、若主區域為區域2，判定為下搖。
4、若主區域為區域3，判定為右搖。
5、若主區域為區域4，判定為上搖。
6、以上條件均不滿足，攝像機運動判斷為靜止。
由上述算法，給定一段視頻序列，對其進行幀間攝像機運動分析，我們可以得到一個運動特征序列C＝{ci}，ci∈
，其中ci指明了第i幀到第i+1幀的攝像機運動。由于每種攝像機運動都有一定的延續性，因此在實際計算中，可以采取隔幾幀計算一次的方法以降低計算量。
所謂鏡頭是指攝像機不間斷拍攝的一組幀序列，它常被看成一部視頻的最小結構單元。為了將鏡頭分割出來，需要進行鏡頭邊界檢測。鏡頭與鏡頭之間的邊界有兩種類型突變和漸變。突變時，鏡頭直接切換到下一個；漸變時，從一個鏡頭到下一個鏡頭會有一個持續多幀的變化過程，如淡入淡出等。漸變的檢測一般要比突變難，這主要是因為很難區分鏡頭之間的漸變和由于攝像機或物體運動造成的場景變化。在體育視頻中，大部分鏡頭邊界屬于突變類型，少部分屬于漸變。但是由于體育視頻中存在大量的運動，這些運動常常會導致鏡頭邊界檢測算法出現較多的錯誤判斷。
為了解決上述問題，首先采用基于顏色直方圖的雙重比較法(TwinComparison)對鏡頭邊界進行初步檢測，然后根據攝像機運動對邊界進行的校驗。其中，第i幀的直方圖差值di由下式給出di=12N·Σr=03Σg=03Σb=03|Hi(r,g,b)-Hi-1(r,g,b)|]]>式中Hi(r，g，b)為第i幀中顏色值為(r，g，b)的像素的個數，N為每幀的像素總數。對于每個8位256級的顏色分量，只取其高兩位進行區分，即r，g，b∈
。
設視頻序列V為雙重比較法探測的一個可能鏡頭漸變，{ci}為其運動特征序列。校驗方法如下若在{ci}中存在至少連續10幀的相同非靜止攝像機運動，則判定該漸變過程是由于運動造成的誤差；反之，則為真正的漸變。
在體育比賽的電視轉播中，一般對于精彩片斷的重放都會以一個特別的標志性變化引入，再以類似的變化結束。這些標志比較固定，在相關比賽的轉播過程不會發生變化，可以事先通過用戶交互從視頻中選取，如圖3所示。然后通過檢測這些重放標志，就可以準確定位重放的開始和結束。
對每一幀計算它和重放標志的距離。距離計算由下式給出d(s，t)＝β·d1(s，t)+(1-β)·d2(s，t)其中d1(s，t)為模板t標志區域和幀s對應區域基于顏色直方圖的距離，d2(s，t)為基于對應像素顏色值的距離，0＜β＜1為權重。當距離小于給定閾值時，記為一次標志出現。為避免重復，約定若相鄰的兩次出現發生在30幀以內，則只記為一次。根據重放標志出現的記錄次數就可以對鏡頭是否屬于重放進行判斷。若在該鏡頭開始之前記錄了偶數次(包括次數為零)標志出現，則該鏡頭為正常鏡頭；若之前記錄了奇數次，則是重放鏡頭。
精彩片斷除了包括這些重放鏡頭，還有與之對應的正常鏡頭。為此，需要根據重放鏡頭在之前的視頻中尋找同一事件的正常鏡頭。實際上就是將第一個重放鏡頭與之前到上一次重放結束為止的鏡頭進行匹配，并將其中最相似的鏡頭作為精彩鏡頭。因為重放鏡頭在播放速度和起始點上與原先拍攝的鏡頭有較大的差異，所以如何衡量兩者的相似性成為一個關鍵問題。在體育視頻中，由于重放鏡頭與原先拍攝的鏡頭關注的事件通常是同一個運動，這使得鏡頭內的攝像機運動比較明顯并存在一定的相關性。這種相關性即使在播放速度和起始幀不同的條件下，也是存在的。
首先把鏡頭內相鄰幀的所述攝像機運動按照幀序依次排列得到運動序列。再對此運動序列進行預處理，即去掉運動序列中表示靜止的攝像機運動和持續幀數較少的攝像機運動，從而消除其中由于拍攝時抖動或分析的誤差造成的噪聲。預處理將幀間運動序列轉化為一個動作二元組序列{(ci，li)}，其中ci∈[1，6]表示攝像機運動的類型(設ci＝0表示攝像機靜止)，li為運動持續的幀數。例如，0000000003333333302202200022222222→(3，8)(2，8)。
重放鏡頭和正常鏡頭的運動序列采用下面的算法來確定它們的相似度。
算法基于攝像機運動的重放鏡頭相似度計算 輸入重放鏡頭和普通鏡頭的二元組序列C1＝{(c1[i]，l1[i])}和C2＝{(c2[j]，l2[j])，長度分別為L1和L2。 輸出兩個特征序列的相似度s (1) s＝0； (2) while(C1 is not empty){ (3) s1＝0； (4) for(d＝-L1+1；d＜L2；d++){ (5) s2＝0； (6) for(i＝0；i＜L1；i++) { (7) j＝i+d； (8) if(0＜＝j&&j＜L2&&c1[i]＝＝c2[j])) (9) s2＝s2+min(l1[i]，l2[j])+score； (10) } (11) if(s2＞s1)s1＝s2； (12) } (13) if(s1＞s)s＝s1； (14) reduce(C1)//remove the shortest motion from C1 (15) } (16) return s； 對于重放鏡頭，由于播放速度慢，在進行攝像機運動分析時有可能把一些比較微小的攝像機抖動放大。為了消除這些放大的抖動，我們實施多次匹配，每次匹配時依次去掉重放鏡頭二元組序列中一個li最小的二元組，最后將其中最佳的匹配作為返回結果。具體在對正常鏡頭和重放鏡頭的運動序列進行匹配時，需要分別以不同的起始位置，對應比較兩個序列，尋找最佳匹配。我們的算法綜合考慮了組的匹配和幀的匹配，其中score為組匹配的獎勵權重，一般設為10。score的值越大，則表明匹配的組越多越相似；score的值越小，則匹配的幀數越多越相似。
權利要求
1.一種在體育比賽視頻中檢測精彩片斷的方法，包括下列步驟確定視頻中相鄰幀的攝像機運動；用所述攝像機運動來校正鏡頭邊界的檢測；確定所述鏡頭是否為重放鏡頭，如果是重放，則判定為精彩片斷；根據所述攝像機運動來計算重放鏡頭與之前視頻中正常鏡頭的相似度，其中相似度最大的鏡頭判定為精彩片斷。
2.如權利要求1所述的方法，其特征在于所述校正鏡頭邊界的檢測包括下列步驟基于幀間顏色直方圖的差值來檢測視頻中的鏡頭邊界；如果所述鏡頭邊界是漸變的，且在漸變過程中存在連續多幀都是相同的非靜止攝像機運動，則確定該漸變是無效。
3.如權利要求1所述的方法，其特征在于所述重放鏡頭的確定包括下列步驟確定視頻幀圖像中是否出現了重放標志；如果所述幀圖像中出現了重放標志，則對之后規定數目的視頻幀序列不再記錄重放標志的出現；如果鏡頭開始之前記錄了奇數次重放標志的出現，則該鏡頭為重放鏡頭。
4.如權利要求3所述的方法，其特征在于所述的規定數目為視頻中重放標志從出現到消失的最大持續幀數。
5.如權利要求1所述的方法，其特征在于所述之前視頻是指從上次重放結束到本次重放開始之間的視頻幀序列。
6.如權利要求1所述的方法，其特征在于所述重放鏡頭和正常鏡頭的相似度計算包括下列步驟把鏡頭內相鄰幀的所述攝像機運動按照幀序依次排列，分別得到重放鏡頭和正常鏡頭的運動特征序列；去掉所述運動特征序列中表示靜止的攝像機運動和持續幀數較少的攝像機運動；匹配重放鏡頭和正常鏡頭的所述運動特征序列，確定它們的相似度；依次去掉重放鏡頭運動特征序列中持續幀數最少的攝像機運動，再和正常鏡頭的運動序列進行匹配，確定它們的相似度；把其中最大的相似度作為所述重放鏡頭和正常鏡頭的相似度。
7.如權利要求6的方法，其中所述運動特征序列的匹配包括下列步驟依次以不同的起始位置，對應比較重放鏡頭和正常鏡頭的所述運動特征序列；確定所述運動特征序列的最佳匹配。
全文摘要
一種在體育比賽視頻中檢測精彩片斷的方法，包括步驟確定視頻中相鄰幀的攝像機運動；用所述攝像機運動來校正鏡頭邊界的檢測；確定所述鏡頭是否為重放鏡頭，如果是重放，則判定為精彩片斷；根據所述攝像機運動來計算重放鏡頭與之前視頻中正常鏡頭的相似度，其中相似度最大的鏡頭判定為精彩片斷。本發明能對精彩片斷進行有效的自動提取，且不依賴于特定比賽的領域知識。針對體育視頻中存在的大量運動，本發明使用攝像機運動分析的結果來校驗所檢測的鏡頭邊界，從而提高了鏡頭分割的準確性。
文檔編號H04N5/222GK1510907SQ0215697
公開日2004年7月7日 申請日期2002年12月24日 優先權日2002年12月24日
發明者王扉, 張勇東, 李錦濤, 林守勛, 王 扉 申請人:中國科學院計算技術研究所