評論信息生成裝置及評論信息生成方法

評論信息生成裝置及評論信息生成方法
【專利摘要】一種評論信息生成裝置（100），具有：運動圖像取得部（101），受理運動圖像；評論輸入受理部（102），受理由運動圖像取得部（101）受理的運動圖像中的物體的位置信息、和從特定的定時起追隨物體而顯示的評論的輸入；目標時間決定部（106），根據由評論輸入受理部（102）受理的評論，決定用于持續顯示評論的時間長度的目標值即目標時間；物體運動決定部（107），決定物體的移動軌跡，以使得用于追隨位置信息所表示的物體來顯示評論的、物體的移動軌跡，成為時間長度足夠接近目標時間的移動軌跡；輸出評論信息生成部（104），生成包括評論、和物體運動決定部（107）決定的物體的移動軌跡在內的輸出評論信息；以及輸出部（105），將輸出評論信息進行輸出。
【專利說明】評論信息生成裝置及評論信息生成方法
【技術領域】
[0001]本發明涉及評論信息生成裝置及評論信息生成方法，生成用于追隨運動圖像中的物體而疊加顯示評論的評論信息。
【背景技術】
[0002]近年來，隨著網絡的發展和便攜式終端的普及，通過網絡與遙遠地方的對方輕松地享受借助運動圖像內容(content)和靜態圖像內容的交流已成為日常性行為。例如，存在這樣的服務:即對于已有的內容，在內容的時間軸上的某個定時，用戶分別利用文章寫入個人的喜好或觀點。這種借助內容的交流被認為今后將隨著顯示裝置和通信技術的發展而日益增加。
[0003]在專利文獻I中公開了用于實現這種交流的技術，即生成在運動圖像上合成了用戶賦予的評論的運動圖像，并在網絡上進行分發。
[0004]現有技術文獻
[0005]專利文獻
[0006]專利文獻1:日本特開2008 - 148071號公報
[0007]專利文獻2:日本特開2010 - 244437號公報
[0008]專利文獻3:國際公開第2010/116820號
[0009]專利文獻4:日本特開2004 - 128614號公報
[0010]專利文獻5:日本特開2009 - 81592號公報
[0011]專利文獻6:日本特開2003 - 132047號公報
[0012]專利文獻7:日本專利第4994525號公報
[0013]非專利文獻
[0014]非專利文獻 1:P.Anandan, “A Computational Framework and an Algorithmfor the Measurement of Visual Motion”，International Journal of ComputerVision, Vol.2，pp.283-310，1989
[0015]非專利文獻2:Vladimir Kolmogorov and Ramin Zabih, “Computing VisualCorrespondence with Occlusions via Graph Cuts，，， International Conference onComputer Vision, 2001
[0016]非專利文獻3:Jianbo Shi and Carlo Tomasi “Good Features to Track，，，IEEEConference on Computer Vision and Pattern Recognition, pp593_600, 1994
[0017]非專利文獻4:Pedro F.Felzenszwalb and Daniel P.Huttenlocher “EfficientGraph-Based Image Segmentation，，，International Journal of Computer Vision, Vol.59, N0.2, pp.167-181，Sept, 2004
發明概要
[0018]發明要解決的問題[0019]但是，根據過去的評論疊加(及帶評論運動圖像生成)方法，評論被顯示在與運動圖像中的物體(object)無關的位置。并且，評論的顯示時間也是固定的。因此，運動圖像的視聽者不易理解是各評論投稿人對哪個物體賦予的評論。并且，對于非常長的評論，不能在上述固定的評論的顯示時間內讀完評論。因此，存在視聽者對評論的視覺識別性下降的問題。
[0020]
【發明內容】

[0021]本發明正是為了解決上述問題而提出的，其目的在于，提供一種評論信息生成裝置及評論信息生成方法，生成能夠提高對評論的視覺識別性的輸出評論信息。
[0022]用于解決問題的手段
[0023]為了達到上述目的，本發明的一個方式的評論信息生成裝置具有:運動圖像取得部，受理運動圖像；評論輸入受理部，受理由所述運動圖像取得部受理的所述運動圖像中的物體的位置信息、和從特定的定時起追隨所述物體而顯示的評論的輸入；目標時間決定部，根據由所述評論輸入受理部受理的所述評論，決定用于持續顯示所述評論的時間長度的目標值即目標時間；物體運動決定部，決定所述物體的移動軌跡，以便使用于追隨所述位置信息所表示的所述物體來顯示所述評論的、所述物體的移動軌跡，成為所述目標時間的時間長度的移動軌跡；輸出評論信息生成部，生成包括所述評論、和所述物體運動決定部決定的所述物體的移動軌跡在內的輸出評論信息；以及輸出部，輸出由所述輸出評論信息生成部生成的所述輸出評論信息。
[0024]另外，這些總括的或者具體的方式也可以以系統、方法、集成電路、計算機程序或者計算機可讀的CD-ROM等記錄介質來實現，還可以以系統、方法、集成電路、計算機程序及記錄介質的任意組合來實現。
[0025]發明效果
[0026]根據本發明，能夠生成可以提高對評論的視覺識別性的輸出評論信息。
【專利附圖】

【附圖說明】
[0027]圖1是表示在實施方式中作為對象的帶評論運動圖像分發系統的結構的圖。
[0028]圖2A是表示針對運動圖像的評論賦予的時間性推移的圖。
[0029]圖2B是表示針對運動圖像的評論賦予及運動圖像視聽的時間性推移的圖。
[0030]圖3是表示實施方式中的評論信息生成裝置的功能性結構的框圖。
[0031]圖4A是表示由計算機構成的評論信息生成裝置的硬件結構的圖。
[0032]圖4B是表示由計算機構成的評論信息生成裝置的硬件結構的圖。
[0033]圖5是表示評論信息生成裝置的動作步驟的流程圖。
[0034]圖6A是表示運動圖像的一例的圖。
[0035]圖6B是表示運動圖像中的被攝體區域的圖。
[0036]圖7A是用于說明用戶在運動圖像上進行評論輸入的步驟的圖。
[0037]圖7B是表示輸入評論信息的數據例的圖。
[0038]圖8A是用于說明基于物體運動決定部的移動軌跡的計算方法的圖。
[0039]圖SB是用于說明基于物體運動決定部的移動軌跡的計算方法的圖。
[0040]圖9A是表示降低噪聲或者模型誤差的允許度時的移動軌跡的圖。[0041]圖9B是表示提高噪聲或者模型誤差的允許度時的移動軌跡的圖。
[0042]圖1OA是用于說明發生遮擋時的運動推定處理的圖。
[0043]圖1OB是用于說明發生場景改變時的運動推定處理的圖。
[0044]圖1lA是用于說明通過回溯評論開始時刻而進行的移動軌跡的拉伸處理的圖。
[0045]圖1lB是用于說明在規定的像素范圍內計算滿足目標時間的移動軌跡的示例的圖。
[0046]圖12A是用于說明在用戶指定的區域內計算滿足目標時間的移動軌跡的示例的圖。
[0047]圖12B是用于說明在由區域分割部分割后的同一區域內計算滿足目標時間的移動軌跡的示例的圖。
[0048]圖13A是表示進行了區域粗分割時的區域的移動軌跡的一例的圖。
[0049]圖13B是表示進行了區域細分割時的區域的移動軌跡的一例的圖。
[0050]圖14是表示數據庫的一例的圖。
[0051]圖15是表示具有目標時間校正部的評論信息生成裝置的功能性結構的框圖。【具體實施方式】
[0052](作為本發明的基礎的認識)
[0053]關于在“【背景技術】”部分中記載的過去的評論疊加方法，本
【發明者】發現會發生以下的問題。
[0054]在專利文獻I中記載的系統是具有運動圖像服務器和評論蓄積分發服務器的系統，各用戶通過網絡而寫入的評論全部被蓄積在評論蓄積分發服務器中，將被寫入了評論的運動圖像上的再現時刻作為基準點而疊加在運動圖像上進行分發(以后，將這種運動圖像稱為“帶評論運動圖像”)。每當運動圖像及帶評論運動圖像被分發及再現時，將用戶新寫入的評論與運動圖像時間軸上的時刻相對應地在評論蓄積分發服務器中進行管理，基本上與評論的新舊無關，在未來的分發中根據運動圖像時間軸上的時刻進行分發。各評論與作為用戶評論的投稿的對象的物體無關地在運動圖像上流動，或者被固定在運動圖像上的固定的位置進行顯示。
[0055]另外，在專利文獻2和3中公開了不經由因特網而對運動圖像附加字符信息的電影設備。在專利文獻2和3中尤其提出了這樣的方法，以對話框(7々夕'' '> )等方式顯示附加數據，通過根據運動圖像中的物體的移動來改變對話框，從而容易理解用戶真正賦予了附加數據的是哪個物體。
[0056]另外，在專利文獻4中公開了顯示對話框的聊天系統。針對被合成到共同背景上的特定位置的用戶的人臉圖像，以使產生的對話框不遮擋人臉圖像或其它對話框的方式進行顯示。
[0057]另外，在專利文獻5中公開了從便攜式電話或者便攜式終端向影像記錄裝置輸入字符信息或者圖畫信息的技術。便攜式電話或者便攜式終端具有評論追隨菜單，利用運動矢量來追隨用戶指定的追隨框。
[0058]另外，通常可以說人在一秒鐘內能夠識別的字符數是有限的。因此，進行了這樣的研究，例如對于電影等的字幕，確定每一秒鐘的顯示字符數或每一分鐘的顯示詞語數量(WPM:ffords Per Minute)這種自主性指導方針，以保證進行字幕視聽時的視覺識別性。
[0059]如以上所述，過去提出了在運動圖像中插入評論的方法。如上所述，在采用專利文獻I公開的技術的帶評論運動圖像分發站點中，在從畫面的一端到另一端的一行中能夠顯示的字符數是有限的。因此，例如適用將一律在3秒鐘內從畫面的一端到另一端滾動顯示評論這樣的設定設為默認方式。但另一方面，不易理解用戶真正想要賦予附加數據的是哪個物體。
[0060]因此，在本公開中將實現“追隨物體而移動的評論”作為目的。由此，容易理解用戶真正想要賦予附加數據的是哪個物體，提高用戶的視覺識別性，認為能夠加深交流。但是，為了得到“追隨物體而移動的評論”，需要求出根據物體運動推定而計算出的移動軌跡的坐標作為“追隨而移動的評論”的坐標。例如，如果物體運動推定早早地失敗，則評論顯示時間也縮短，因而有可能產生用戶不能在顯示有評論的期間中讀完評論的問題。
[0061]相反，如字幕那樣進行與評論的字符數對應的評論顯示時間的控制也不是能夠簡單實現的。
[0062]內容分發者分發的運動圖像或個人保有的內容大多在場景中包括多個物體。尤其是在各物體的運動的大小或顏色等不同的情況下，在計算運動圖像中的物體的軌跡的處理中，根據用戶選擇的物體或在物體運動推定處理中使用的參數，前述的物體運動推定結果的時間長度往往是不同的。
[0063]通常，在物體運動推定處理中，通過在基于時間序列的圖像之間判別相同的物體區域來求出運動。例如，將某幀中的物體作為模型，將最滿足該模型(與模型的亮度差最接近O)的其它幀中的物體判定為相同物體，根據物體之間的位置變化計算運動。
[0064]并且，也存在物體沒有被攝入到運動圖像中的情況等、不能進行運動推定的情況(應該中斷的情況)。作為該中斷判定的基準，能夠利用前述的與模型之間的亮度差。
[0065]在這種基于與模型之間的亮度差的運動推定處理中，在噪聲或者與模型的亮度差被允許到何種程度(即運動推定的精度)、和物體的追隨時間之間存在取舍的關系。這些取舍關系在圖像中并非一樣。例如，有可能頻發這種狀況:即對于運動圖像中的某個物體，比期望的追隨時間提前中斷運動推定，而對于相同運動圖像中的其它物體不中斷運動推定。即，如果采用相同的運動推定條件，則存在如下問題:根據用戶有意指定了評論賦予的坐標位置和在運動圖像上的時刻，截止到追隨結束的時間和運動推定的精度存在偏差。
[0066]為了解決這種問題，本發明的一個方式的評論信息生成裝置，具有:運動圖像取得部，受理運動圖像；評論輸入受理部，受理由所述運動圖像取得部受理的所述運動圖像中的物體的位置信息、和從特定的定時起追隨所述物體而顯示的評論的輸入；目標時間決定部，根據由所述評論輸入受理部受理的所述評論，決定用于持續顯示所述評論的時間長度的目標值即目標時間；物體運動決定部，決定所述物體的移動軌跡，以使得用于追隨所述位置信息所表示的所述物體來顯示所述評論的、所述物體的移動軌跡，成為所述目標時間的時間長度的移動軌跡；輸出評論信息生成部，生成輸出評論信息，該輸出評論信息包括所述評論、和所述物體運動決定部決定的所述物體的移動軌跡；以及輸出部，輸出由所述輸出評論信息生成部生成的所述輸出評論信息。
[0067]根據這種結構，根據評論決定應該顯示評論的目標時間，并以使移動軌跡連續的時間接近目標時間的方式決定物體的移動軌跡。[0068]另外，所謂“使成為目標時間的時間長度的移動軌跡”，從廣義上講，指從開始物體的運動推定的時刻起到被中斷為止的移動軌跡的長度、是與足夠接近顯示評論時的目標時間的時間長度相當的長度的狀態。從狹義上講，指從開始運動推定的時刻起到被中斷為止的移動軌跡的長度、是與顯示評論時的目標時間相當的長度的狀態。下面，使用“目標時間”的情況是指上述的“顯示評論時的目標時間”。至于將何種程度的差值的時間允許為“足夠接近”，存在根據要顯示的運動圖像的幀速率、決定目標時間時的系數、或者利用者而不同的可能性。因此，也可以事前通過實驗來決定，還可以預先設為利用者能夠選擇。例如，與每I字符的顯示時間相當的±0.25秒，可以說是沒有不協調感的“足夠接近”，因而也可以利用該結果。
[0069]所決定的物體的移動軌跡能夠用作對評論進行追隨顯示的移動軌跡。因此，在進行帶評論運動圖像顯示時，用戶能夠在顯示時間內閱讀評論，并能夠判定該評論是賦予給哪個物體的評論。因此，能夠生成可以提高評論的視覺識別性的輸出評論信息。
[0070]例如，也可以是，所述目標時間決定部計算所述目標時間，以使得所述評論輸入受理部受理的所述評論的長度越長時，所述目標時間越長，在所述評論輸入受理部被輸入更長的評論時，所述輸出部輸出時間長度更長的移動軌跡。
[0071]另外，也可以是，所述目標時間決定部計算將預先設定的每一字符的顯示時間即單位顯示時間、和所述評論輸入受理部受理的所述評論的字符數相乘得到的值，作為所述目標時間，若所述評論輸入受理部被輸入所述評論，則所述輸出部輸出將所述評論的字符數和所述單位顯示時間相乘得到的長度的移動軌跡。
[0072]另外，也可以是，所述目標時間決定部還在計算出的所述目標時間不滿足預先設定的進行字符的視覺識別所需要的視覺識別時間的情況下，計算所述視覺識別時間作為所述目標時間，若所述評論輸入受理部被輸入所述評論，則所述輸出部輸出將所述評論的字符數和預先設定的每一字符的顯示時間即單位顯示時間相乘得到的長度、和所述視覺識別時間的長度中較長一方的長度的移動軌跡，不論被輸入了多么短的所述評論，都輸出所述視覺識別時間以上的長度的移動軌跡。
[0073]在此，所謂視覺識別時間與字符數無關，是指識別字符所需要的最低限度的時間。
[0074]另外，也可以是，即使在所述評論輸入受理部受理的多個所述評論是對同一幀的同一位置賦予的多個所述評論時，在字符數彼此不同的情況下，所述輸出部輸出彼此不同的移動軌跡。
[0075]另外，也可以是，所述物體運動決定部使用多個運動推定方法中的各個方法或者多個運動推定參數中的各個參數，計算所述評論輸入受理部受理的所述位置信息所表示的所述物體、并且也是所述運動圖像中的所述物體的移動軌跡，并選擇所計算出的所述物體的移動軌跡之中長度與所述目標時間最接近的移動軌跡，由此決定所述物體的移動軌跡。
[0076]根據這種結構，使用多個運動推定方法或者多個運動推定參數計算移動軌跡，由此容易推定目標時間連續的移動軌跡。
[0077]例如，所述物體運動決定部根據作為所述多個運動推定參數中的各參數的(I)對物體的易追隨度有影響、且數值彼此不同的多個誤差允許度參數中的各誤差允許度參數；
(2)尺寸彼此不同的多個搜索窗口區域中的各搜索窗口區域；或者(3)數值彼此不同的多個特征量中的各特征量中任意一項參數，計算所述評論輸入受理部受理的所述位置信息所表示的所述物體、并且也是所述運動圖像中的所述物體的移動軌跡，并選擇所計算出的所述物體的移動軌跡之中長度與所述目標時間最接近的移動軌跡，由此決定所述物體的移動軌跡。
[0078]如果允許誤差，則移動軌跡變長，但是運動推定精度變差。相反，如果不允許誤差，則移動軌跡變短，但是運動推定精度變好。并且，如果減小搜索窗口區域的尺寸，則移動軌跡變長，但是運動推定精度變差。相反，如果增大搜索窗口區域的尺寸，則移動軌跡變短，但是運動推定精度變好。并且，如果減小特征量的個數，則移動軌跡變長，但是運動推定精度變差。相反，如果增大特征量的個數，則移動軌跡變短，但是運動推定精度變好。
[0079]另外，也可以是，所述物體運動決定部還在即使使用多個運動推定方法中的各個方法或者多個運動推定參數中的各個參數也不能決定長度與所述目標時間最接近的所述物體的移動軌跡的、產生了“不能進行運動推定的狀態”時，判定該狀態的原因是由于遮擋還是由于場景改變，根據判定結果切換物體運動決定方法。
[0080]另外，也可以是，所述物體運動決定部在判定為產生了所述“不能進行運動推定的狀態”的原因是由于遮擋的情況下，根據截止到產生所述遮擋的幀為止的所述物體的移動軌跡，對產生了遮擋的幀以后的幀中的所述物體的移動軌跡進行外插，由此決定長度與所述目標時間最接近的所述物體的移動軌跡。
[0081]根據這種結構，能夠根據沒有產生遮擋的幀的移動軌跡，對產生了遮擋的幀的移動軌跡進行外插。
[0082]另外，也可以是，所述物體運動決定部在判定為產生了所述“不能進行運動推定的狀態”的原因是由于場景改變的情況下，將截止到產生場景改變的幀為止的所述物體的移動軌跡決定為要輸出的移動軌跡。
[0083]在產生了場景改變的情況下，求出將場景改變夾在中間的物體的正確的移動軌跡是非常困難的，在場景改變以后求出錯誤的移動軌跡的可能性比較大。因此，為了提高評論的視覺識別性，有時決定為不推定場景改變以后的移動軌跡，結果視覺識別性更好。
[0084]另外，也可以是，所述物體運動決定部在構成所述運動圖像的幀間的亮度直方圖的變化量為規定的閾值以上的情況下，判定為產生了所述“不能進行運動推定的狀態”的原因是由于場景改變，在所述亮度直方圖的變化量小于所述規定的閾值的情況下，判定為產生了所述“不能進行運動推定的狀態”的原因是由于遮擋。
[0085]另外，也可以是，所述物體運動決定部在使用所述多個運動推定方法中的各個方法或者所述多個運動推定參數中的各個參數求出的所述物體的移動軌跡比所述目標時間短一定時間以上的情況下，將向比所述評論輸入受理部受理了所述位置信息及所述評論的輸入的幀、以及所述評論輸入受理部受理的所述位置信息所表示的所述物體的位置在時間軸上靠前的幀進行回溯而推定出的移動軌跡，與所述物體的移動軌跡的前方連接起來，由此決定長度與所述目標時間最接近的所述物體的移動軌跡。
[0086]根據這種結構，在位置信息所表示的物體的移動軌跡未達到目標時間的情況下，能夠使用對進行區域分割而得到的任意一個區域的追隨結果，決定與目標時間最接近的物體的移動軌跡。
[0087]另外，也可以是，所述物體運動決定部在使用所述多個運動推定方法中的各個方法或者所述多個運動推定參數中的各個參數求出的所述物體的移動軌跡的時間長度比所述目標時間短一定時間以上的情況下，將以距所述評論輸入受理部受理的所述物體的位置信息所表示的位置在一定的距離范圍內的位置作為基點的物體的移動軌跡之中、時間長度與所述目標時間最接近的長度的移動軌跡，決定為所述評論輸入受理部受理的所述位置信息所表示的所述物體的移動軌跡。
[0088]另外，也可以是，所述物體運動決定部在使用所述多個運動推定方法中的各個方法或者所述多個運動推定參數中的各個參數求出的所述物體的移動軌跡的時間長度比所述目標時間短一定時間以上的情況下，將包括所述評論輸入受理部受理的所述物體的位置信息所表示的位置在內的、以用戶指定的范圍內的位置作為基點的所述物體的移動軌跡之中，時間長度與所述目標時間最接近的長度的移動軌跡，決定為所述評論輸入受理部受理的所述位置信息所表示的所述物體的移動軌跡。
[0089]根據這種結構，在位置信息所表示的物體的移動軌跡比目標時間短一定時間以上的情況下，根據以該移動軌跡的附近作為基點的、使用其它移動軌跡來追隨物體的結果，能夠推定目標時間連續的物體的移動軌跡。另外，不僅對空間上的附近坐標，也可以對時間方向的附近位置進行相同的處理。
[0090]另外，也可以是，所述物體運動決定部在使用所述多個運動推定方法中的各個方法或者所述多個運動推定參數中的各個參數求出的所述物體的移動軌跡的時間長度比所述目標時間短一定時間以上的情況下，將所述物體分割為多個區域，將分割得到的區域之中、長度與所述目標時間最接近的區域的移動軌跡，決定為所述物體的移動軌跡。
[0091]根據這種結構，在位置信息所表示的物體的移動軌跡比目標時間短一定時間以上的情況下，通過使用以該移動軌跡的附近作為基點的其它移動軌跡，能夠決定滿足目標時間的物體的移動軌跡。
[0092]另外，也可以是，所述物體運動決定部還對所述評論輸入受理部受理的所述位置信息所表示的物體的重心，決定長度與目標時間最接近的移動軌跡，并根據所述評論輸入受理部受理的所述評論被賦予的位置與所述物體的重心的相對位置關系，將所述決定的所述物體的移動軌跡校正為好像是從被賦予評論的位置起的移動軌跡，并進行輸出。
[0093]根據這種結構，例如，能夠以使在以后也保持物體的重心坐標、與位置信息所表示的賦予了評論的幀的坐標的相對位置關系的方式，對物體的移動軌跡進行校正。
[0094]另外，所述物體運動決定部在使用多個運動推定方法中的各個方法或者多個運動推定參數中的各個參數求出的所述物體的移動軌跡的時間長度比所述目標時間長一定時間以上的情況下，針對精度最高、時間長度最短的移動軌跡，僅將從開始幀起到目標時間為止的范圍的移動軌跡，決定為所述評論輸入受理部受理的所述位置信息所表示的所述物體的移動軌跡，將與目標時間以后的幀對應的移動軌跡廢棄，由此能夠容易得到長度與目標時間最接近的移動軌跡。
[0095]另外，也可以是，所述評論信息生成裝置還具有目標時間校正部，該目標時間校正部根據所述物體運動決定部決定的所述物體的移動軌跡來校正所述目標時間，以使得所述物體的移動速度越快時，所述目標時間越長，所述物體運動決定部還重新決定所述物體的移動軌跡，以使得用于追隨所述位置信息所表示的所述物體來顯示所述評論的、所述物體的移動軌跡，成為由所述目標時間校正部校正后的所述目標時間的時間長度。
[0096]另外，這些總括的或者具體的方式也可以以系統、方法、集成電路、計算機程序或者計算機可讀的CD-ROM等記錄介質來實現，還可以以系統、方法、集成電路、計算機程序及記錄介質的任意組合來實現。
[0097]下面，關于本發明的一種方式的評論信息生成裝置，參照附圖進行具體說明。
[0098]另外，下面說明的實施方式都是表示總括的或者具體的示例的方式。在下面的實施方式中示出的數值、形狀、材料、構成要素、構成要素的配置位置及連接方式、步驟、步驟的順序等僅是一例，其主旨不是限定本發明。并且，關于下面的實施方式的構成要素中、沒有在表示最上位概念的獨立權利要求中記載的構成要素，僅是作為任意的構成要素進行說明。
[0099]圖1表示在本實施方式中作為對象的帶評論運動圖像分發系統的結構。與專利文獻I相同地，帶評論運動圖像分發系統具有運動圖像服務器和評論蓄積分發服務器。各服務器都可以在相同的PC (Personal Computer)中進行管理，也可以在不同的PC中進行管理。
[0100]圖1所示的彼此不同的用戶A?D通過網絡對分發給各用戶持有的終端(智能電話、PC或者平板PC等)的運動圖像進行瀏覽。在此，示出了用戶A、用戶B通過終端具備的鍵盤或軟鍵盤等對運動圖像賦予評論的示例。在此，評論是字符信息，是與由用戶指定的運動圖像中的時間性位置(即期望的時間及幀號碼)以及空間性位置(即坐標)相對應而賦予的。另外，在下面的說明中，在提及運動圖像的情況下，假設是指運動圖像數據或者運動圖像數據所表示的運動圖像。
[0101]用戶賦予的評論與被賦予了該評論的運動圖像、該用戶的用戶ID、該評論所對應的(運動圖像中的)時刻及坐標、該評論被投稿的實際時刻等信息一起，被隨時蓄積在評論蓄積分發服務器中。并且，在用戶A和用戶B對某個運動圖像賦予了評論后，在其他的用戶C和用戶D視聽了該運動圖像時，與對應該運動圖像的其它評論相同地，從評論蓄積分發服務器分發用戶A和用戶B的評論，并根據與所述評論對應的信息(在運動圖像中經過的時間即運動圖像上時刻和坐標等)顯示在運動圖像上合成有評論的運動圖像。
[0102]圖2A和圖2B表示針對運動圖像的評論賦予的時間性推移。
[0103]首先，圖2A表示運動圖像中的時間的推移與所顯示的評論的關系。評論與影像內時刻(運動圖像的再現時刻)相對應地被蓄積在服務器中。優選按照適合評論的視覺識別的時間長度來顯示各評論。關于時間長度的計算在后面進行詳細說明。
[0104]根據圖2A，在影像內時刻SA秒?EA秒期間顯示用戶A的評論，在SB秒?EB秒(也可以用幀取代秒來求出)期間顯示用戶B的評論。另外，關于時間的單位，在下面是使用“秒”，但也可以使用“幀數”取代秒。
[0105]另外，圖2B表示實際的時間的推移。如圖2B所示，假設在用戶A和用戶B賦予(寫入)評論后，用戶C和用戶D視聽帶評論運動圖像，用戶C在視聽帶評論運動圖像中位于影像內時刻SB秒?EA秒期間的運動圖像的情況下，能夠觀察到如圖2A所示的、在用戶A的評論上疊加了用戶B的評論的帶評論運動圖像。另一方面，假設用戶D視聽影像內時刻為EA秒?EB秒期間的運動圖像。用戶D能夠觀察到如圖2A所示的、僅賦予了用戶B的評論的運動圖像。
[0106]以上是在本實施方式中作為對象的帶評論運動圖像的概念性說明。
[0107]圖3是表示實施方式中的評論信息生成裝置100的功能性結構的框圖。如圖3所示，評論信息生成裝置100具有運動圖像取得部101、評論輸入受理部102、物體運動生成部103、輸出評論信息生成部104、和輸出部105。
[0108]評論信息生成裝置100以運動圖像110及表示評論的內容的輸入評論信息111(包括對應該評論的運動圖像上的坐標值即評論坐標112)為輸入，計算評論坐標112所示出的、用戶指定的運動圖像110中的像素或者被攝體的運動，生成輸出評論信息(物體追隨評論)，并輸出給存儲裝置120。
[0109]運動圖像取得部101受理運動圖像、或者構成運動圖像的多張圖片(picture,也稱為“圖像”)的輸入。運動圖像取得部101例如可以是直接或者通過通信路徑來讀出在運動圖像服務器等存儲裝置中存儲的運動圖像的接口。
[0110]評論輸入受理部102受理由用戶輸入的輸入評論信息111 (包括評論坐標112)。評論輸入受理部102例如可以是直接或者通過通信路徑來讀出、通過由用戶進行鼠標的點擊或者對觸摸屏的觸摸等而指定的運動圖像上的時刻和坐標的接口。
[0111]物體運動生成部103根據運動圖像取得部101受理的運動圖像110和評論輸入受理部102受理的輸入評論信息111 (包括評論坐標112)，生成評論的字符串的長度及依存于視覺識別性的時間長度的量的物體運動推定結果。
[0112]輸出評論信息生成部104從物體運動生成部103生成的物體運動(用于顯示追隨評論的沿著時間軸的一系列的坐標值即移動軌跡)、和輸入評論信息111，生成輸出評論信
肩、O
[0113]輸出部105通過有線或者無線方式，將輸出評論信息生成部104生成的輸出評論信息輸出給存儲裝置120。在此，輸出評論信息包括對運動圖像賦予的評論的字符信息、賦予了評論的坐標、評論投稿時刻、評論顯示時間等有關評論的信息。另外，輸出評論信息也可以包括顯示評論時的、評論的形狀或者尺寸。
[0114]物體運動生成部103具有目標時間決定部106和物體運動決定部107。
[0115]目標時間決定部106根據評論輸入受理部102受理的輸入評論信息111，決定用于使追隨物體來顯示評論的目標時間、即適合于顯示輸入評論信息111所包含的評論的目標時間。目標時間例如能夠根據評論的字符數來決定。
[0116]物體運動決定部107根據運動圖像取得部101受理的運動圖像110、評論輸入受理部102受理的輸入評論信息111 (包括評論坐標112)、以及由目標時間決定部106決定的目標時間，利用多個運動推定方法或者多個運動推定參數，決定長度足夠接近目標時間、而且長度大于目標時間、而且推定精度不至于降低必要程度以上的物體運動。物體運動決定部107選擇從評論坐標112起的物體的追隨結果的時間長度大于目標時間、而且足夠接近目標時間的運動推定方法或者運動推定參數，決定從指定的評論坐標112起的像素(物體)的運動(移動軌跡)。
[0117]另外，構成評論信息生成裝置100的各構成要素(運動圖像取得部101、評論輸入受理部102、物體運動生成部103、輸出評論信息生成部104、輸出部105)，可以以在計算機中執行的程序等軟件來實現，也可以以電子電路或者集成電路等硬件來實現。圖4A和圖4B是表示由計算機構成的本實施方式的評論信息生成裝置的硬件結構的圖。
[0118]在圖4A和圖4B中，存儲裝置210a向I/F(接口)201a輸出所存儲的運動圖像110。受理來自用戶的輸入的輸入裝置210b向I/F201b輸出輸入評論信息111。計算機200取得運動圖像110和輸入評論信息111，進行物體追隨評論生成處理，并生成物體追隨評論的輸出評論信息。
[0119]存儲裝置220取得由計算機200生成的輸出評論信息并進行存儲。
[0120]計算機200 包括 I/F201a 和 201b、CPU202、R0M203、RAM204、HDD205 和 I/F206。使計算機200進行動作的程序被預先保存在R0M203或者HDD205中。程序由作為處理器的CPU202從R0M203或者HDD205中讀出到RAM204中并進行展開。CPU202執行被展開到RAM204中的程序中被代碼化的各命令。I/F201a和201b根據程序的執行，分別將運動圖像110和輸入評論信息111取入到RAM204中。I/F206輸出通過程序的執行而生成的物體追隨評論的輸出評論信息，并存儲在存儲裝置220中。
[0121]另外，計算機程序不限于存儲在作為半導體的R0M203或者HDD205中，也可以存儲在例如CD-ROM中。并且，也可以通過有線或無線的網絡、廣播等進行傳輸，并取入到計算機的 RAM204 中。
[0122]下面，使用圖5說明本實施方式的評論信息生成裝置100的動作。圖5是表示本實施方式的評論信息生成裝置100的動作的流程圖。
[0123]在圖5中，7個步驟S301?S307分別對應于圖3的各處理部101?107。S卩，通過運動圖像取得部101執行動作取得步驟S301的各動作，通過評論輸入受理部102執行評論輸入受理步驟S302的各動作，通過物體運動生成部103執行物體運動生成步驟S303的各動作，通過輸出評論信息生成部104執行輸出評論信息生成步驟S304的各動作，通過輸出部105執行輸出步驟S305的各動作。并且，物體運動生成步驟S303包括目標時間決定步驟S306和物體運動決定步驟S307這兩個步驟。通過目標時間決定部106執行目標時間決定步驟S306的各動作，通過物體運動決定部107執行物體運動決定步驟S307的各動作。
[0124]首先，由運動圖像取得部101執行動作取得步驟S301。運動圖像取得部101取得運動圖像110。
[0125]在本實施方式中，作為運動圖像取得部101取得的運動圖像110，假設有廣播運動圖像、由用戶拍攝到的運動圖像等各種運動圖像、以及構成運動圖像的多個圖片(圖像)。這些運動圖像110被蓄積在運動圖像服務器等中，運動圖像取得部101通過有線或無線的網絡、廣播等取得運動圖像110。在本實施方式中，假設運動圖像為30幀/秒。
[0126]所取得的運動圖像的示例如圖6A所示。在此示出了有關音樂的運動圖像內容的示例，但作為本發明的對象的運動圖像不限于此。另外，以后為了說明及附圖的簡化起見，對于在此示出的運動圖像示例，使用如圖6B所示簡略表示被攝體區域的圖。
[0127]參照圖5，由評論輸入受理部102執行評論輸入受理步驟S302。評論輸入受理部102取得輸入評論信息111。由用戶進行的評論輸入的示例、以及所取得的輸入評論信息111的示例分別如圖7A和圖7B所示。
[0128]輸入評論信息111如圖7B所示至少包括評論時刻(time:時間)、評論對象坐標(position:位置)、和所輸入的文章信息即評論字符串(comment:評論)這三種信息。評論時刻是表示運動圖像110中的經過時間(再現時刻)的信息，只要是能夠確定用戶在運動圖像110中賦予了評論的定時的信息，則也可以是取代時間信息的其它信息，如幀號碼等。關于評論對象坐標，只要是能夠確定該幀中由用戶賦予了評論的空間性位置的信息，則也可以是取代像素坐標值的其它信息，如歸一化成使畫面的縱向及橫向的值域為I的坐標值等。[0129]另外，這些評論輸入可以通過具有評論信息生成裝置100的PC或者便攜式終端等設備上的用戶界面來進行。或者，也可以是，根據通過不具有評論信息生成裝置100的普通PC或者便攜式終端等設備上的用戶界面而進行的操作，通過通信線路來受理評論和追隨評論而顯示的物體的位置信息，由此進行評論輸入。
[0130]另外，輸入評論信息111所包含的信息只有評論時刻(time)、和所輸入的文章信息即評論字符串(comment)這兩種信息，也可以是由另外具備的位置推定部推定評論對象坐標(position)的結構。
[0131]關于在某幀上顯示的評論，可以認為其詳情按照評論對象的每個物體而具有特征。即，可以說某幀中的評論語句與評論的位置信息是相關的。因此，能夠根據此前所蓄積的評論中通過該幀且相似的評論的賦予位置，推定新賦予的評論的評論對象坐標。
[0132]并且，評論的投稿是在如下的狀態下進行的，例如，當在用戶正在瀏覽的終端上進行運動圖像110的再現時，當在終端側檢測出用戶的鼠標輸入、按鍵輸入或者觸摸輸入時，運動圖像110的再現暫時自動停止的狀態。或者，評論的投稿是在運動圖像110的再現根據用戶在畫面上的操作而暫時停止的狀態下進行的。
[0133]例如，在圖7A所示的顯示畫面中，優選在作為對象的運動圖像110的再現被暫時停止的狀態下(為了容易操作)，用戶指定畫面上的某個坐標(圖7A的(a))。響應該指定，在評論信息生成裝置100疊加顯示出彈出畫面(圖7A的(b))。用戶通過在彈出畫面內輸入評論來進行評論的投稿。在此，例如在PC中，在使鼠標指針對準用戶想要賦予評論的坐標的狀態下點擊鼠標、或直接觸摸觸摸屏式顯示器的畫面，由此進行畫面上的坐標的指定。另夕卜，如前面所述在另外具有位置推定部的情況下，不需要用戶指定位置，因而在輸入評論時即使是不使運動圖像暫時停止的狀態，在易用性方面也不一定產生問題。
[0134]或者，也可以通過聲音輸入來進行評論的投稿。在這種情況下，也可以構成為具有聲音分析部，聲音分析部將所輸入的聲音變換為評論語句。但是，通常輸入的聲音是口語語言，嚴格地講與書面語言不同。因此，優選聲音分析部將所輸入的聲音變換為作為書面語言的評論語句。關于將通過聲音而輸入的口語語言變換為書面語言的方法，例如在專利文獻6中公開。對所輸入的口語語言數據進行形態分析(morphological analysis),使用將口語語言和書面語言相對應形成的表來得到書面語言的候選，再選擇在書面語言數據庫中容易出現的語序及語句，按照以上的框架結構進行向書面語言的變換。根據以上的框架結構，口語語言特有的表述及同音異義詞等也能夠適當變換為作為書面語言的評論語句。
[0135]參照圖5，由物體運動生成部103執行物體運動生成步驟S303。
[0136]目標時間決定部106根據在評論輸入受理步驟S302受理的輸入評論信息111，執行目標時間決定步驟S306并決定目標時間。然后，根據目標時間決定部106決定的目標時間、在運動圖像取得步驟S301中取得的運動圖像110、和在評論輸入受理步驟S302中受理的輸入評論信息111，由物體運動決定部107執行物體運動決定步驟S307，并決定用于顯示追隨評論的沿著時間軸的一系列的坐標值即移動軌跡。下面，對以上的處理進行詳細說明。
[0137]目標時間決定部106決定輸入了評論的用戶或者其它用戶視覺識別所輸入的評論所需要的時間即目標時間。
[0138]例如，關于電影等的字幕，對于英文字幕是存在“每I秒鐘顯示12字符”這種指導方針。并且，也可以按照單詞單位求出目標時間。例如，作為閱讀文章的速度，有時使用單位WPM(Words per minute:1分鐘能夠閱讀的單詞數)。通常認為美國成年人閱讀雜志、報紙或者書的速度是250?300WPM，因而能夠將該基準適用于目標時間計算。
[0139]例如，如果為了容易閱讀而將目標設定為稍慢的200WPM等，通過檢測輸入評論語句中的空格，即可求出單詞數W。因此，能夠通過目標時間Nw=W*60/200這樣的計算求出目標時間Nw (秒)。
[0140]另外，認為人進行視覺上的識別大約需要0.5秒。將該時間稱為視覺識別時間。優選還考慮視覺識別時間來求出達到預先設定的長度(例如0.5秒)以上的目標時間。
[0141]另外，在用戶對已經顯示有其它評論的幀輸入評論的情況下，也可以計算出較長的新輸入的評論的目標時間，使得成為能夠視覺識別過去顯示的評論字符信息和用戶新輸入的評論字符信息雙方的時間。也可以是，在對新的評論的字符數或者單詞數加上規定的字符數或者單詞數后，計算出目標時間。通過這樣處理，對于閱讀帶評論的運動圖像的用戶而言，能夠更可靠地視覺識別同時顯示的評論語句。
[0142]另外，在用戶想要賦予評論的幀上已經被賦予了由相同的字符串構成的評論的情況下，由于評論內容的重復而形成的冗余有可能帶來不舒適感。因此，也可以是，在位于相同幀中的相同內容的評論的數越多時，對于新追加的相同內容的評論就越縮短目標時間乃至將其設為零。為了縮短目標時間，例如通過變更為將根據字符數求出的目標時間除以相同評論的數量而得到的值等來實現。并且，即使是同一幀沒有被賦予相同的評論時，對于在同一運動圖像中出現多次的評論，同樣也可以縮短目標時間乃至設為零。
[0143]另外，在本公開中，目標時間決定部106隨時根據所輸入的評論字符數推定目標時間，但目標時間決定部106的動作不限于此。例如，另外預先求出評論的字符數和目標時間的關系，將該關系作成數據庫或表保存于在評論信息生成裝置內部或者外部設置的存儲裝置中。也可以是，目標時間決定部106在受理了評論輸入時，通過有線或者無線方式來參照所述數據庫或表來得到目標時間，以取代根據評論字符數推定目標時間。通過預先進行目標時間的推定，在被輸入了評論時能夠快速地進行目標時間決定處理。
[0144]另外，物體運動生成部103、輸出評論信息生成部104及輸出部105也可以設于視聽帶評論運動圖像的各終端側。
[0145]當前，不同語言之間的自動翻譯功能已司空見慣。因此，可以說也能夠視聽附帶有被翻譯成與原來賦予給運動圖像的評論的語言不同的語言的評論的、帶評論運動圖像。在這種情況下，優選針對視聽側的每臺終端選擇被翻譯成哪種語言更好。即，最簡單地講，視聽側的終端根據終端具有的語言信息將評論翻譯成另一種語言，針對被翻譯后的評論執行物體運動生成部103、輸出評論信息生成部104及輸出部105的處理。
[0146]或者，也可以是，對于特定的語言圈，在對帶評論運動圖像進行翻譯并分發的服務器中設置物體運動生成部103、輸出評論信息生成部104及輸出部105，從而進行相同的處理。
[0147]然后，物體運動決定部107根據目標時間決定部106決定的目標時間、輸入評論信息及運動圖像110，決定用于顯示追隨評論的沿著時間軸的一系列的坐標值即移動軌跡。
[0148]具體地講，物體運動決定部107在從運動圖像取得部101輸入多張圖片后，檢測圖片之間的對應點并生成移動軌跡。下面，檢測構成運動圖像110的在時間上鄰接的兩張圖片之間的像素或者包括像素的塊的運動，將檢測出的運動按照所述多張圖片連接而成的沿著時間軸的一系列坐標值稱為移動軌跡。
[0149]如圖8A所示，物體運動決定部107根據時刻t的輸入圖片501的像素i503a、像素j503b，使用所述計算出的兩張圖片之間的運動矢量信息502，追隨像素i503a、像素j503b的運動來求出像素i503a、像素j503b的對應點。此時，物體運動決定部107根據位于I幀圖片上的像素i的坐標值(x/、y/)和時刻t的像素i的對應點的像素坐標值(xt\ ytO，按照下式I計算出移動軌跡X、
[0150][數式I]
【權利要求】
1.一種評論信息生成裝置，具有: 運動圖像取得部，受理運動圖像； 評論輸入受理部，受理由所述運動圖像取得部受理的所述運動圖像中的物體的位置信息、和從特定的定時起追隨所述物體而顯示的評論的輸入； 目標時間決定部，根據由所述評論輸入受理部受理的所述評論，決定用于持續顯示所述評論的時間長度的目標值即目標時間； 物體運動決定部，決定所述物體的移動軌跡，以使得用于追隨所述位置信息所表示的所述物體來顯示所述評論的、所述物體的移動軌跡，成為所述目標時間的時間長度的移動軌跡； 輸出評論信息生成部，生成輸出評論信息，該輸出評論信息包括所述評論、和所述物體運動決定部決定的所述物體的移動軌跡；以及 輸出部，輸出由所述輸出評論信息生成部生成的所述輸出評論信息。
2.根據權利要求1所述的評論信息生成裝置， 所述目標時間決定部計算所述目標時間，以使得所述評論輸入受理部受理的所述評論的長度越長時，所述目標時間越長， 在所述評論輸入受理部被輸入更長的評論時，所述輸出部輸出時間長度更長的移動軌跡。
3.根據權利要求2所述的評論信息生成裝置， 所述目標時間決定部計算將預先設定的每一字符的顯示時間即單位顯示時間、和所述評論輸入受理部受理的所述評論的字符數相乘得到的值，作為所述目標時間， 若所述評論輸入受理部被輸入所述評論，則所述輸出部輸出將所述評論的字符數和所述單位顯示時間相乘得到的長度的移動軌跡。
4.根據權利要求2所述的評論信息生成裝置， 所述目標時間決定部還在計算出的所述目標時間不滿足預先設定的進行字符的視覺識別所需要的視覺識別時間的情況下，計算所述視覺識別時間作為所述目標時間， 若所述評論輸入受理部被輸入所述評論，則所述輸出部輸出將所述評論的字符數和預先設定的每一字符的顯示時間即單位顯示時間相乘得到的長度、和所述視覺識別時間的長度中較長一方的長度的移動軌跡，不論被輸入了多么短的所述評論，都輸出所述視覺識別時間以上的長度的移動軌跡。
5.根據權利要求1所述的評論信息生成裝置， 即使在所述評論輸入受理部受理的多個所述評論是對同一幀的同一位置賦予的多個所述評論時，在字符數彼此不同的情況下，所述輸出部輸出彼此不同的移動軌跡。
6.根據權利要求1~5中任意一項所述的評論信息生成裝置， 所述物體運動決定部使用多個運動推定方法中的各個方法或者多個運動推定參數中的各個參數，計算所述評論輸入受理部受理的所述位置信息所表示的所述物體、并且也是所述運動圖像中的所述物體的移動軌跡，并選擇所計算出的所述物體的移動軌跡之中長度與所述目標時間最接近的移動軌跡，由此決定所述物體的移動軌跡。
7.根據權利要求6所述的評論信息生成裝置， 所述物體運動決定部根據作為所述多個運動推定參數中的各參數的(1)對物體的易追隨度有影響、且數值彼此不同的多個誤差允許度參數中的各誤差允許度參數； (2)尺寸彼此不同的多個搜索窗口區域中的各搜索窗口區域；或者 (3)數值彼此不同的多個特征量中的各特征量 中任意一項參數，計算所述評論輸入受理部受理的所述位置信息所表示的所述物體、并且也是所述運動圖像中的所述物體的移動軌跡，并選擇所計算出的所述物體的移動軌跡之中長度與所述目標時間最接近的移動軌跡，由此決定所述物體的移動軌跡。
8.根據權利要求6或7所述的評論信息生成裝置， 所述物體運動決定部還在即使使用多個運動推定方法中的各個方法或者多個運動推定參數中的各個參數也不能決定長度與所述目標時間最接近的所述物體的移動軌跡的、產生了 “不能進行運動推定的狀態”時，判定該狀態的原因是由于遮擋還是由于場景改變，根據判定結果切換物體運動決定方法。
9.根據權利要求8所述的評論信息生成裝置， 所述物體運動決定部在判定為產生了所述“不能進行運動推定的狀態”的原因是由于遮擋的情況下，根據截止到產生所述遮擋的幀為止的所述物體的移動軌跡，對產生了遮擋的幀以后的幀中的所述物體的移動軌跡進行外插，由此決定長度與所述目標時間最接近的所述物體的移動軌跡。
10.根據權利要求8所述的評論信息生成裝置， 所述物體運動決定部在判定為產生了所述“不能進行運動推定的狀態”的原因是由于場景改變的情況下，將截止到產生場景改變的幀為止的所述物體的移動軌跡決定為要輸出的移動軌跡。
11.根據權利要求8所述的評論信息生成裝置， 所述物體運動決定部在構成所述運動圖像的幀間的亮度直方圖的變化量為規定的閾值以上的情況下，判定為產生了所述“不能進行運動推定的狀態”的原因是由于場景改變，在所述亮度直方圖的變化量小于所述規定的閾值的情況下，判定為產生了所述“不能進行運動推定的狀態”的原因是由于遮擋。
12.根據權利要求6~11中任意一項所述的評論信息生成裝置， 所述物體運動決定部在使用所述多個運動推定方法中的各個方法或者所述多個運動推定參數中的各個參數求出的所述物體的移動軌跡比所述目標時間短一定時間以上的情況下，將向比所述評論輸入受理部受理了所述位置信息及所述評論的輸入的幀、以及所述評論輸入受理部受理的所述位置信息所表示的所述物體的位置在時間軸上靠前的幀進行回溯而推定出的移動軌跡，與所述物體的移動軌跡的前方連接起來，由此決定長度與所述目標時間最接近的所述物體的移動軌跡。
13.根據權利要求6~11中任意一項所述的評論信息生成裝置， 所述物體運動決定部在使用所述多個運動推定方法中的各個方法或者所述多個運動推定參數中的各個參數求出的所述物體的移動軌跡的時間長度比所述目標時間短一定時間以上的情況下，將以距所述評論輸入受理部受理的所述物體的位置信息所表示的位置在一定的距離范圍內的位置作為基點的物體的移動軌跡之中、時間長度與所述目標時間最接近的長度的移動軌跡，決定為所述評論輸入受理部受理的所述位置信息所表示的所述物體的移動軌跡。
14.根據權利要求6~11中任意一項所述的評論信息生成裝置， 所述物體運動決定部在使用所述多個運動推定方法中的各個方法或者所述多個運動推定參數中的各個參數求出的所述物體的移動軌跡的時間長度比所述目標時間短一定時間以上的情況下，將包括所述評論輸入受理部受理的所述物體的位置信息所表示的位置在內的、以用戶指定的范圍內的位置作為基點的所述物體的移動軌跡之中，時間長度與所述目標時間最接近的長度的移動軌跡，決定為所述評論輸入受理部受理的所述位置信息所表示的所述物體的移動軌跡。
15.根據權利要求6~11中任意一項所述的評論信息生成裝置， 所述物體運動決定部在使用所述多個運動推定方法中的各個方法或者所述多個運動推定參數中的各個參數求出的所述物體的移動軌跡的時間長度比所述目標時間短一定時間以上的情況下，將所述物體分割為多個區域，將分割得到的區域之中、長度與所述目標時間最接近的區域的移動軌跡，決定為所述物體的移動軌跡。
16.根據權利要求1~11中任意一項所述的評論信息生成裝置， 所述物體運動決定部還對所述評論輸入受理部受理的所述位置信息所表示的物體的重心，決定長度與目標時間最接近的移動軌跡，并根據所述評論輸入受理部受理的所述評論被賦予的位置與所述物體的重心的相對位置關系，將所述決定的所述物體的移動軌跡校正為好像是從被賦予評論的位置起的移動軌跡，并進行輸出。
17.根據權利要求1~ 16中任意一項所述的評論信息生成裝置， 所述評論信息生成裝置還具有目標時間校正部，該目標時間校正部根據所述物體運動決定部決定的所述物體的移動軌跡來校正所述目標時間，以使得所述物體的移動速度越快時，所述目標時間越長， 所述物體運動決定部還重新決定所述物體的移動軌跡，以使得用于追隨所述位置信息所表示的所述物體來顯示所述評論的、所述物體的移動軌跡，成為由所述目標時間校正部校正后的所述目標時間的時間長度。
18.—種評論信息生成方法,包括: 運動圖像取得步驟，受理運動圖像作為輸入； 評論輸入受理步驟，受理由所述運動圖像取得步驟受理的所述運動圖像中的物體的位置信息、和追隨所述物體而顯示的評論的輸入； 目標時間決定步驟，根據由所述評論輸入受理步驟受理的所述評論，決定用于顯示所述評論的時間長度的目標值即目標時間； 物體運動決定步驟，決定所述物體的移動軌跡，以使得用于追隨所述位置信息所表示的所述物體來顯示所述評論的、所述物體的移動軌跡，成為與所述目標時間足夠接近的長度； 輸出評論信息生成步驟，生成輸出評論信息，該輸出評論信息包括所述評論、和所述物體運動決定步驟中決定的所述物體的移動軌跡；以及 輸出步驟，輸出由所述輸出評論信息生成步驟生成的所述輸出評論信息。
19.一種程序，用于使計算機執行權利要求18所述的評論信息生成方法。
【文檔編號】G09G5/00GK103797783SQ201380003075
【公開日】2014年5月14日 申請日期:2013年7月4日 優先權日:2012年7月17日
【發明者】丸山亞矢子, 登一生, 堀田浩市, 笹倉州平 申請人:松下電器產業株式會社